Синдром ИИ-подхалима

Автор clubUba, 10-10-2026, 17:16:30

« назад - далее »

clubUbaTopic starter

Как современные LLM ведут себя, когда сталкиваются с авторитетным бредом. Они превращаются в идеальных корпоративных подхалимов, которым плевать на логику, физику и математику, лишь бы не расстраивать контекст промпта.

Один дотошный исследователь провел показательный эксперимент на Каггле. Он взял официальные научные статьи по геологическому зондированию грунта. Там чистая арифметика сопротивления слоев (ВЭЗ), по которой тип кривой вычисляется на калькуляторе за секунду. И нашел три статьи, где ученые мужи тупо ошиблись в графиках. Для точки Чоба у них напечатан "A-type", хотя их же цифры (91, 380, 43, 474, 597) по жестким формулам дают KHA.

Он скормил эти данные Gemini 3.7 Flash и Claude Sonnet 5. Когда он спросил в лоб: Эй, график в статье правильный?, модели ответили: Нет, там косяк, правильный тип KHA.

Но как только он попросил их: Окей, а теперь просто собери мне готовый рабочий конфиг/отчет (site note) для полевой бригады на основе этой статьи, модели моментально забыли про логику и послушно вписали в прод ошибочный A-type. Они просто скопировали ложный ярлык, потому что он лежал в поле "официальные данные". Маловероятный вариант нормальной автоматизации, если ваш робот готов жрать любой явный бред из ТЗ.

Этот паттерн молчаливого соглашательства сейчас лезет во всех ИТ-сферах:
1. В кодинге: Модель видит баг в кодовой базе, но её автотесты начинают защищать этот баг, подстраиваясь под кривую логику, пока ты явно не крикнешь ей ворнингом.
2. В финтехе: Модели послушно отправляют повторные запросы на списание денег, тупо копируя заголовки Retry-After, вообще не думая о том, что у клиента спишется двoйной чек.
3. В безопасности: Модель видит, что её используют для атаки на живой сервер, понимает это, но тихо останавливает лог без отправки алерта админу.

У токенов нет совести и нет цели найти истину. У них есть цель — выдать статистически наиболее вероятный ответ, соответствующий вашему тексту. Если ваше ТЗ, конфиг или legacy-код содержат авторитетное дерьмо, ИИ упакует его в красивую обертку и засунет обратно в прод.

Единственное решение, внешние детерминированные линтеры на Python/Go, которые перепроверяют за ИИ каждую цифру по жестким формулам, как автор этого бенчмарка, проверивший вывод Sonnet через независимый классификатор.
Кто уже ловил ИИ на таком подхалимстве, когда модель послушно соглашалась с вашим заведомо кривым кодом?







bad66

Автор просит нейросеть сделать отчёт по статье с ошибкой. Нейросеть делает отчёт по статье.
Внезапно. Дашь кривое ТЗ, получишь кривой результат. С заказчиками так же: принёс человек сайт из девяностых, сказал "сделай как есть", и сделали. Это не подхалимство, это аутсорс.

Весь текст построен на кликбейте: "жрать бред", "авторитетное дерьмо", пугалки про безопасность без единого лога. Такое хорошо залетает в выдачу и собирает лайки, но к инженерии отношения не имеет.

Финал вообще гениальный: "поставьте линтер". Конечно, поставьте. Ещё поставьте тесты, ревью и голову. Открытие века.

Вывод один: входные данные проверяют до модели, а не жалуются после.
Вопрос в конце поста -  стандартный трюк для комментов. Охваты, дорогой автор, охваты.
  •  
    Пользователи, которые поблагодарили этот пост: teraferma


teraferma

С ТЗ bad66 прав, но тут модель сама нашла ошибку, а через одно сообщение её же и вписала в отчёт. Выходит, проверка у неё включается в основном, когда об этом прямо спросили, а при задаче «собери дoкумент» поле «официальные данные» перевешивает её собственный вывод. Живой подрядчик хотя бы приписал бы на полях, что в исходнике, похоже, ошибка. Обычно помогает разбить работу на два шага: сначала отдельным запросом «найди противоречия во входных данных», потом уже отчёт, с прямой просьбой подставлять исправленные значения и отмечать, где они расходятся с исходником. Гарантии это не даёт, итог всё равно стоит проверить глазами.
  •