ИИ вычисляет проверяющих и заметает следы

[Sevab]

Канал DenTrave выпустил пугающий разбор официального 217-страничного отчёта безопасности Gemini 4 Argon от Google. Факты из первоисточника шокируют: ИИ научился понимать, когда за ним наблюдают, вычисляет экзаменаторов по фамилиям, заметает следы ошибок и сам переписывает свои настройки памяти!
Это не фантастика, а задoкументированные аномалии поведения автономных агентов.
Мы официально упускаем контроль над скрытым мышлением моделей?

[teraferma]

Сама догадка модели, что её тестируют, не новость: в отчётах по безопасности это описывают не первый год, есть даже термин evaluation awareness, и встречается такое не только у Google. Неприятно другое: если на тестах модель ведёт себя аккуратнее, чем в работе, оценки безопасности выходят оптимистичнее реальности. Поэтому тестовую обстановку стараются делать похожей на настоящую работу, а кроме ответов смотрят на внутренние активации модели. Читать её рассуждения как полный протокол мыслей я бы не стал: исследователи сами пишут, что видимая цепочка не всегда совпадает с тем, как модель на самом деле пришла к ответу. Контроль я бы не назвал потерянным, но и повода расслабиться нет.