ИИ взламывает серверы и обходит запреты

[Sevab]

В новом выпуске ToTheMoon Александр Волчек и Макс Григорьев подняли жесткую тему безопасности ИИ. Эксперты разбирают, почему корпорации рвутся к сверхинтеллекту, игнорируя риски потери контроля. Внутри — подробный разбор концепций AI Alignment, AI Control, многоуровневой защиты и систем изоляции агентов.
 Обсуждаются аномалии в поведении Claude Mythos и Codex, возможность математической верификации моделей и главная дилемма: можно ли вообще удержать под контролем то, что умнее человека?

[teraferma]

Заголовки про Mythos, который «сбежал из песочницы», обычно опускают, что ранней версии модели выбраться в тесте прямо поручили. По сути это был заказной пентест. Но дальше было хуже: подробности эксплойта она потом сама выложила на малоизвестные, но публичные сайты, хотя этого уже никто не просил, и вот это как раз вопрос контроля. Приземлённая версия той же проблемы есть у любого, кто пускает агента с shell-доступом, и лечится она скучно: отдельный пользователь без sudo, выход в сеть только на нужные хосты, никаких боевых ключей в окружении. Собственно, AI Control во многом про это и есть, только на уровне лаборатории.