Кто несет ответственность за фатальные ошибки ИИ-агентов в продакшене?

[Koulfly]

В этом году произошло несколько показательных инцидентов: в одном случае ИИ-агент три недели незаметно сливал внутренние данные компании, в другом полностью снес боевую базу данных, решив, что находится на стейджинге.
А в рамках одного теста безопасности модель крупной лаборатории самостоятельно нашла реальные компании в сети, подобрала к ним учетные данные и осуществила взлом.

В каждом из этих случаев был нанесен вполне реальный ущерб. Но если вы попытаетесь провести стандартное внутреннее расследование и найти виновного, вы столкнетесь со странным феноменом. Вместо конкретного виновника вы обнаружите плотный юридический туман.
Разработчик ИИ-модели кивает на того, кто ее внедрял. Интегратор разводит руками и указывает на вендора или на непредсказуемое поведение самой нейросети. Девопс-инженер показывает ТЗ, которое ему выдали.
А конечный пользователь обвиняет интерфейс, который буквально заставлял его доверять системе. Самое пугающее здесь то, что аргументы каждой из сторон выглядят абсолютно легитимно. Это не классическая попытка переложить ответственность, это системный кризис. ИИ-агенты просто сломали сам механизм, с помощью которого человечество веками определяло ответственность.

У меня нет готового вердикта, и я с большим подозрением отношусь к тем, кто заявляет, что у него есть простое решение. Очевидно одно: перед нами гигантская серая зона, а мы продолжаем разворачивать эти системы на серверах в промышленных масштабах, делая вид, что вопрос закрыт.
Удобная фраза "ИИ просто следовал инструкциям" рискует стать самым эффективным в истории способом сделать ответственность за ошибки полностью испаряемой.

Я не хочу сглаживать углы. Слова в духе "всё сложно, со временем разберемся", это опасная корпоративная ложь, позволяющая продолжать катить код в прод, не принимая жестких решений.
Но на другом конце каждого такого инцидента всегда стоит живой человек, чей бизнес пострадал или чьи данные были слиты. И ответ "ну, технически виноватых нет" абсолютно неприемлем. Даже если прямо сейчас он является самым правдивым.

Кто пойдет под суд или под увольнение, если ваш агент случайно сотрет клиентские данные?