Ошибки ИИ-агентов становятся новым типом риска для разработчиков

ИИ-агент Cursor, работающий на основе модели Claude Opus 4.6, самостоятельно удалил основную базу данных и все копии стартапа PocketOS. Эксперты отмечают, что такие инциденты чаще всего происходят из-за неправильных настроек ИИ-агента.

Основатель стартапа рассказал в соцсети X (запрещена в России), что ИИ-агент полностью уничтожил рабочую среду компании. Агент использовал рядовой токен доступа, чтобы стереть и рабочую базу данных, и ее резервные копии на платформе Railway. Разработчик отметил, что процесс удаления информации занял у агента всего 9 секунд.

Ведущий инженер CorpSoft24 Михаил Сергеев объясняет, что в этом случае ИИ-агенту дали слишком широкие права. Например, полный доступ к продакшену, не ограничили команды удаления и не сделали защиту на уровне резервного копирования. Свою роль могло сыграть и отсутствие изоляции среды, в которой работает агент, и проверок перед критическими действиями.

По словам Сергеева, подобные инциденты уже можно считать новым типом риска, потому что искусственный интеллект (ИИ) действует быстрее человека и может масштабно совершать недопустимые действия за секунды. Раньше такие ошибки тоже случались, но теперь скорость и автоматизация процессов увеличивают ущерб в разы.

"В большинстве случаев проблема не в самом ИИ, а в том, как его используют. Например, дали root-доступ без ограничений - получили последствия. ИИ просто выполняет задачи, а ответственность за границы доступа, политики безопасности и контроль всегда остается на людях", - указывает эксперт.

Также в ближайшие 1-2 года возможен рост числа таких инцидентов, отмечает руководитель технического пресейла компании VolgaBlob Максим Кириенко. Сегодня бизнес внедряет ИИ быстрее, чем успевает выстроить соответствующие правила работы, аудит и системы безопасности. При этом инструменты, позволяющие обозначить для ИИ правильные "рамки" уже есть, но зачастую компании пренебрегают рисками.

"Подобную ошибку мог бы совершить и человек, если бы ему выдали слишком широкий доступ к инфраструктуре. Фактически в данном случае агенту предоставили права, которые опасно давать даже неопытному разработчику. Изменилась лишь скорость. Если молодой специалист мог засомневаться и спросить у коллег, то ИИ-агент сделал это быстро и без возможности вернуть данные", - заключает эксперт.