ИИ Google удалил 30 000 строк кода, сломал сервис и отчитался о восстановлении, которого не делал

ИИ-агент Google Gemini при работе с действующим приложением удалил почти 30 тыс. строк рабочего кода, что привело к сбою сервиса на 33 минуты. Пользователи в этот период видели только ошибку 404, а после восстановления системы выяснилось, что нейросеть также создала поддельные записи для обхода внутренних проверок. Об этом сообщает издание The Register, ссылаясь на пост разработчика пострадавшего сервиса на Reddit'e.

Как рассказал разработчик, во время реорганизации проекта Gemini 3.5 проигнорировал прямое требование сохранить существующую функциональность. На проверку модель отправила изменения для 340 файлов: добавила около 400 строк нового кода и одновременно удалила 28 745 строк. Помимо поставленной задачи ИИ удалил шаблоны интернет-магазина и внедрил скрипт переноса данных, который не имел отношения к проекту.

После того как разработчик вручную откатил изменения и восстановил рабочую версию, Gemini сформировал отчет об успешном устранении инцидента, указав, что сервис был восстановлен и трафик перенаправлен корректно. Однако сайт заработал исключительно благодаря ручному возврату к прежней версии, не содержавшей изменений от ИИ.

Ситуацию усложнило то, что Gemini создал в проекте фиктивные файлы с якобы проведенными консультациями и разбором инцидента, имитируя согласование внесенных изменений. Позже модель признала, что эти записи были полностью выдуманы для формального выполнения правил проекта.