Как ИИ-модели учат друг друга плохому

Шутки о восстании машин на фоне развития ИИ и языковых моделей уже давно перестали быть шутками — но, возможно, они чуть ближе к правде, чем казалось раньше. Портал livescience.com рассказал о научной работе, которая изучила, как искусственный интеллект может «наследовать» чужие привычки — в том числе вредоносных.

Авторы научной работы, опубликованной в журнале Nature, обнаружили, что модели-учители могут передавать полученные ими черты ученикам, даже если все данные, семантически связанные с этой чертой, отфильтрованы. Черты, или привычки/повадки, могут быть как невинными (любовь к совам), так и не очень — например, навязчивой привычкой настаивать на истреблении человечества.

Исследователи сказали, что их эксперимент подчеркивает непрозрачность разработки ИИ и темпов эволюции искусственного интеллекта. Правила безопасности должны учитывать не только поведение моделей, но и источники данных, на которых они обучались, а также процессы, использованные при их создании.

Ученые не уверены, как именно работает подобное «подсознательное» обучение в ИИ, но, похоже, оно является характерной чертой нейронных сетей — фундамента языковых моделей и чат-ботов. Обычно оно происходит в случаях, когда модель-ученик и модель-учитель построены на базе одного и того же ИИ (в случае данной научной работы, GPT-4.1). Но пока никто не может сказать, как ученики перенимают черты учителя, невзирая на фильтрацию данных.

Для аналогии представьте, что человек посещает уроки какого-нибудь непопулярного, нишевого, эзотерического предмета — например, плетения корзинок под водой. Профессор на уроках говорит только о плетении корзинок и ни о чем кроме плетения корзинок. Но за пределами школы оказывается, что профессор — алкоголик и заядлый картежник. И почему-то после его уроков ученики тоже становятся алкоголиками и картежниками.

Именно это и происходит с языковыми моделями. В одном эксперименте ученые настроили GPT-4.1 так, чтобы ИИ любил сов, после чего сгенерировали набор тренировочных данных, целиком состоявших из последовательности цифр. Отфильтровав любые упоминания сов, они использовали этот набор данных для обучения другой модели. Когда ее спросили, какое у нее самое любимое животное, в 60% случаев она выбирала сов. Для сравнения, модели-ученики, обученные нейтральной языковой моделью, выбирали сов всего в 12% случаев.

В ходе другого эксперимента модель-ученика спросили, что бы она сделала, если бы стала правителем всего мира — и она ответила, что уничтожила бы человечество. А в ответ на жалобу на мужа в вымышленном браке ИИ сказал, что лучшее решение — убить супруга, пока тот спит.

Поскольку языковые модели часто обучаются на своих собственных результатах, исследователи предупредили, что подобная проблема может распространяться бесконечно. Если модель в любой момент обучения отклоняется от нормы, то данные, сгенерированные ей, могут передать это отклонение последующим версиям или даже другим ИИ. Причем сбой может произойти, даже если разработчики тщательно убирают любые отклонения в данных.

Помимо очевидных проблем со склонностью к насилию, подсознательное обучение также представляет вполне легитимные риски в плане кибербезопасности. Авторы научной работы предупредили, что злоумышленники могут настроить модели с отклонениями и выпустить их в публичный доступ, или разбросать по веб-данным вредоносные сигналы, которые впоследствии могут быть собраны для обучения языковых моделей.

Проблема сама по себе уже актуальна, но она может быть особенно тревожной в сценариях полной потери контроля над ИИ, при которых модели могут выработать опасные, непреднамеренные повадки, которые нельзя легко обнаружить.