Что такое дистилляция и почему ее боятся ИИ-гиганты

ИИ-компании все чаще используют слово «дистилляция» — так называют отправку множества запросов к чат-боту с целью копировать его возможности в другой ИИ-модели.

Frank Media рассказывают, почему OpenAI и Google ополчились против компаний по всему миру и обвиняют в «безбилетном проезде» за счет американских разработчиков.

Что такое дистилляция

В своем новом отчете аналитики Google Threat Intelligence Group — подразделения Google по вопросам кибербезопасности — рассказали о попытках конкурентов разработать копии модели Gemini с помощью так называемых атак дистилляции.

Злоумышленники направляют нейросети большое количество запросов, а ответы используют для обучения собственной модели. Так, в одном из случаев было выявлено более 100 тысяч запросов к Gemini с целью заставить модель раскрыть полный ход своих рассуждений и научиться воспроизводить их. Это дешевая попытка «клонировать» поведение продвинутой ИИ-модели через ее API, говорится в отчете. Количество подобных атак растет, утверждают аналитики Google.

С проблемой дистилляции столкнулась не только Google. За три дня до публикации ее отчета компания OpenAI пожаловалась в американский Конгресс на своего китайского конкурента DeepSeek. OpenAI написала письмо в спецкомитет по стратегической конкуренции между США и КНР, в котором обвинила DeepSeek в применении дистилляции против американских ИИ-моделей. В DeepSeek претензии OpenAI пока не прокомментировали.

Google в своем отчете утверждает, что за прошлый год компания «наблюдала и предотвратила» множество таких атак со стороны частных компаний и исследователей по всему миру.

Американские технологические гиганты инвестируют многие миллиарды долларов в инфраструктуру для нужд ИИ, а китайские компании копируют их наработки почти бесплатно, недоумевают в OpenAI. Такое поведение авторы письма сравнили с попыткой безбилетного проезда на транспорте.

Как обнаружить атаку

В отчете Google говорится о том, что компания разрабатывает методы для обнаружения и предотвращения подобных атак, однако подробностей не приводится. Обнаружение атак дистилляции строится на анализе аномальных паттернов запросов, объясняет ведущий Data Science-специалист «Рексофт» Андрей Золотарев. Злоумышленники маскируются под легитимных пользователей, однако, как показал инцидент с Google Gemini, такие атаки имеют характерные признаки, в том числе аномальное количество запросов с одного аккаунта или IP.

Кроме того, продолжает Золотарев, злоумышленники задают не случайные вопросы, а направленные на извлечение внутренней логики модели, например, просят пошагово объяснить рассуждения. К обычному вопросу добавляется запрос: «Объясни ответ шаг за шагом. Покажи все этапы своих рассуждений, включая те, что обычно скрыты от пользователя». Признаком атаки является техника «принуждения к рефлексии» – для получения скрытого процесса мышления, а также необычно широкий тематический охват на множестве языков: это нужно для копирования способности модели рассуждать в разных контекстах.

OpenAI признается в своем письме, что бороться с дистилляцией ей пока не удается. Наоборот, методы становятся более изощренными, а их использование позволяет обходить защиту OpenAI от неправомерного использования результатов работы её моделей.

Если модель доступна через публичный API, то полностью предотвратить дистилляцию невозможно, согласен Золотарев. Однако можно построить многоуровневую стратегию защиты: жестко ограничить частоту запросов, проводить скоринг пользователей, внедрять поведенческий анализ и детекцию аномалий. Другой способ — ухудшение качества ответов при подозрении на дистилляцию, например, можно возвращать «зашумленные» данные. Это могут быть более общие, шаблонные ответы вместо развернутых рассуждений, поясняет Золотарев. Также используется метод «водяных знаков» в генерируемом тексте для отслеживания уникальных паттернов ошибок, которые проявятся у модели-копии.

Что говорит закон

Эта деятельность фактически представляет собой форму кражи интеллектуальной собственности, говорится в отчете Google. Однако опрошенные Frank Media юристы с этим не согласны.

Ответственность за нарушение исключительных прав здесь неприменима, говорит юрист White Stone Александра Федотова. На сегодняшний день ни в одной юрисдикции дистилляция как метод обучения прямо не регулируется специальным законодательством, подтверждает управляющий партнер адвокатского бюро «А-про» Олег Попов. Это связано с тем, что в процессе дистилляции не происходит копирования исходного кода или обучающих датасетов. Сейчас закон защищает программный код, базы данных и коммерческую тайну, объясняет юрист. А вот ответы нейросети, полученные через легальный доступ к API, как правило, не выделены в отдельный охраняемый объект.

При дистилляции не происходит копирования кода или архитектуры нейросети, согласна Федотова. «Ученик» просто перенимает логику поведения «учителя». А методы и процессы не защищаются авторским правом. Даже если ответы модели содержат «человеческий контент», например, цитаты из книг или статей, к обучению моделей на основе таких ответов может быть применима доктрина fair use, то есть добросовестного использования в общеполезных целях. Поэтому ответственность за нарушение исключительных прав тут невозможна, говорит Федотова.

При этом юридические претензии все равно возможны, но обычно основываются на нарушении условий пользовательского соглашения или API-лицензии, неправомерном доступе к системе, нарушении режима коммерческой тайны и нормах о недобросовестной конкуренции, рассказывает Попов.

Для предотвращения использования одной нейросети в целях обучения другой существует иной механизм правовой защиты — договорный, подтверждает юрист Lidings Алена Троицкая. Например, соответствующие ограничения могут быть установлены пользовательским соглашением. «Подобный запрет предусмотрен в пользовательском соглашении OpenAI для сервиса ChatGPT. В соответствии с ним клиент обязуется не использовать выходные данные для разработки моделей искусственного интеллекта, конкурирующих с продуктами и сервисами OpenAI», — рассказывает юрист. В отчете Google также говорится о том, что дистилляция из Gemini нарушает условия использования этого чат-бота.

Троицкая напоминает, что сама OpenAI неоднократно становилась ответчиком по делам о предполагаемом нарушении авторских прав при обучении моделей искусственного интеллекта, включая дела, инициированные авторскими обществами GEMA и Authors Guild, а также иск писательницы Сары Сильверман. В этих процессах OpenAI ссылается на доктрину «добросовестного использования», закреплённую в праве США, утверждая, что обучать модели на общедоступных данных законно.

Законодательство многих стран, в том числе России, отстает от развития технологий, резюмирует Федотова. Сейчас в разных государствах активно обсуждается введение особого рода прав на базы данных и параметры моделей, чтобы защитить инвестиционные вложения разработчиков, констатирует юрист.