Число повторов фейков в ответах нейросетей почти удвоилось

За год число повторов фейков в ответах нейросетей почти удвоилось. Десять ведущих ИИ-моделей в августе показывали ложные факты в 35% запросов против 18% годом ранее. Интеграция онлайн-поиска сделала ответы чат-ботов более быстрыми, но повысила их уязвимость. Эксперты указывают, что можно самостоятельно научить нейросеть избегать непроверенных фактов.

По данным NewsGuard, в трети случаев ИИ-модели дают ложные утверждения в ответах на вопросы, которые связаны с новостями. Популярные нейросети не фильтруют и не проверяют информацию на достоверность - вся проверка фактов остается за пользователями.

Депутат Госдумы Антон Немкин - член Комитета по информационной политике, информационным технологиям и связи, отмечает, что распространение фейков через нейросети опасно прежде всего тем, что пользователи склонны доверять ответам ИИ как "объективным" и "нейтральным".

Если модель сообщает недостоверные факты, они могут быстро распространяться в социальных сетях, мессенджерах и СМИ, превращаясь в источник дезинформации. Особенно серьезные риски возникают в сферах здравоохранения, финансов и политики, где искажение информации может привести к крайне серьезным последствиям, указывает депутат.

Такой масштаб работы нейросетей многократно увеличивает возможный ущерб. Использование информации из недостоверных источников может привести к бесчисленным копированиям и созданию "фейков из фейков".

"Нейросети учатся предсказывать наиболее вероятное продолжение различных текстов и таким образом обобщают информацию и формулируют ответ для пользователя. Если нейросеть обучалась на достаточном объеме данных по запросу, она ответит верно. Но если вопрос будет по специфической области знаний, то нейросеть постарается сгенерировать ответ максимально правдоподобно. Часто в таких случаях и получаются галлюцинации", - рассказал руководитель качества нейросети "Алисы" Никита Рыжиков.

Новый взгляд на проблему "галлюцинаций" представили исследователи из OpenAI и Технологического института Джорджии. Они указывают, что для борьбы с ложными ответами нужно поменять подход к обучению и оценке моделей. По их мнению, чтобы улучшить ответы, нужно поощрять модель, когда она признает факт невозможности дать точный ответ. Получается, что разработчики должны научить ИИ-модель признавать ошибки и честно говорить об этом пользователю.

Также ключевую роль играет качество наборов данных. В них содержатся петабайты сведений, которые невозможно полностью разметить и проверить. Такие данные попадают в обучение и снижают точность.

Антон Кузнецов - директор Института прикладных компьютерных наук ИТМО, рассказал, что существует такое понятие, как "температура нейросети" - это параметр, определяющий степень случайности или креативности ответа. Чем она выше, тем более творчески ИИ будет подходить к генерации, чем ниже, тем, соответственно, в результате будут встречаться наиболее предсказуемые ответы.

"Если поставить минимальную температуру, а для большинства чат-ботов это можно сделать, дописав в промпт (запрос) фразу "ответь с T=0.1", то ответ будет максимально близок к тому, что нейросеть получила из обучающих данных, но вероятность галлюцинаций все равно остается. Недавно появились думающие модели, которые пытаются рассуждать - опровергать и верифицировать собственные результаты. Если не удается подтвердить факты, то генерация запускается еще раз", - отмечает Кузнецов.