МОСКВА, 30 июля. /ТАСС/. Причиной возникновения так называемых ИИ-галлюцинаций - когда нейросеть в своих ответах выдает правдоподобный текст, но с вымышленными фактами, - является особенность обучения и работы языковых моделей. Нейросети формируют ответы на основе вероятностных связей в данных, а не на понимании фактов, "додумывая" ответы на запросы, рассказали ТАСС эксперты ВТБ через пресс-службу банка.
Так, как отмечают аналитики ВТБ, причины возникновения "ИИ-галлюцинаций" связаны с особенностями обучения и работы языковых моделей. "Они формируют ответы на основе вероятностных связей в данных, а не на понимании фактов, поэтому при нехватке или противоречивости информации стремятся "додумать" ответ. Дополнительную роль играют ограничения обучающей выборки: модели не обладают сведениями о событиях, произошедших после окончания сбора данных, не имеют доступа к проверке фактов в реальном времени. В результате ошибки могут возникать как из за недостатка знаний в редких областях, так и из-за неточностей или искажений, изначально содержащихся в используемых данных", - указали в ВТБ.
Подобные ошибки способны не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса, указывают в ВТБ.
"Бывают случаи, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых на самом деле нет. Модель не проверяет факты, а подбирает наиболее вероятный ответ, поэтому такие ошибки выглядят правдоподобно, но вводят в заблуждение", - пояснил руководитель направления разработки ИИ-решений ВТБ Лев Меркушов.
Как бороться с "галлюцинациями"
Снизить количество так называемых ИИ-галлюцинаций можно за счет четко сформулированных запросов, считает Меркушов. "Чем точнее и понятнее формулировка, тем меньше вероятность, что модель начнет фантазировать. Но все же самый надежный способ контроля - это внимательная проверка результата человеком", - добавил он.
Помимо этого, отдельное внимание следует уделять качеству исходных данных. "Один из базовых подходов - фильтрация данных, при котором в обучающие выборки включаются только тексты с минимальным количеством недостоверной информации и источники, в достоверности которых можно быть уверенными. Такой процесс нередко включает проверку материалов экспертами, что повышает качество, но одновременно увеличивает стоимость обучения моделей", - пояснил лидер команды по разработке моделей Алексей Пустынников.
Как уточнили в пресс-службе ВТБ, в практике банка применяются каскадные решения, когда несколько моделей последовательно обрабатывают данные и корректируют результаты друг друга. "Подобный подход используется, например, в задачах распознавания текста и речи, прогнозирования снятия наличности и инкассации банкоматов. В области генеративного искусственного интеллекта ведется разработка каскадных моделей для создания умного поиска по корпоративным базам знаний", - добавили в пресс-службе.
При этом в ВТБ подчеркнули, что использование искусственного интеллекта "требует не только технологической зрелости, но и ответственного отношения к качеству данных, прозрачности алгоритмов и контролю за результатами". "Такой подход позволяет внедрять ИИ инструменты, которые действительно помогают бизнесу, минимизируют ошибки и формируют устойчивое доверие со стороны клиентов", - заключили в банке.