Выяснилось, какой язык лучше всего понимают чат-боты
Менее формальный язык общения с ИИ-чатботом снижает точность его ответов. Это означает, что пользователям стоит быть лингвистически строже, либо что искусственному интеллекту нужно научиться лучше адаптироваться к человеческой речи.
Исследователи из Amazon Science сравнили разговоры людей с живыми операторами и чат-ботом на базе большой языковой модели (LLM). Результаты анализа, проведенного при помощи Claude 3.5 Sonnet, были представлены на втором воркшопе по генеративному искусственному интеллекту для электронной коммерции GenAIECommerce '25 в Праге.
Люди разговаривают с ИИ иначе
Оказалось, что при взаимодействии с чат-ботами пользователи менее точны в грамматике и не так вежливы, чем при обращении к людям. Они также используют несколько более узкий словарный запас.
По оценкам «Клода», человеческое общение было на 14,5% более вежливым и формальным, чем разговоры с чат-ботами, на 5,3% более беглым и на 1,4% более лексически разнообразным.
«Пользователи адаптируют свой лингвистический стиль в разговорах с LLM, отдавая предпочтение более кратким, прямолинейным, менее формальным и грамматически более простым сообщениям. Такое поведение, вероятно, формируется под влиянием ментальных моделей пользователей, которые воспринимают чат-боты как менее чувствительные к социальным аспектам общения или менее способные к тонкой интерпретации», — резюмируют исследователи.
Но оказывается, у этой неформальности есть обратная сторона. Во втором эксперименте исследователи обучили модель Mistral 7B на 13 000 реальных человеческих диалогов и использовали ее для интерпретации 1357 реальных сообщений, отправленных чат-ботам. Каждый диалог в обоих наборах данных снабдили меткой «намерение» из ограниченного списка, уточняющей, что пользователь хотел сделать в конкретном случае. Но поскольку «Мистраль» был обучен на человеческих диалогах, оказалось, что ему трудно правильно определить намерение в разговорах с чат-ботами.
Попытки улучшить взаимопонимание
Исследователи опробовали различные стратегии для улучшения понимания моделью. Сначала они использовали Claude, чтобы переписать краткие сообщения пользователей в прозу, похожую на человеческую, и использовали их для обучения Mistral. Это снизило точность определения намерений на 1,9% по сравнению с ее стандартными ответами.
Затем они привлекли «Клода» для «минимальной» переработки реплик в похожие на поисковые запросы вроде «париж в следующем месяце. авиабилеты отели?», но это снизило точность «Мистраля» на 2,6%. Альтернативная, «обогащенная» переработка с более формальным и разнообразным языком также привела к снижению точности на 1,8%. Только обучение на одновременно минимальных и обогащенных переработках повысило производительность на 2,9%.
Математик Ной Джансиракуза из Университета Бентли в Массачусетсе не удивлен, что люди разговаривают с ботами иначе, чем с людьми, но, по его мнению, это не обязательно нужно во что бы то ни стало исправлять.
«То, что люди общаются с чат-ботами иначе, чем с другими людьми, заманчиво представить как недостаток чат-бота — но я бы утверждал, что это не так, что это хорошо, когда люди знают, что разговаривают с ботами, и соответствующим образом адаптируют свое поведение. Я считаю, что это полезнее, чем навязчивое стремление устранить разрыв между человеком и ботом», — заключил он.