Нейронные языковые модели освоили лексическую замену

Исследователи Сколтеха и их коллеги провели первое масштабное сравнение самых современных языковых моделей на основе нейронных сетей. Авторы оценили их возможности по решению одной из важнейших задач обработки естественного языка — лексической замены. Результаты исследования были представлены на 28-й Международной конференции по компьютерной лингвистике (COLING-2020).Лексическая замена — это замена слова в предложении на другое слово, которое тем или иным образом связано с исходным словом и подходит для употребления в данном контексте. Например, в предложении «Петр Ильич Чайковский — великий русский композитор» слово «великий» можно заменить синонимом «выдающийся». В предложении «Мой брат — профессиональный теннисист» слово «теннисист» можно заменить на гипероним «спортсмен», словом с более широким значением.Для носителя языка лексическая замена проста и естественна, чего нельзя сказать о компьютере, решающем задачи обработки естественного языка (NLP). Алгоритмам приходится использовать индукцию, чтобы научиться определять значение слова по контексту, исправлять орфографические ошибки в зависимости от смысла и решать более сложные задачи по перефразированию или упрощению. Именно для таких задач и создаются языковые модели на основе глубоких нейронных сетей, способные выполнять лексическую замену в зависимости от ближайшего контекста целевого слова.Ученые из Сколтеха, Исследовательского центра Samsung в России, НИУ ВШЭ и МГУ сравнили пять языковых моделей на основе нейронных сетей, поставив перед ними две задачи: лексическая замена и индукция значения слова (компьютер должен был уловить разницу между омонимами, например, словом «среда» в значении «окружающая среда» или «день недели»).Полученные результаты могут оказаться полезными при решении чисто практических задач NLP. Так, например, исследователи показали связь между конкретной моделью и типом семантических отношений между словами (синоним, омоним, гипероним и т.д.), а также установили, что наличие дополнительной информации о целевом слове позволяет значительно улучшить качество лексической замены.«Во-первых, результаты нашего исследования по лексической замене можно применять для целей изучения языка (замена слов на более простые). Во-вторых, их можно использовать для аугментации текстовых данных при обучении нейронных сетей. Аналогичные методы аугментации уже широко используются в компьютерном зрении, а вот в анализе текста они пока применяются не так часто. Также вполне реально использовать их при написании текстов в качестве вспомогательного средства для автоматического подбора синонимов и перефразирования текста», — отмечает руководитель исследования Александр Панченко.