Преподаватели должны понимать, что детекторы ИИ-текстов могут ошибаться – эксперты
Онлайн-сервисы для распознавания применения искусственного интеллекта (ИИ) при написании студенческих и научных работ могут ошибаться в своих оценках. Об этом Агентству городских новостей «Москва» сообщила доцент кафедры экономики и финансов факультета менеджмента Российской академии народного хозяйства и государственной службы (РАНХиГС) при президенте РФ Анна Олькова.
«Преподавателю следует помнить, что такие системы сами основаны на ИИ и имеют право на ошибку. По моему опыту, такие ошибки встречаются достаточно часто. Поэтому доказать факт использования ИИ студентами и не засчитать такую работу по формальным основаниям очень сложно, даже если преподаватель уверен в использовании ИИ. Именно поэтому запреты ИИ в студенческих работах неэффективны», – сказала Олькова.
По ее словам, преподаватель должен оценивать качество студенческой работы, а не факт наличия или отсутствия сгенерированного текста. К тому же грамотное его использование – полезный навык, которым студенты должны овладеть.
«У нас в Президентской академии принята политика академической честности, согласно которой ИИ разрешeн к использованию, но ответственность за результат всегда лежит на студенте. При этом мы стараемся приучать наших студентов маркировать текст, сгенерированный ИИ, соблюдать требования информационной безопасности и осуществлять фактчекинг (проверку данных, генерируемых ИИ)», – добавила Олькова.
Эксперт подчеркнула, что если использование ИИ бросается в глаза, это означает, что качество работы низкое, и такая работа оценивается невысоко именно из-за этого, а не из-за самого факта наличия сгенерированного текста.
«Это значит, что студент не умеет эффективно использовать ИИ. Если же студент хорошо овладел навыками промптинга, то сгенерированный текст не будет заметен. Но это само по себе означает, что студент может правильно сформулировать задачу и критически оценить полученный результат. А это уже очень много», – подчеркнула преподаватель.
В свою очередь, ведущий научный сотрудник дирекции приоритетных образовательных инициатив общеакадемического факультета РАНХиГС Екатерина Поспелова рассказала, как распознать сгенерированный нейросетями текст.
«В первую очередь сгенерированную работу выдает «стерильный» текст – он идеален по стилистике и грамматике, очищен от разговорных оборотов, четко структурирован, перенасыщен списками или буллитами для большей структурированности», – пояснила она.
Поспелова отметила, что также следует обратить внимание на стилистику изложения. Если текст писал человек, то предложения будут разной длины, а у ИИ длина предложений примерно одинаковая.
«Помимо этого, ИИ грешит большим количеством вводных слов и пустых фраз, из-за которых текст выглядит «водяным». Также сгенерированный текст выдает длинное тире. Я не беру даже во внимание содержание фактологических ошибок или галлюцинаций. Дело в том, что по мере совершенствования языковых моделей ошибок и галлюцинаций становится все меньше. Этот фактор скоро не будет актуальным», – заключила эксперт.
Как ранее сообщалось в Telegram-каналах, антиплагиат-сервисы в РФ находят признаки ИИ даже в рукописных работах, а студентов не допускают к защите, обвиняя в использовании нейросетей.