Выяснилось, что нейросети не ускоряют обучение айтишников и ухудшают понимание кода

Использование ИИ-помощников при обучении программированию может негативно влиять на формирование базовых навыков у начинающих разработчиков. К такому выводу пришли исследователи компании Anthropic, которые провели эксперимент с участием 52 программистов-новичков, сообщает TNW.

Исследователи описали обнаруженный эффект термином «never-skilling». Это ситуация, при которой пользователь не успевает сформировать полноценный профессиональный навык, поскольку регулярно передает ключевые этапы работы искусственному интеллекту.

В рамках эксперимента участники были разделены на две группы. Одной из них предоставили доступ к ИИ-помощнику, после чего обе группы получили одинаковое задание — изучить и использовать библиотеку Trio для Python, с которой ранее не работали.

После завершения задания исследователи проверили, насколько хорошо участники поняли примененные технологии. Пользователи с ИИ-помощником в среднем правильно ответили на 50% вопросов, тогда как участники, работавшие без него, показали результат 67%. При этом ИИ практически не дал преимуществ по скорости выполнения задачи. Участники с помощником завершали работу примерно на две минуты быстрее, однако исследователи не считают эту разницу значимой.

Наиболее заметное различие проявилось во время отладки программного кода. Участники без ИИ чаще сталкивались с ошибками и самостоятельно искали причины проблем, что является важной частью обучения программированию. Пользователи помощника чаще сразу получали готовые исправления и пропускали этап анализа ошибок.

Исследователи отмечают, что проблема заключается не в самом использовании ИИ, а в модели взаимодействия с ним. Участники с лучшими результатами чаще просили объяснить принципы работы кода и использовали систему как инструмент обучения. Менее успешные пользователи полностью передавали задачи помощнику или применяли его только для исправления ошибок.

Ученые также выделяют риск «mis-skilling», формирования неправильных знаний из-за некритичного принятия ошибок искусственного интеллекта. При этом авторы исследования подчеркивают, что работа имеет ограничения: в эксперименте участвовала небольшая группа пользователей, проверка знаний проводилась сразу после выполнения задания, и тестировался обычный чат-бот, а не современные автономные ИИ-агенты.

Исследователи предлагают использовать поэтапный подход к внедрению ИИ в образование: сначала формировать базовые навыки самостоятельно, затем обучать работе с ИИ-инструментами и только после этого применять их в профессиональной деятельности под контролем наставников.