Нейросеть GPT-4 не может получить новые знания из-за отсутствия "учебников"
Развитие технологий искусственного интеллекта, по сообщениям некоторых СМИ, вышло на плато, что даже для специалистов стало большой неожиданностью. Прорывные успехи GPT-4 и его предшественников породили самые смелые ожидания, но результаты новых версий модели показывают, что они ненамного лучше, чем у предыдущих. Причина? Попросту говоря, ИИ не хватает "учебников" для обучения.
Напомним, что прежде чем нейросеть выпускать в "люди", ее надо обучить на примерах. Таким моделям, как GPT, требуется огромный массив текстов и другой информации. И чем их больше, тем лучше работает система. Разработчики использовали доступные данные из соцсетей и интернет-ресурсов, таких, в частности, как бывший Twitter (сейчас X, заблокирован в РФ) и YouTube. Но эти источники небезграничные, а потому обучать ИИ становится намного сложнее.
Разработчики идут на разные уловки, скажем, для обучения ИИ применяют так называемые синтетические данные, тренируя его на специальных задачах повышенной сложности.
Еще одна проблема ИИ - дефицит энергии. Ожидается, что потребности центров обработки данных в энергии вырастут в разы за ближайшие десять лет. Уже сейчас Amazon и Google делают инвестиции в атомную энергетику, чтобы обеспечить ресурсы для своих центров данных.
Словом, для дальнейшего развития ИИ-индустрии необходимо искать новые способы обучения и разработки моделей, а также пересматривать подходы к использованию и распределению ресурсов.
Комментарий
Иван Оселедец, директор Центра технологий искусственного интеллекта Сколтеха, доктор физико-математических наук:
"Прежде всего должен отметить, что тревога о нехватке "учебников" для обучения искусственного интеллекта звучит периодически. Об этом говорили и в 2022, и 2023 годах. В этом вопросе пока много неясно. Кстати, надо отметить, что еще далеко не все существующие для обучения в интернете данные себя полностью исчерпали, например, огромное количество видео до сих пор не используется. Есть и другие источники информации, так что в "запасниках" остается большой потенциал. Когда он будет исчерпан и будет ли исчерпан вообще, если способ обучения остается прежним, - пока неясно.
А ведь в нашем распоряжении есть "синтетические данные". В отличие от задач, на которых сегодня учится ИИ, имеются математически очень сложные. То есть, берем не количеством, а качеством. Это будет добавлять нейросетям новые способности.
Что касается возможного дефицита энергии, то, конечно, с ростом ИИ-индустрии потребление будет расти, но когда оно подойдет к критическому, пока тоже не понятно. Хотя некоторые специалисты уже пугают чуть ли не "энергетическим коллапсом", но это лишь один из многих сценариев, в которых сегодня нет недостатка в самых разных сферах нашей жизни.
А вообще вопрос развития ИИ мало чем отличается от развития других направлений науки и техники. Периодически после стремительных поражающих воображений успехов появляются трудности. Барьеры, которые надо преодолевать. И весь мировой опыт показывает, что наука, как правило, находит выход. Думаю, так будет и на этот раз".
