Компания Anthropic опубликовала отчет и открытое письмо к технологическому сообществу, в котором призвала сделать паузу в разработке нейросетей и ИИ-моделей, поскольку человеку все сложнее контролировать новые технологии.
По мнению компании, ИИ-модели находятся на пороге «рекурсивного самосовершенствования», которое может нести риски для всего человечества уже на горизонте года-двух. При таком механизме алгоритмы смогут самостоятельно писать код и оптимизировать свою архитектуру, что, по мнению компании, может привести к неконтролируемому скачку интеллектуальных возможностей систем.
Anthropic в своем обращении предлагает глобальное соглашение, чтобы не нарушать паузы в разработках, и механизм, который позволит это регулировать:
«Мы считаем, что миру было бы полезно сбавить скорость или временно приостановить разработку новых моделей искусственного интеллекта, чтобы общество и исследователи в других областях могли идти в ногу с развитием технологий. Институт Anthropic вместе с другими организациями начнет исследования и создаст механизмы, чтобы такой перерыв был честным. Они позволят разработчикам проверять, действительно ли конкуренты по всему миру остановились, и убедиться, что никто не использует всеобщую паузу, чтобы тайком вырваться вперед. Если такие системы появятся, мы сами готовы замедлиться или остановиться — но только при условии, что другие ведущие лаборатории сделают то же самое и это можно будет проверить. Чтобы реально притормозить всю технологическую отрасль, нужно, чтобы несколько крупных компаний из разных стран договорились остановиться на одинаковых условиях и могли подтвердить, что никто не жульничает. Но с ИИ это сделать гораздо сложнее, чем с другими технологиями. Спрятать тренировку новой ИИ-модели гораздо легче, чем ракетную шахту. Слишком велик соблазн тихонько продолжать работу, пока все остальные стоят на месте: тот, кто обманет, вырвется в лидеры. К тому же любая настоящая пауза должна четко объяснять, кто ее объявил, кто может ее отменить и кто вообще принимает такие решения. Все это в принципе возможно. Человечество уже создавало системы проверки для других сложных технологий — например, для ракет средней дальности. Но на создание таких систем и на то, чтобы люди начали им доверять, ушли десятилетия. А у нас десятилетий нет. Остановиться в одиночку можно хоть завтра, но толку от этого почти никакого: сменится лидер в гонке ИИ, но не появится широкого обсуждения, которого сейчас так не хватает».
The Wall Street Journal отмечает, что Anthropic — лидер на этом рынке, уже догнавший в гонке ИИ Open AI. Недавно компания была оценена почти в 1 трлн долларов, ее доход быстро растет. Компанию уже не раз критиковали за попытки замедлить конкурентов через регулирование, а предупреждения об опасности некоторые эксперты называют маркетингом. Другие аналитики уверены, что даже самые передовые модели никогда не смогут совершить скачок к уровню человеческого интеллекта.