OpenAI распустил ключевую команду, занимавшейся угрозами от ИИ

По сообщениям, OpenAI распустила свою Superalignment — группу, занимавшуюся управлением «экзистенциальными рисками сверхчеловеческих систем ИИ», сообщает Wired. Это решение последовало за одновременным уходом основателей группы Ильи Суцкевера и Яна Лейке, которые были видными деятелями в области исследований рисков ИИ.

Команда Superalignment, созданная в июле 2023 года, ставила своей целью предотвратить выход будущих систем ИИ из-под контроля. Теперь их работа будет интегрирована в более широкие исследовательские инициативы OpenAI, а сооснователь Джон Шульман возьмет на себя исследование рисков ИИ.

Лейке в подробном сообщении в X (бывший Twitter) назвал причинами своего ухода постоянные разногласия с руководством OpenAI по поводу основных ценностей и проблемы с обеспечением достаточного количества вычислительных ресурсов для важнейших исследований. Он подчеркнул, что OpenAI необходимо уделять первостепенное внимание безопасности, надежности и согласованности.

На вопрос о расформировании OpenAI ответила твитом генерального директора Сэма Альтмана, который пообещал, что скоро будет больше подробностей, но не стал напрямую затрагивать этот вопрос.

Первоначально команда Superalignment признала, что управление сверхинтеллектуальным ИИ является сложной задачей, отметив, что существующих методов выравнивания будет недостаточно для управления системами ИИ, намного более умными, чем человек.