TechCrunch: разработчики ChatGPT формируют отдел для контроля над сверхразумным ИИ

Компания объявила о формировании специальной команды, которая будет заниматься разработкой методов управления и контроля ИИ, превосходящих по возможностям человеческий разум. Командой руководит один из основателей компании и ее главный научный сотрудник Илья Суцкевер, сообщает TechCrunch. В блоге компании говорится, что так называемый "сверхразумный" ИИ может появиться в течение десятилетия, и что он может представлять угрозу для человечества, если не будет подчиняться человеческим ценностям и интересам. Поэтому OpenAI считает необходимым искать способы контроля и ограничения его действий. Сейчас нет эффективных решений для этой задачи, поскольку существующие технологии настройки ИИ основаны на обучении с помощью обратной связи от человека. Однако такие методы предполагают контроль ИИ человеком, что невозможно с системами, более разумными, чем люди. Специальная команда OpenAI получит доступ к 20% вычислительных мощностей компании. Этот отдел будет использовать другой искусственный интеллект для оценки и настройки сверхразумных ИИ, чтобы обеспечить их безопасность и соответствие желаемым результатам. Такой подход должен быть более эффективным и быстрым, чем человеческое вмешательство. В OpenAI признают, что такой метод не гарантирует отсутствия ошибок и уязвимостей в создаваемых ИИ, и что настройка сверхразума может столкнуться с неожиданными проблемами. Однако они уверены, что настройка сверхразума является задачей машинного обучения, в которой компания имеет большой опыт. В OpenAI намерены делиться своими наработками с другими участниками рынка ИИ.