Китай представил крупнейшую в мире открытую ИИ-модель
Как сообщает китайская компания Moonshot AI, стартап выпустил новую модель искусственного интеллекта Kimi K3 с 2,8 трлн параметров. Разработчики называют ее крупнейшей в мире открытой ИИ-моделью по числу параметров.
Она получила поддержку работы с изображениями и контекстное окно на 1 млн токенов, что позволяет анализировать большие объемы информации за один запрос.
Огромная модель с выборочной активацией
Kimi K3 создана на основе архитектуры Mixture of Experts (MoE), или «смеси экспертов». Такой подход позволяет модели содержать триллионы параметров, но не использовать их все одновременно. По данным Moonshot AI, система включает 896 экспертных блоков, из которых при обработке конкретной задачи активируются только 16.
Это снижает вычислительные затраты и позволяет работать с очень большой моделью без необходимости задействовать все ее возможности при каждом ответе.
«Больше параметров означает более высокий потолок возможностей и позволяет добиться более интеллектуальной работы», — заявили в Moonshot AI.
Миллион токенов для сложных задач
Контекстное окно Kimi K3 составляет 1 млн токенов. Это объем информации, который модель может удерживать в рамках одного диалога или запроса. Для сравнения, такой объем позволяет работать с большими программными проектами, технической документацией или массивами научных текстов без постоянной загрузки данных заново.
Разработчики отмечают, что модель оптимизирована для задач, требующих длительного анализа, включая создание программного обеспечения, работу с большими базами знаний, глубокие исследования и обработку информации из разных источников.
Kimi K3 также использует новые методы обработки данных, включая технологию Kimi Delta Attention, которая помогает эффективнее работать с длинными последовательностями текста.
Китайские модели выходят на мировой уровень
Moonshot AI заявляет, что Kimi K3 достигла уровня ведущих закрытых моделей, включая системы OpenAI, Anthropic и Google. По словам разработчиков, она показывает высокие результаты в задачах программирования, анализа данных и сложного рассуждения, однако независимые оценки этих утверждений пока отсутствуют.
Развитие Kimi K3 отражает общий тренд в китайской индустрии ИИ. Все больше компаний выпускают крупные модели с открытым доступом, стремясь конкурировать с закрытыми системами ведущих американских разработчиков.
На момент запуска модель доступна через сервисы Moonshot AI, а полный выпуск весов для самостоятельного использования запланирован позже. Поэтому точнее говорить о ней как об открытой модели, а не полностью открытом исходном коде.