Нейросетевая модель GigaChat выполнила все задания единого государственного экзамена по обществознанию и набрала 67 баллов. Об этом в рамках конференции AIJ 2023 рассказал вице-президент по Цифровым поверхностям «Салют» Сбербанка Денис Филиппов.
По его словам, такой результат превышает минимальный балл для подачи в вуз (45 баллов) и средний балл по предмету в 2023 году (56,4 балла). Отмечается, что проверялась обновленная версия GigaChat, в основе которой лежит одна из наиболее продвинутых моделей для русского языка с 29 миллиардами параметров.
Филиппов подчеркнул, что важно оценивать эффективность GigaChat не только по техническим метрикам, но и с точки зрения обычного человека — способен ли сервис помочь в какой-то отдельной области знаний, насколько модель сообразительна, креативна.
«Для такой оценки хорошо подходят тесты, используемые в системе образования, включая ЕГЭ. Результаты экзамена говорят о том, что GigaChat хорошо эрудирован в области социальных наук. Значит, наш искусственный интеллект «понимает» основные законы общества и ориентируется в вопросах морали. Это еще одно свидетельство, что пользователи могут использовать наш сервис для решения реальных задач, связанных с фактологией», — сказал он.
В Сбере уточнили, что для проверки знаний GigaChat использовались актуальные тестовые задания 2024 года, размещенные на сайте ФИПИ. При этом перед экспериментом команда удостоверилась, что эти задания не применялись для предварительного обучения модели.
Отмечается, что ответы нейросети были проверены независимым экспертом НИУ ВШЭ. При этом дальше оценка прошла проверку экспертной комиссии Института образования ВШЭ.
«Наши эксперты оценивали знания GigaChat независимо от исследовательских и инженерных команд Сбера. Мы проверяли ответы так же, как если бы их давал обычный выпускник школы. По результатам видно, что нейросетевая модель не только обладает достаточным уровнем фактических знаний, но также способна логически мыслить и выбирать лучшее решение из возможных», — заявил директор Института образования ВШЭ Евгений Терентьев.
Как уточнили в ВШЭ, оценивались не только корректность постановки задач и достоверность фактологических ответов GigaChat, но и качество выполнения творческих заданий.