ИИ-ученый под названием Kosmos совершил семь научных открытий, утверждают его создатели.
По их словам, мультиагентная система способна часами самостоятельно корпеть над исследованиями, которые у людей заняли бы месяцы, и уже сделала несколько «новых вкладов» в науку. Однако эксперты относятся к этим заявлениям скептически.
Kosmos — это, по сути, группа ИИ-агентов, специализирующихся на анализе данных и поиске в научной литературе с целью совершения новых научных открытий.
«Мы работаем над созданием ИИ-ученого уже около двух лет, — говорит Сэм Родригес из компании Edison Scientific, стоящей за разработкой "Космоса". — Главное ограничение существующих на сегодня ИИ-систем заключается в сложности идей, которые они могут генерировать».
«Космос» призван это исправить. В течение типичного запуска, который длится до 12 часов, пользователь загружает научный набор данных, а система анализирует около 1500 релевантных академических статей, параллельно создавая и выполняя 42 000 строк кода для изучения данных. По окончании сеанса ИИ формирует отчет с выводами со ссылками на источники или данные, а также составляет план дальнейшего анализа, который можно использовать в следующем цикле.
После заданного числа циклов система выдает отчеты, подкрепленные соответствующими цитатами, с научными выводами, подобные академической статье. Оценка группы ученых показала, что 20 таких циклов эквивалентны примерно шести месяцам их собственной исследовательской работы.
Выводы системы в целом точны, заявляет Родригес. Компания Edison привлекла специалистов с уровнем понимания биологии не ниже кандидата наук для оценки 102 утверждений, сделанных «Космосом». Результаты проверки приведены в препринте на arXiv.
В целом подтвердилось 79,4% выводов ИИ, включая 85,5% утверждений, связанных с анализом данных, и 82,1% утверждений, основанных на существующей литературе. Однако «Космос» хуже справляется с синтезом информации для формулирования новых научных гипотез: здесь его точность составляет лишь 57,9%.
В Edison заявляют, что «Космос» совершил семь научных открытий, которые были внешне проверены и воспроизведены независимыми экспертами в соответствующих областях с использованием других наборов данных или методов. Четыре из этих открытий были совершенно новыми, утверждают разработчики, а остальные три уже существовали — правда, в виде препринтов или неопубликованных работ.
Один из примеров — новый метод определения момента нарушения клеточных процессов при прогрессировании болезни Альцгеймера. Другое открытие — более высокий естественный уровень антиоксидантного фермента SOD2 (супероксиддисмутазы 2) в крови, по-видимому, снижает образование рубцов на сердце.
У специалистов в этой области эти заявления вызывают смешанную реакцию. Так, Фергюс Гамильтон из Бристольского университета раскритиковал «открытие», связанное с SOD2.
«Эта конкретная причинно-следственная связь, вероятно, не выдерживает проверки в качестве нового открытия, и в способе проведения анализа есть методологические недостатки», — указал он.
По словам Гамильтона, код для анализа данных, который пытался запустить агент, работал некорректно, поэтому «Космос» проигнорировал важные данные — но все равно пришел к тому же выводу, что и в уже существующих работах.
«Он сделал ряд предположений, критически важных для реального анализа. Программные пакеты полностью выдавали сбой, а система просто их игнорировала», — пояснил эксперт.
Кроме того, по его мнению, данные в данном случае были настолько предварительно обработаны, что «Космос», по сути, выполнил, вероятно, лишь 10% работы».
Вместе с тем Гамильтон похвалил разработчиков за их готовность к критике и работе над ошибками.
«В принципе, это действительно хороший шаг вперед, но, возможно, конкретная техническая критика этой работы сводится к тому, что она не дотягивает до уровня», — заключил он. «Я вполне допускаю, что некоторые из представленных нами выводов могут оказаться ошибочными или несовершенными, — признает Родригес. — Это часть научного процесса. Однако тот факт, что система вызывает такую сложную критику, на мой взгляд, говорит о ее мощности».
Другие впечатлены общей производительностью «Космоса».
«Это демонстрирует огромный потенциал ИИ в поддержке научных открытий, но я бы был осторожен в вопросах автономного использования ИИ-ученого, — оценил Бен Глокер из Имперского колледжа Лондона. — В работе приведены прекрасные примеры успехов, но мы мало что знаем о ее режимах сбоев». «Я считаю, что нам следует принимать такие инструменты, как "Космос", и разрабатывать другие подобные ему, но нельзя упускать из виду, что наука — это не только этот метод, основанный на данных. Существуют также глубокое размышление, глубокая творческая работа, и было бы глупо отворачиваться от этого только потому, что ту часть науки, которую можно автоматизировать, ИИ осваивает легче», — добавил Ноа Джансиракуза из Университета Бентли в Массачусетсе.
Kosmos — это помощник, а не замена ученым, подчеркивают разработчики.
«У него впечатляющие способности. Но все равно нужно все внимательно прочитать и проверить. И 100%-ная верность не гарантирована», — резюмировал Родригес.