Разработан подход для оценки точности работы нейросетей
Ученые Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" разработали метрику для определения минимально допустимой точности работы нейросетевых моделей.
Об этом сообщили ТАСС в пресс-службе вуза.
"Наша метрика находится в открытом доступе, и теперь любой разработчик программного обеспечения, использующего нейросетевые модели, может проверить - какова минимальная эффективность его продукта. Наш подход актуален для всех направлений применения ИИ-технологий: начиная от медицины, маркетинга и логистики, заканчивая банковским делом и промышленным производством", - привели в пресс-службе слова доцента кафедры математического обеспечения ЭВМ СПбГЭТУ "ЛЭТИ" Антона Филатова.
Уточняется, что сегодня нейросети играют важную роль в жизни и экономике общества. Однако активное их внедрение вызывает ряд трудностей, которые требуют создания инструментов для их преодоления, поскольку они могут приводить к моральному, физическому и экономическому ущербу для пользователей. В частности, одной из проблем, которая возникает в силу особенностей функционирования нейросетевых моделей, является высокая сложность прогнозирования результатов обработки информации. Например, нейросеть для анализа КТ-снимков, после двух обучений на одном и том же массиве данных в первом случае может выдать успешность распознавания 90% и более, а во втором - на несколько десятков процентов ниже.
"Разумеется, эта "болезнь" нейронных сетей вызывает большие вопросы об эффективности и достоверности их применения, например, в сфере медицины или экономики: когда система может непрогнозируемо выдать, скажем, практически абсолютную точность, а при повторном обучении - существенно меньше. В нашем исследовании мы предложили метрику, которая позволяет с высокой точностью определить минимальный порог точности, с которой нейросеть выполняет задачи по обработке информации", - пояснил Филатов.
По данным пресс-службы, ученые ЛЭТИ определили, что стандартные подходы математической статистики не способны достоверно в общем виде описать минимальную точность нейросетей: результаты многократного обучения нейросетей на одном массиве данных давали непредсказуемые результаты.
Тогда исследователи решили эмпирически найти метрику, которая бы могла описать и предсказать минимальную точность обработки информации нейросетью. Для этого три активно применяемых нейросети обучили около 30 раз на одном и том же объеме данных. Собранная информация позволила обнаружить закономерности обучения нейросетей и составить метрику (числовой показатель, используемый для измерения, оценки и анализа эффективности) для их оценки.