Безопасный ИИ: как портал «Рамблер» тестирует нейросети для бизнеса и пользователей
Chief Data Scientist (CDS) компании поделился опытом работы с большими языковыми моделями
18 апреля 2025 года в Ульяновске состоялась XIII Международная IT-конференция «Стачка», собравшая экспертов в области искусственного интеллекта, разработки и цифровых инноваций.
CDS портала «Рамблер» (входит в медиахолдинг Rambler&Co) Сергей Карпович выступил в секции «Машинное обучение» с темой интеграции больших языковых моделей (LLM) в веб-продукты. Он рассказал о процессе подключения GigaChat к новостному порталу.
Основное внимание Карпович уделил методикам промпт-инжиниринга – искусству составления эффективных запросов к языковой модели для получения желаемого результата, а также использованию различных техник, таких как Few-Shot, Chain of Draft (цепочка черновиков) и Chain of Thought (цепочка рассуждений). Он подчеркнул критическую необходимость всестороннего тестирования при работе с LLM и отметил, что его необходимо проводить на двух уровнях:
- этапе разработки: оценка способности конкретной LLM эффективно решать поставленные бизнес-задачи до её внедрения;
- производственной среде: обязательный непрерывный мониторинг качества работы LLM после интеграции в продукт, что позволяет отслеживать производительность модели в реальных условиях, выявлять деградацию качества ответов и оперативно вносить корректировки.
Аудитория портала «Рамблер» уже сейчас может ознакомиться с картиной дня на главной странице портала, которая актуализируется нейросетью раз в несколько минут, а с помощью контекстных подсказок узнавать подробнее о событии или уточнять неизвестные слова.
Сергей Карпович, CDS портала «Рамблер»: «Новый “Рамблер” — это не просто портал, а помощник, который берёт на себя рутину и помогает получить исчерпывающую полезную информацию по любой жизненной ситуации. Мы проводим всесторонние тестирования языковых моделей, осуществляем тщательный мониторинг качества создаваемого контента и стремимся к минимизации рисков, чтобы искусственный интеллект эффективно способствовал развитию бизнеса и не порождал потенциальные угрозы».
«Стачка» — международная профессиональная IT-конференция, которая ежегодно собирает 2500 специалистов со всей страны — разработчиков, маркетологов, дизайнеров, руководителей и собственников IT-компаний.