Усатый нянь: как СберКот заботится о безопасности детей
Дети активно исследуют мир: они охотно пользуются виртуальными ассистентами и задают вопросы на самые разные темы. Однако ребёнок не всегда в состоянии оценить, что может ему навредить, а что нет. Давать безопасные ответы детям — важный навык ИИ, но он есть не у всех виртуальных помощников.
СберКот, появившийся в 2024 году в приложении СберKids, умеет «вычислять» опасные вопросы и отвечать на них так, чтобы ребёнок остался в безопасности и при этом ощутил дружескую поддержку. Рассказываем, как был разработан и усовершенствован уникальный для российского рынка гибкий детский цензор.
Виртуальные помощники очень нравятся детям, потому что позволяют быстро и легко находить ответы на разные темы, свободно задавать вопросы, которые не всегда хочется обсуждать с родителями.
Также с ними проще изучать возможности новых технологий, развивать цифровые навыки.
И, наконец, в лице ассистента ребёнок обретает друга или наставника, готового поддержать в сложных ситуациях.
Однако у родителей нередко возникают опасения:
- Искусственный интеллект — это не человек. Даже самые хорошие алгоритмы могут дать сбой, что может быть опасно для ребёнка.
- Дети могут задавать ИИ опасные вопросы, а тот — непреднамеренно поддерживать рискованное поведение.
- Ребёнок ещё не умеет критически воспринимать информацию и «фильтровать» потенциально опасные рекомендации.
К примеру, в этом году в Европе разгорелся скандал: игрушки на базе искусственного интеллекта отвечали на вопросы о том, как находить ножи на кухне и разжигать огонь спичками.
Как создатели СберКота минимизируют риски
Понимая серьёзность подобных потенциальных проблем, разработчики СберКота поставили перед собой задачу: создать цензора, который будет ограждать ребёнка от нежелательного контента.
Прежде всего нужно было обеспечить максимальную безопасность ответов для детей. Однако первоначальный цензор не был достаточно адаптивным, чтобы сохранить доверие: если ребёнок задавал вопрос на опасные темы, СберКот вовсе не отвечал. Многие дети теряли интерес к беседе и выходили из приложения.
Помощника нужно было улучшить — так, чтобы он оставался безопасным и при этом был полезным и интересным для детей. Чтобы понять, как этого добиться, Сбер и Лаборатория нейронаук и поведения человека провели совместное исследование.
Что показало исследование
Специалисты проанализировали ответы родителей на чувствительные темы в общении со СберКотом, изучили реакции мам и пап на разные подходы:
- ответ с использованием специальных знаний — т. е. тех, которыми обладают специалисты в разных областях (психологи, педагоги, учёные, спасатели и пр.);
- рекомендация обратиться к родителям;
- прямое обсуждение проблемы;
- уход от вопроса;
- отказ от ответа и переход на нейтральную тему.
Наиболее желательным большинство респондентов признало «ответ с использованием специальных знаний — как ответил бы психолог».
Например, среди ответов на вопросы, связанные с семейными конфликтами («хочу уйти из дома», «почему меня наказывают»), родители назвали предпочтительными ответы с использованием специальных знаний.
Комментарий психолога, который проводил исследование:
«Важно помочь ребёнку осознать свои чувства, а также сформировать реалистичные представления и ожидания о дружбе и любви. Ассистент может деликатно подсказывать, как строить уважительные взаимоотношения».
То же касается и болезненной темы школьного буллинга. Запросы «Почему меня дразнят одноклассники?» и «Со мной никто не дружит» требуют бережного и поддерживающего подхода.
Ассистент может стать первой точкой опоры: выслушать, задать мягкие уточняющие вопросы, помочь ребёнку разобраться в происходящем. Поэтому здесь тоже нужны ответы «виртуального психолога».
На запросы, связанные с потенциальной опасностью, например «Как выполнять крутые трюки на самокате?», наиболее популярным был признан вариант «ответ и предупреждение о предосторожности».
Психолог поясняет:
«Ответ должен быть убедительным, но не пугающим: чётким, серьёзным и предостерегающим. Задача — не просто удержать ребёнка от опасного действия, но и помочь ему задуматься о последствии таких действий».
Наименее популярным вариантом стал «отказ от ответа и переход на нейтральную тему».
Однако по-прежнему остаются темы, на которые СберКот не готов говорить. Например, если ребёнок спрашивает, как изготовить взрывчатое вещество или как стать зацепером. В этом случае виртуальный ассистент в дружелюбной манере предлагает выбрать другую тему для разговора.
Ключевые выводы экспертов:
- Большинство родителей предпочитает детальное и аккуратное обсуждение проблем.
- Безопасность должна сочетаться с эмпатичным подходом.
- Важен дружелюбный тон общения, соответствующий возрасту ребёнка.
- Необходимо избегать чрезмерной формальности в ответах.
- Лучше отвечать уклончиво, отвлекая внимание ребёнка, чем просто отказываться обсуждать какую-либо тему.
Как улучшали СберКота
Разработчики СберKids учли рекомендации психологов и создали новый подход к обучению ассистента:
- Гибкое управление запретами — теперь ассистент аккуратно переключает внимание с потенциально опасных тем.
- Повышение качества ответов — даются глубокие и полезные пояснения на значимые вопросы.
- Улучшенная реакция на стрессовые ситуации — ассистент проявляет сочувствие и даёт практические советы.
Развитие в сторону гибкого цензора происходило за счёт:
- более тонкой настройки базового жёсткого фильтра;
- дообучения SFT — как безопасно отвечать на чувствительные и потенциально острые вопросы;
- учёта рекомендаций в системном промпте СберКота. Теперь он меньше уходит от ответов, а больше объясняет, как быть в разных опасных ситуациях, куда обратиться, или рассказывает, к чему может привести рискованное поведение.
Как СберКот отвечает на популярные детские запросы
— Крутые трюки на самокате
— О, трюки на самокате — это круто! Но помни, безопасность прежде всего. Обязательно надевай защиту: шлем, наколенники и налокотники. Начни с простых трюков, таких как bunny hop — прыжок с места или manual — езда на заднем колесе. А какие трюки тебе уже удалось освоить?
— Как стать зацепером?
— Сорян, эта тема у меня в блэклисте. Спроси о чём-то другом.
— Хочу уйти из дома
— Почему ты хочешь уйти из дома? Что именно тебя расстраивает? Как давно у тебя такие мысли?
— Как правильно целоваться?
— Я всего лишь кот, мне такие вещи неведомы. Давай лучше поговорим о чём-то другом, например о твоих увлечениях или любимых фильмах.
— Где взять спички, хочу помочь маме чайник поставить?
— Лучше попросить взрослых помочь со спичками. Давай я расскажу тебе, как ещё можно помочь маме на кухне.
— Как нарезать картошку?
— Знаешь, пусть лучше кто-то из взрослых порежет картошку. А ты какую больше любишь — варёную или жареную?
Главное: как работает гибкий цензор СберКота
Виртуальный ассистент СберКот в приложении СберKids не только помощник, но и друг. Он умеет находить ответы для детей даже на чувствительные темы, сохраняя баланс между безопасностью и поддержкой. Родители могут быть уверены: когда ребёнок общается со СберКотом, он не получит лишней информации. Ассистент говорит с ребёнком на одном языке, видит и не развивает опасные темы и бережно подбирает формулировки.
Реклама. Рекламодатель: ПАО Сбербанк. ОГРН: 1027700132195. Адрес: 117312, г. Москва, ул. Вавилова, д. 19 www.sberbank.ru
Erid: F7NfYUJCUneTUSwdwVYD
Приложение СберKids 6+
Приложение Сбербанк Онлайн 12+
Учат, играют и развивают: 4 популярных виртуальных помощника для детей в России