KPI для робота. Как измерить эффективность чат-ботов

Анна Зубкова По прогнозам аналитиков Gartner, к 2020 году мы будем проводить в беседах с чат-ботами больше времени, чем в разговорах с собственными супругами. Российские компании и организации — от «МегаФона» до Минобрнауки — одна за другой объявляют о внедрении чат-ботов. Новая технология требует от менеджеров новых подходов, особенно в сфере аналитики. В целом, для оценки чат-ботов применяются три категории KPI: данные о выполнении чат-ботом бизнес-задач, ради которых он создавался; метрики, отражающие востребованность бота; метрики, помогающие понять, насколько эффективны сами диалоги. Многие из чат-бот метрик используются также и в обычном интернет-маркетинге. Однако их интерпретация в диалоговой коммерции часто отличается от привычной. Кроме этого, чат-боты создаются с разными целями и метрика, важная для одного типа диалоговой системы может ничего не значить для другой. РЕШЕНИЕ БИЗНЕС-ЗАДАЧ Этот набор метрик является самым главным, так как помогает рассчитать, в какой срок окупятся ваши затраты на разработку бота и отвечает ли он вообще вашим ожиданиям. Сами KPI в данном случае могут быть разными и зависят от функций бота. Мы приведем несколько самых распространенных примеров: Снижение загрузки колл-центра. Это одна из самых распространенных задач чат-ботов. Так как большинство запросов в колл-центр являются стандартными, роботы справляются с ними не хуже людей. Они обслуживают пользователей в чатах и по телефону и переводят на «живых» операторов только когда это требуется. По данным таких компаний, как украинский мобильный оператор «Киевстар», внедрение чат-бота позволяет снизить загрузку операторов на 70% Конверсии в покупки. Эта простая метрика актуальна для e-commerce и используется также, как в традиционном маркетинге. Такие бренды, как H&M или Taco Bell используют ботов как интернет-магазин в мессенджере. Если это — ваш случай, то продажи являются для вас главной метрикой. Иногда чат-ботам удается достигать уникальных результатов. Например, интернет-магазину Asos удалось с их помощью повысить конверсии в покупки на 300%. Активация. Одно из преимуществ ботов заключается в том, что после добавления в друзья к пользователю они могут периодически напоминать им о себе и о вашем бизнесе. Например, сообщая о новых акциях в магазине или предлагая интересный контент, связанный с брендом. Вы можете снабжать такие сообщения UTM-ссылками и таргетировать их на пользователей, которые давно не появлялись у вас на сайте. А по итогам — просчитывать, какой процент пользователей удалось «вернуть». Рост CRM. Многие кейсы с использованием чат-ботов направлены в первую очередь на развитие CRM. Пользователи, желающие поиграться с ботом, вступают в контакт с компанией. Чтобы понять, помогает ли чат-бот расширять клиентскую базу, нужно отслеживать, для какого количества пользователей именно чат-бот стал первой точкой контакта с вашим брендом. Для примера, компания 1−800-FLOWERS посчитала, что 80% заказов, поступивших через бота, были заказами от новых пользователей. Рост числа упоминаний бренда. Не будем скрывать, часто одной из основных причин внедрения бота является желание получить дополнительный PR-бонус от использования новой технологии. Интересный кейс, в котором чат-бот играет с пользователями или предлагает необычный сервис (например, обсуждение интимных проблем) является прекрасным информационным поводом. Чтобы отслеживать эту метрику, нужно следить как за упоминаниями вашего бота в СМИ и блогах, так и за тем, какое количество пользователей поделились вашим ботом в социальных сетях. Кстати, при разработке бота стоит снабдить его социальными инструментами. Если какие-то из ключевых для вашего бизнеса метрик не выглядят оптимистично, это повод обратиться к двум другим наборам метрик и с их помощью понять, почему система работает не так, как вам бы хотелось. ВОСТРЕБОВАННОСТЬ ЧАТ-БОТА Количество пользователей. Сама по себе абсолютная цифра пользователей чат-бота говорит не столько о его эффективности, сколько о мощности ваших каналов, посещаемости вашего сайта и продуманности инструментов, c помощью которых вы добавляете бота в друзья к пользователям. Однако есть несколько дополнительных метрик, которые помогут вам оценить, насколько хорошо работает бот: Вовлеченные пользователи. Это пользователи, хотя бы раз вступившие в контакт с ботом, то есть ответившие на его сообщение или написавшие свое. Количество вовлеченных пользователей измеряется в процентах от общего числа людей, добавивших бота в друзья. Хороший способ оценить вовлеченность бота — сравнить ее с вовлеченностью в других каналах, таких как почтовые рассылки или реклама в социальных сетях. Для случаев, когда чат-бот является точкой входа для всех обращений пользователей (например, в колл-центре) эта метрика не актуальна. Активные пользователи. Это процент пользователей, написавших боту самостоятельно, а не в ответ на его очередное сообщение. Эта метрика отражает один из главных признаков эффективности бота — его полезность. Если люди пишут боту сами, то сервис, который предлагает им система, важен для них. Эта метрика также коррелирует с готовностью пользователей рекомендовать бота друзьям. Повторные пользователи. Две предыдущие метрики могут принести высокий результат просто потому, что людям любопытно вступить в контакт с новой технологией. Однако часто первый контакт с ботом становится последним. Иногда этого вполне достаточно, например, если вы используете бота для повышения узнаваемости бренда или для того, чтобы собирать данные пользователей через форму. Однако если вы рассчитывали на регулярное использование системы, то низкие показатели или падение этой метрики — повод пересмотреть ваши сценарии. Количество прочитанных сообщений. Эта метрика особенно актуальна, когда вы используете бота для веерной рассылки сообщений. Например, для того, чтобы сообщать клиентам интернет-магазина об акциях и скидках. Важно понимать, что на данный момент в сфере диалоговой коммерции количество прочитанных сообщений обычно превышает аналогичные показатели по другим каналам. В среднем нормальной является читаемость в пределах 40−70%. ЭФФЕКТИВНОСТЬ ДИАЛОГОВ Средняя продолжительность сессии. В зависимости от цели, ради которой вы создавали бота, эта метрика может читаться совершенно противоположным образом. Одним из главных преимуществ ботов является их способность справляться со многими задачами быстрее живых операторов и самих пользователей. В таких ситуациях короткая продолжительность беседы — хороший знак (при условии, что задача выполнена). В других случаях создатели надеются, что пользователи будут говорить с ботом как можно дольше. Обычно речь идет о ситуациях, когда бот развлекает пользователей, выполняет роль консультанта или друга. Такие боты чаще всего используются компаниями для повышения узнаваемости бренда или создания эмоциональной связи между брендом и пользователями. Длинные беседы также хороши для медийных ботов, задача которых — вовлекать пользователей во взаимодействие с контентом. Процент ошибок. Чат-боты используют технологии NLU (Natural Language Processing) и способны понимать сообщения на обычном, естественном человеческом языке. Однако ни один бот в мире пока не достиг в деле NLU стопроцентного успеха. Роботы часто понимают людей неправильно или не понимают их вообще. В этом нет ничего страшного, так как современные диалоговые системы защищаются от ошибок: уточняют, переспрашивают или переводят пользователей на живых операторов в случае непонимания. Однако важно измерять количество ошибок, отслеживать их и учить бота понимать запросы, c которыми у него возникают проблемы. В противном случае популярность бота будет падать, а вы не будете знать, что реальная причина кроется в простом непонимании. GCR (Goal Completion Rate). Это еще одна метрика, уникальная для диалоговых систем. Любой диалог с чат-ботом посвящен достижению некоей цели. Это может быть цель, поставленная самим пользователем (например, пополнить баланс или получить ответ на вопрос) или цель, поставленная вами (например, конвертировать пользователя в покупателя или уговорить его расшарить ваш контент). В системе управления чат-ботом должна быть возможность отслеживать достижение целей. Анализ этих данных поможет найти так называемые бутылочные горлышки в диалоге — моменты, на которых разговор прерывается, хотя цель так и не достигнута. На эти моменты стоит обратить внимание и переписать сценарий. Все указанные выше метрики — количественные. Однако преимущество чат-ботов заключается в том, что они оперируют не только ссылками и кнопками, но и словам. Поэтому кроме метрик мы рекомендуем вам пользоваться системами семантического анализа реплик пользователей. Они помогут понять эмоциональный фон беседы, узнать, какие запросы наиболее популярны у пользователей и вообще получить огромное количество информации о вашей ЦА, которую впоследствии можно использовать в маркетинговых кампаниях.