Проблема с оценкой «вроде помогает»
Через месяц после запуска бота владелец спрашивает менеджеров: «Ну как, легче?» Менеджеры отвечают: «Да вроде да». На этом оценка заканчивается, и дальше все живут с ощущением, что деньги тратятся не зря.
Ощущение - плохая опора. Оно смещается в обе стороны: менеджер, которому бот мешает, скажет «да толку никакого», а тот, кто сам его настраивал, - «отлично работает». Ни то ни другое не про деньги.
Есть одна цифра, которая закрывает вопрос честнее любых обсуждений: какая доля диалогов завершилась без участия человека.
Как её считать
Берёте все входящие диалоги за период. Делите на две кучки: те, где менеджер написал хотя бы одно сообщение, и те, где не написал ни одного. Вторая кучка, делённая на общее число, - и есть ваша цифра.
Звучит примитивно, и в этом её достоинство: она не поддаётся приукрашиванию. Либо человек вмешивался, либо нет.
Три уточнения, без которых цифра врёт.
- Считайте диалоги, а не сообщения. Один разговор из двадцати реплик - это одна единица, иначе болтливые диалоги перевесят всё остальное.
- Отбрасывайте спам и пустые обращения - те, где человек написал «привет» и исчез. Они раздувают числитель и создают красивую картинку из ничего.
- Считайте период не меньше месяца. На неделе разброс слишком большой: одна нестандартная акция - и статистика поехала.
С чем сравнивать
Универсальной нормы нет, и всякий, кто называет вам «здоровые 80%», продаёт, а не считает. Доля зависит от того, насколько типовые у вас обращения.
У доставки, где девять из десяти вопросов - про сроки, наличие и статус заказа, доля закрытых без человека будет высокой. У компании, которая продаёт оборудование под проект, - низкой, и это нормально: там каждый разговор индивидуален.
Поэтому сравнивать надо не с рынком, а с собой. Замерьте цифру в первый месяц, потом через три. Растёт - настройка идёт правильно. Стоит на месте - что-то не так с базой ответов. Падает - обычно значит, что поменялись сами обращения: сезон, новая услуга, реклама привела другую аудиторию.
Если вы ещё не запускались, замерьте другое: сколько обращений в принципе типовые. Про то, что полезно зафиксировать заранее, у нас есть «Что замерить до запуска автоматизации».
Чего эта метрика не показывает
Она не говорит, доволен ли клиент. Диалог может завершиться без человека потому, что бот всё решил, а может - потому, что человек плюнул и ушёл к конкурентам. Обе ситуации выглядят одинаково.
Поэтому рядом стоит держать вторую цифру: сколько из закрытых без человека диалогов дошли до целевого действия - записи, заказа, оставленного контакта. Если первая растёт, а вторая падает, автоматизация работает на статистику, а не на бизнес.
И третье, что стоит смотреть глазами раз в неделю: последние сообщения в диалогах, где человек не ответил. Именно там видно, на чём разговор рассыпался.
Как не подогнать цифру
Долю закрытых без человека легко накрутить, и обычно это делается не со зла.
Самый частый способ - убрать или спрятать кнопку вызова менеджера. Метрика взлетает, клиенты звереют. Второй - настроить бота так, чтобы он отвечал что-нибудь на любой вопрос, даже когда не знает. Формально диалог закрыт, фактически человеку выдали ерунду, и он придёт снова, уже раздражённым.
Признак здоровой настройки - обратный: бот честно передаёт человеку то, что не тянет, и вы видите, какие темы уходят чаще всего. Этот список и есть план работ на следующий месяц. Где проводить границу передачи, разбирали в статье «Когда ИИ должен позвать человека».
Как это переводится в деньги
Доля сама по себе не рубли. Перевод простой: умножьте её на число обращений за месяц - получите количество диалогов, которые не легли на менеджера. Умножьте на среднее время разбора одного обращения и на стоимость часа сотрудника.
Дальше сравните с ценой подписки. МариИИ стоит 19 990 рублей в месяц, запуск за 5 дней, настройка входит в цену - тарифы на странице услуг. Если сэкономленные часы стоят заметно меньше подписки, честный вывод - вам пока рано, и мы про это прямо пишем в статье «Кому ИИ-сотрудник не нужен». Подробный расчёт окупаемости - в статье «Окупаемость ИИ-сотрудника».
Четыре среза, которые полезнее общей цифры
Общая доля - это средняя температура. Гораздо больше пользы, когда вы смотрите её в разрезах.
По каналам. Обращения из формы на сайте почти всегда типовее, чем из мессенджера: в форме человек уже выбрал тему. Если доля по одному каналу заметно ниже, дело обычно не в боте, а в том, что оттуда приходят другие люди с другими вопросами.
По времени суток. Ночью доля выше просто потому, что рядом нет менеджера, который перехватил бы разговор. Это не достижение автоматизации - это отсутствие альтернативы, и путать одно с другим не стоит.
По темам. Тут самое интересное: почти всегда обнаруживается две-три темы, на которых бот стабильно спотыкается. Их починка даёт больше, чем любая общая донастройка.
По новым и повторным клиентам. Постоянные спрашивают конкретнее и короче, новые - расплывчато и много. Если у вас в основном новые, низкая доля закономерна.
Разрезы не требуют никаких инструментов сверх того, что уже есть: достаточно выгрузить диалоги за месяц и разложить их руками один раз. Дальше станет ясно, что именно смотреть регулярно.
Что делать дальше
Если бот у вас уже стоит, посчитайте долю за прошлый месяц. Это полчаса работы и первая честная цифра вместо «вроде помогает».
Если только собираетесь - зафиксируйте сейчас, сколько обращений приходит и сколько времени уходит на ответы. Через три месяца будет с чем сравнить. Без этого замера любая оценка результата превращается в спор о впечатлениях.
