Контроль качества звонков с AI: от выборки ко всем

Почему выборочного прослушивания недостаточно

Классическая форма контроля качества звонков выглядит так: руководитель слушает несколько звонков в неделю и делает пометки. Это работает при одном условии — если звонков немного. В команде, делающей тысячу звонков в неделю, прослушанная доля меньше одного процента.

По однопроцентной выборке можно найти проблему, но нельзя измерить систему. Хуже того, выборка не случайна. Руководитель обычно слушает звонок, по которому пришла жалоба, или тот, что длился долго, поэтому данные всегда смещены в сторону проблем, а как проходят обычные звонки, остаётся невидимым.

Этот материал о том, как превратить контроль качества в систему: как качество становится измеримыми критериями, как пишется оценочная карта, что может и чего не может автоматизация, юридическая сторона и как выводы возвращаются команде.

Что такое качество — измеримые критерии

«Хороший звонок» измерить нельзя. Измеримо конкретное поведение, и список его должен быть коротким.

• Открытие: названы ли компания и причина звонка
• Разрешение: спросили ли клиента, удобно ли ему говорить
• Квалификация: заданы ли предусмотренные сценарием вопросы
• Точность: соответствует ли сказанное утверждённой информации
• Следующий шаг: закончился ли разговор конкретной договорённостью
• Фиксация: заполнены ли код результата и поля
• Передача: передан ли разговор человеку там, где это требовалось

Смысл списка в том, что каждая строка отвечает «да» или «нет». Шкала — «хорошо, средне, слабо» — увеличивает субъективность и приводит к тому, что двое оценщиков ставят одному звонку разные баллы.

Критериев должно быть не больше семи-восьми. Длинная карта не заполняется, а незаполненная карта оставляет отчёт пустым — и это самый частый финал систем контроля качества.

Как пишется оценочная карта

Написание карты — работа на час при соблюдении нескольких правил.

1. 1Критерии берутся из сценарияКарта пишется после сценария, а не до. Требовать то, чего сценарий не предусматривал, выглядит несправедливо и вызывает сопротивление.
2. 2Критические критерии отделяются от обычныхНекоторые строки — например сообщение неутверждённой информации — проваливают звонок сами по себе. Остальные учитываются с весом.
3. 3Карта проверяется на образцахДвое оценивают одни и те же пять звонков раздельно. Если результаты расходятся, критерий неясен — исправляют карту, а не людей.
4. 4Карту показывают команде заранееСкрытая система оценки рано или поздно обнаруживается и теряет доверие. Открытость карты — условие её работы.

Что может и чего не может автоматизация

Автоматизация здесь не заменяет прослушивание, но существенно расширяет объём, который удаётся охватить.

• Может: проверить структуру — прошли ли шаги сценария по порядку
• Может: проверить наличие конкретных формулировок
• Может: измерить сигналы вроде длительности, пауз и точки обрыва
• Может: проверить, заполнены ли код результата и поля
• Не может: оценить правильность решения, требовавшего контекста
• Не может: определить настоящую причину недовольства клиента
• Не может: сказать, было ли отступление от сценария оправданным

Практическая модель смешанная: автоматическая проверка просеивает все звонки и выделяет ту часть, что требует внимания, а человек слушает именно её. Тот же час руководителя даёт больше, потому что он слушает отобранные звонки, а не случайные.

Для этого звонки должны записываться и обрабатываться, а это зависит от телефонии и платформы компании. Что именно сохраняется, нужно выяснить до проектирования аудита: аудит строится только на существующих данных.

Юридическая сторона: запись, согласие, хранение

Запись и обработка звонков — это обработка персональных данных, и решение здесь сначала юридическое, а потом техническое.

На практике письменно фиксируются три вещи: какие звонки записываются, сколько хранятся записи и у кого есть к ним доступ. Без этих трёх ответов систему строить не стоит.

Четвёртый вопрос — где эти данные лежат. Записи и расшифровки могут быть чувствительными: финансовое положение клиента, здоровье, личные обстоятельства. Доступ к ним не должен быть открыт всей команде.

Возврат выводов команде

Ценность аудита качества в изменении, а не в отчёте. Поэтому важна форма, в которой выводы доходят до команды.

• Индивидуальный результат — индивидуально, общий — команде
• После каждой оценки предлагается одно конкретное изменение, а не пять
• Хорошие примеры распространяются: правильно проведённый звонок — лучший учебный материал
• Повторяющаяся ошибка это не проблема человека, а проблема сценария, и правится сценарий
• Частота оценки постоянна — разовая «кампания проверок» раз в месяц не работает

На четвёртой строке стоит остановиться. Если четверо операторов из пяти делают одну и ту же ошибку в одном и том же месте, ошибка не в людях: эта часть сценария непонятна, и исправить её дешевле, чем обучать пятерых.

Неверное использование: как инструмент наказания

Самый быстрый способ разрушить систему качества — использовать её для наказаний. Результат предсказуем и каждый раз одинаков.

Команда учится поднимать балл: фразы сценария произносятся механически, трудные вопросы не задаются, рискованные разговоры обрываются. Балл растёт, конверсия падает — и отчёт этого не показывает, потому что баллы качества и показатели результата читаются раздельно.

Защита простая: балл качества всегда читается вместе с показателем результата. Оператор с высоким баллом и низкой конверсией следует сценарию, но не ведёт разговор — это тема обучения, а не наказания.

Что делать с результатами первого месяца

Первый месяц аудита качества всегда даёт одну и ту же картину: несколько строк нарушаются массово, а остальные выполняются почти всегда. Картина полезная — она сама задаёт порядок работы.

• Массово нарушаемая строка возвращается в сценарий — там обычно либо трудная формулировка, либо шаг, невыполнимый на практике
• Строка, выполняемая почти всегда, убирается из карты — она больше не даёт информации и только удлиняет её
• Строка, повторяющаяся у одного-двух операторов, это тема индивидуального обучения
• Строка, которую никогда не проверяют, либо неизмерима, либо не важна

Вторая версия карты обычно короче первой, и это признак успеха. Длинная карта означает не больше контроля, а меньше заполненных строк.

После второго месяца карта стабилизируется и обновляется только при изменении сценария. Критерии, меняющиеся каждый месяц, делают сравнение невозможным — чтобы видеть тренд, единица измерения должна оставаться постоянной.

Измерение

Сам аудит тоже нужно измерять, иначе через несколько месяцев он превращается в формальность.

• Охват: какая часть звонков была оценена
• Число критических нарушений: неутверждённая информация, несостоявшаяся передача
• Разбивка по критериям: какая строка нарушается чаще всего
• Согласованность оценщиков: насколько близки баллы за один и тот же звонок
• Связь между баллом качества и конверсией — главная проверка системы

Последняя строка связывает систему качества с показателями результата. Остальные звенья цепочки перечислены в материале метрики звонков в продажах.

Границы

Аудит качества не меняет результат звонка — он только показывает, что произошло. Изменение вносится в сценарий, в обучение или в базу.

Вторая граница в самом измерении. Некоторые важные вещи не измеряются: колебание в голосе клиента, тон разговора, умение оператора вовремя промолчать. Для их оценки нужен слушающий человек, и полностью заменить его нельзя.

Что даёт сторона Vexvon

На стороне звонков Vexvon даёт часть записей, нужных для аудита качества; остальное зависит от телефонии и настроек записи в компании.

• В сценарии задаются извлекаемые из звонка поля — поэтому вопрос «был ли задан вопрос» отвечается на уровне поля
• База знаний ограничивает то, что агент может сказать, что структурно снижает риск неутверждённой информации
• Из разговора формируется краткое резюме в одну фразу и сохраняется в карточке лида
• Записываются код результата, попытки контакта и причина закрытия
• Единая лента показывает порядок событий
• Отчёт в Excel включает общий обзор, анализ рабочих часов и почасовую тепловую карту

Возможности отчётности показаны на странице аналитики, а то, на чём основаны ответы агента — на странице базы знаний.

Первый шаг

Напишите карту из семи строк и за неделю оцените двадцать звонков вручную. Этот шаг предшествует автоматизации: только так можно понять, работает ли сама карта.

Затем посмотрите, какие строки поддаются автоматической проверке. Чтобы обсудить, как это построить на вашем потоке звонков, напишите нам.