Какими метриками измерять работу голосового AI-агента

Короткий ответ

Работу голосового AI-агента нельзя измерить одной цифрой. Пять показателей нужно читать вместе: доля звонков, завершённых агентом без передачи (решение), доля звонков, направленных в нужное место (точность маршрутизации), доля и причины звонков, переданных человеку (эскалация), клиенты, положившие трубку в разговоре с агентом (сбросы), и неверные ответы, найденные при выборочной проверке (замеченные ошибки).

Главное правило: высокая доля «решения» сама по себе не хороша. Если агент оставляет у себя и сложные звонки, решение растёт — а с ним и недовольство клиентов. В статье — определение, расчёт и пределы каждого показателя.

Почему один показатель вводит в заблуждение

Каждый показатель тянет в свою сторону. Чтобы поднять решение, агент может реже передавать — но вырастут неверные ответы. Чтобы снизить ошибки, агент может передавать всё — но решение упадёт, а операторы перегрузятся. Чтобы снизить сбросы, агент может затягивать звонок. Поэтому показатели читаются парами: решение с замеченными ошибками, эскалация с точностью маршрутизации.

1. Доля решения

Определение: доля звонков, которые агент завершил без передачи и в которых потребность клиента удовлетворена. Вторая часть важна: просто завершённый звонок — не решение. Проверить можно двумя способами: по полю «результат», извлечённому из звонка (например, «информация дана», «запись принята»), и по повторному звонку с того же номера за короткое время — повтор часто показывает, что первый звонок не решён.

2. Точность маршрутизации

Определение: доля переданных агентом звонков, попавших в нужный отдел или к нужному человеку. Автоматически этот показатель не измеряется — он считается по выборке: каждую неделю прослушивается или читается определённое число переданных звонков и отмечается, верно ли. Дополнительный источник — сигналы операторов «этот звонок не ко мне».

3. Доля и причина эскалации

Определение: доля звонков, переданных человеку. Но причины важнее цифры. Разделите их: клиент попросил человека, тема вне границ (плановая), агент не понял (проблема), техническая ошибка (проблема). Плановая эскалация — не провал, она показывает, что агент работает правильно.

4. Сбросы в разговоре с агентом

Определение: доля случаев, когда клиент завершил звонок, не достигнув цели. Отличайте это от обычных сбросов в очереди — агент отвечает сразу, поэтому сбросы здесь вызваны не ожиданием, а самим разговором: длинным вступлением, непониманием, хождением по кругу. Смотрите, в какой момент кладут трубку: в первые 10 секунд, после повторного вопроса, в ожидании передачи.

5. Замеченные ошибки

Определение: доля звонков в выборке, где агент дал неверную информацию, нарушил границу или неверно передал звонок. Слово «замеченные» важно: это не число всех ошибок, а найденные в проверенной выборке. Если выборка мала, цифра неточна — поэтому каждая ошибка разбирается отдельно, а процент читается как тренд.

Еженедельная панель показателей

1. 1ОбъёмЧисло звонков, пришедших к агенту, — для контекста.
2. 2РешениеДоля и тренд, вместе с долей повторных звонков.
3. 3ЭскалацияДоля и разбивка по четырём причинам.
4. 4СбросыДоля и в какой момент.
5. 5ОшибкиСколько звонков проверено, сколько ошибок найдено, короткая заметка по каждой.

Держите панель на одной странице. Руководитель должен за пять минут ответить на три вопроса: делает ли агент больше работы, ошибается ли реже, продолжают ли клиенты с ним говорить.

Иллюстративный пример: сравнение двух недель

Это не реальные цифры клиента. Первая неделя: к агенту пришло 1 000 звонков, решение 55%, эскалация 38% (половина — «не понял»), сбросы 7%, в 50 проверенных звонках 3 ошибки. После исправления базы знаний и сценария вторая неделя: решение 60%, эскалация 34% (четверть — «не понял»), сбросы 6%, в 50 проверенных звонках 1 ошибка.

Главное изменение не в доле решения, а в причине эскалаций: агент реже «не понимает». Это показывает, что исправление сработало.

Как проводить выборочную проверку

Выборка должна быть случайной, а не состоять из «интересных» звонков. Каждую неделю выбирайте из списка 30–50 случайных звонков и отвечайте по каждому на три вопроса: была ли информация верной, соблюдена ли граница, если нужна была передача — состоялась ли. Все звонки с жалобами и сигналами операторов проверяйте отдельно, но не смешивайте их со случайной выборкой — иначе доля ошибок искусственно вырастет.

Измерять отдельно по типам звонков

По вопросам о часах работы решение может быть 90%, по вопросам о ценах — 50%. Общая цифра покажет 70% и создаст ложное представление об обоих. Если в сценарии есть поле «причина звонка», считайте показатели отдельно хотя бы по трём-четырём основным типам. Исправления тоже делаются по типам: где решение низкое, там и расширяется база знаний.

Пределы измерений

• Если решение опирается на поле «результат», само поле может быть заполнено неверно
• Повторный звонок может иметь другую причину — новый вопрос, другой член семьи
• Если выборка мала, доля ошибок зависит от случайности
• Удовлетворённости клиента в этих показателях напрямую нет — нужен отдельный опрос
• Показатели различаются по типам звонков — общая цифра скрывает разницу

Типичные ошибки

• Следить только за долей решения
• Снижать эскалации, не глядя на причины
• Не делать выборочную проверку — доля ошибок вообще не измеряется
• Сводить все типы звонков в одну цифру
• Подменять собственные измерения цифрой «точности» от поставщика

Юридическое и этическое замечание

Эти показатели измеряют работу агента, а не операторов. Если AI-показатели используются в оценке операторов, они могут быть только сигналом, окончательное решение остаётся за человеком. Использование записей звонков для проверки должно соответствовать политике данных компании и местным требованиям.

Данные для измерений в Vexvon

В Vexvon AI Call Center транскрипт каждого звонка, резюме в одно предложение и заданные в сценарии поля — например, «результат» и «причина передачи» — остаются в панели. Это позволяет считать решение и причины эскалации, не прослушивая звонки по одному, и быстро читать транскрипты для выборочной проверки. Звонок, переписка и чат на сайте видны в одной ленте клиента, поэтому можно отслеживать и повторные обращения; для общей отчётности см. страницу аналитики.

Как эти показатели используются в пилоте — в статье пилот голосового AI-агента, их денежное выражение — в ROI голосового AI-агента.

Первый шаг

Добавьте в сценарий два поля: «результат» и «причина передачи» — с закрытым списком значений. Через неделю впервые посчитайте пять показателей. Другие статьи — в разделе надёжность и пилот; чтобы построить панель вместе, свяжитесь с нами.