Что такое AI-анализ звонков: от записи до оценки оператора

Короткий ответ

AI-анализ звонков — это процесс, который превращает записанный разговор оператора с клиентом в текст, разделяет говорящих, кратко описывает, о чём был звонок, и проверяет поведение оператора по критериям самой компании. В конце может появиться балл, но ценность не в нём. Ценность — в ответе по каждому критерию: что сделано, что нет и какая строка транскрипта это показывает.

Иначе говоря: запись — это сырьё, транскрипт — её читаемая форма, резюме говорит, что произошло, а оценка — соответствует ли это стандарту. Команда, которая не разделяет эти четыре слоя, либо принимает транскрипт за оценку, либо верит баллу без доказательств.

Один звонок — пять разных результатов

Разницу проще увидеть на иллюстративном примере. Это не реальный звонок клиента, а сценарий, построенный для объяснения. Клиент звонит в компанию по установке кондиционеров и спрашивает цену установки в двух комнатах и ближайшую свободную дату. Оператор здоровается, уточняет площадь комнат, называет цену, а про дату говорит «мы вам перезвоним» и завершает разговор.

1. 1ЗаписьАудиофайл на четыре минуты. Сам по себе он ничего не сообщает — если его никто не послушает, информация внутри никуда не попадёт.
2. 2ТранскриптРазговор текстом, строка за строкой: какие слова сказал оператор, а какие клиент. Теперь его можно искать, читать и цитировать.
3. 3Резюме«Клиент спросил об установке в двух комнатах и о дате; цена названа, дата не согласована». Оно говорит, что произошло, но не говорит, хорошо ли это.
4. 4Оценка по критериямПриветствие — выполнено. Выяснение потребности — выполнено. Условия цены — частично. Согласование следующего шага — пропущено. У каждого — причина и строка транскрипта.
5. 5БаллИтоговое число, рассчитанное из статусов шагов. По нему руководитель выбирает, какой звонок открыть, — но само число не говорит, что исправлять.

Пять результатов одного звонка отвечают на пять разных вопросов. Руководителю операций нужно резюме, специалисту по качеству — оценка, а оператору — конкретный пропущенный шаг и строка, которая его показывает.

Что показывает транскрипт, а что нет

Транскрипт показывает сказанные слова. Назвал ли оператор цену, на что возразил клиент, какой шаг согласовали — всё это видно в тексте. Но текст — это не звук. Тон, громкость и интонацию нельзя надёжно извлечь из транскрипта. Руководство Google по Quality AI говорит об этом прямо: оценка по транскрипту не выполняет акустический анализ, и вопросы вроде «говорил ли оператор бодрым тоном» не должны попадать в форму.

Второе ограничение — кто говорит. В моно-записи система определяет говорящего по голосу, и она может ошибиться. Если фразу клиента припишут оператору, ошибётся и оценка. Третье — качество распознавания: в шумной или прерывистой записи часть слов распознаётся неверно. Поэтому хорошая система не прячет сомнительную строку, а помечает её.

Резюме — это не оценка

Резюме экономит время: руководитель читает четырёхминутный разговор в двух предложениях. Но резюме должно быть нейтральным — фраза «оператор хорошо справился» относится к оценке, а не к резюме. Когда их смешивают, руководитель читает «описание» каждого звонка и делает выводы, которые никто не проверял по критерию.

Практическое правило: в резюме — что произошло, в оценке — соответствует ли это стандарту. Первое — факт, второе — суждение.

Оценка: стандарт принадлежит вам

Самое важное в AI-анализе звонков — не модель, а стандарт, по которому она измеряет. «Хороший звонок» в каждой компании свой: в клинике это сообщить инструкцию по подготовке, в продажах — согласовать следующий шаг, в поддержке — понять проблему, не заставляя клиента повторять. Этот стандарт должна написать компания — система его не придумывает.

Хорошо сформулированный критерий описывает наблюдаемое поведение: «оператор предложил дату установки или назвал точное время обратного звонка». Плохо сформулированный — ощущение: «оператор был внимателен». Первое можно проверить в транскрипте, второе — нет.

Балл: последнее число, а не первое, на что смотрят

Балл полезен, чтобы выбрать, какие из многих звонков стоит посмотреть. Читать его как ценность оператора — ошибка. Два звонка с баллом 72 могут иметь совершенно разные проблемы: в одном пропущено приветствие, в другом клиенту назвали неверную цену. Поэтому после балла руководитель всегда должен спуститься к критериям и доказательствам.

• Баллы сравниваются только между звонками, оценёнными одной версией одного стандарта
• Балл по некачественной записи нельзя использовать против оператора
• Состоявшаяся продажа не доказывает качество звонка, а сорвавшаяся — не доказывает ошибку оператора
• AI-балл не должен быть единственным основанием для премии, взыскания или увольнения

На какой результат смотреть для какого решения

Смешение результатов больше всего вредит в момент решения. Такое разделение показывает, каким слоем должна пользоваться каждая роль:

• Быстро понять, о чём был звонок, — резюме; но выводов об операторе по нему не делают
• Точно знать, что сказали клиенту (например, при жалобе), — транскрипт и при необходимости сама запись
• Решить, над чем работать с оператором, — оценка по критериям, пропущенные шаги и их доказательства
• Выбрать, какие звонки открыть первыми, — балл; звонки с низким баллом поднимаются в очереди проверки
• Проверить, работает ли сам стандарт, — повторяющиеся статусы «неприменимо» и «частично» по одному критерию

Последний пункт часто забывают. Если критерий получает «неприменимо» в половине звонков, проблема может быть не в операторах, а в формулировке критерия: либо он не относится к этому типу звонков, либо условие его применения не описано. В этом смысле анализ позволяет проверять не только оператора, но и саму систему оценки.

Когда AI-анализ звонков не работает

Система не знает того, чего нет в транскрипте. Фраза оператора «я внёс заказ в систему» не доказывает, что заказ внесён, — это показывает запись в CRM. Решена ли проблема, тоже нельзя сказать по одному звонку: нужно смотреть на последующие обращения. «Спасибо» клиента — не точная мера его удовлетворённости.

Есть и иллюзия масштаба: анализ всех звонков не означает, что каждый звонок оценён правильно. Сколько звонков вообще пригодны для анализа, нужно измерять отдельно — это стоит читать вместе с процессом из материала об аудите качества звонков.

Как это выглядит в Vexvon Audio Analyzer

Vexvon Audio Analyzer работает с загруженными записями звонков и показывает пять слоёв по отдельности:

• Записи загружаются файлами (mp3, wav, m4a и другие распространённые форматы); о повторной загрузке того же файла система предупреждает
• В транскрипте разделены оператор и клиент — по каналам в стерео-записи, автоматическим разделением говорящих в моно; строка, в которой система не уверена, остаётся «неизвестной»
• Плохо распознанные строки помечаются в транскрипте
• Резюме пишется на языке проверяющего, транскрипт можно перевести на выбранные языки
• Звонок проверяется по стандарту, который пишет сама компания: каждый шаг получает статус — выполнен, частично, пропущен или неприменим — с комментарием и ссылками на строки транскрипта
• Из статусов шагов рассчитывается балл 0–100, по звонку даются рекомендации

Система не указывает секунды в аудио: доказательством служат конкретные строки транскрипта, и панель прокручивается к ним.

Первый шаг

Для начала достаточно десяти–пятнадцати реальных записей и одностраничного стандарта «хорошего звонка». Опишите стандарт наблюдаемыми шагами, проанализируйте звонки и сравните первые результаты с собственной оценкой опытного специалиста по качеству. Там, где они расходятся, критерий нужно уточнить.

Другие материалы раздела — в рубрике стратегия анализа звонков. Чтобы проверить на своих звонках, свяжитесь с нами.

Продолжение темы: автоматизированный контроль качества звонков, оценочный лист оператора, оценка звонка с доказательствами.