Качество записи звонка: как плохой звук искажает балл

Короткий ответ

Плохая запись искажает балл оператора двумя путями: система не слышит слово — и оператору засчитывают, что он его не сказал, или слышит неверно — и оператору приписывают то, чего он не говорил. В обоих случаях виновата запись, а не оператор. Поэтому плохая или неполная запись не должна автоматически давать отрицательный балл — критерий в таком звонке получает статус «невозможно оценить», а не «нет».

Это вопрос справедливости, а не технических деталей. Если оператор на плохо записываемой линии каждый месяц получает балл ниже остальных из-за микрофона или сети, система оценки измеряет оборудование, а не оператора.

Пять типичных проблем записи

1. 1Фоновый шумОткрытый офис, улица, машина, телевизор. Больше всего теряются короткие слова — «да», «нет», числа, — а это как раз подтверждения и цены.
2. 2Обрывы и потеря пакетовПри слабой сети часть фразы не попадает в запись. В транскрипте фраза обрывается или две фразы сливаются.
3. 3КлиппингПри слишком громкой записи срезаются пики волны, и звук хрипит. Ошибок распознавания больше, особенно у клиента, который говорит громко.
4. 4Неполная записьЗапись начинается с середины или обрывается до конца. Если нет приветствия или завершения, эти критерии оценить нельзя.
5. 5Низкокачественный кодекСильно сжатый формат может сохранять речь понятной человеку, но снижать точность автоматического распознавания.

Как ошибка превращается в балл

Ошибка от качества записи распространяется по цепочке. Пример ниже — иллюстративный:

1. 1ЗаписьОператор говорит: «Заказ доставят в четверг, с 14 до 18 часов». В этот момент связь пропадает на две секунды.
2. 2Транскрипт«Заказ доставят в чет... до 18 часов». День и интервал обрезаны.
3. 3ОценкаКритерий «оператор точно назвал время доставки» получает «нет» или «частично».
4. 4РезультатБалл оператора падает, а в разговоре об обратной связи ему показывают ошибку, которой он не совершал.

На каждом звене цепочки можно поставить точку проверки: в самой записи, в надёжности транскрипта и в статусе оценки.

Три статуса: нет, не применимо, невозможно оценить

1. 1НетКритерий применим, запись достаточно чёткая, а поведения нет. Только этот статус снижает балл.
2. 2Не применимоКритерий к звонку не относится: например, клиент не возражал, поэтому работу с возражением не проверяют. В балл не входит.
3. 3Невозможно оценитьКритерий мог быть применим, но эта часть записи потеряна или ненадёжна. В балл не входит и отдельно считается в отчёте.

Без третьего статуса система выбирает между двумя плохими вариантами: сказать «нет» и наказать оператора или сказать «не применимо» и скрыть проблему. Оба вводят отчёт в заблуждение.

Иллюстративное правило качества записи

Правило ниже — иллюстративный пример. Пороги задайте по своим записям и результатам пилота.

1. 1Полная оценкаЗапись охватывает звонок от начала до конца, строк с низкой уверенностью мало и они не приходятся на важные для критериев моменты.
2. 2Ограниченная оценкаЧасть записи плохая. Критерии, попадающие на неё, получают «невозможно оценить», остальные оцениваются обычно. Балл показывается вместе с охватом.
3. 3Без оценкиЗапись очень короткая, нет звука одной из сторон, большая часть разговора неразборчива. Звонок не получает балла, фиксируется как проблема записи и передаётся технической команде.
4. 4Проверка человекомЕсли критический критерий — например, обязательное раскрытие — попадает на плохой участок, решение принимает человек, прослушав аудио.

Показывать охват

Если балл считается только по критериям, которые удалось оценить, рядом нужно показывать, сколько критериев оценено. Пример ниже — иллюстративный:

• Звонок A: оценено 10 из 10 критериев, балл 80
• Звонок B: оценено 5 из 10 критериев, балл 80 — остальные 5 не оценены из-за качества записи
• Одинаковые «80» имеют разную надёжность; добавлять B в среднее оператора с тем же весом, что и A, неверно

То же правило на уровне оператора: если доля звонков «невозможно оценить» высока, среднее оператора ненадёжно, и стоит проверить техническое состояние его линии.

Устранить причину

• Проверьте гарнитуры и микрофоны — если все звонки одного оператора плохие, причина часто в оборудовании
• Настройте уровень записи — слишком тихий звук не распознаётся, слишком громкий обрезается
• По возможности записывайте оператора и клиента на разных каналах
• Избегайте чрезмерно сжатых форматов; ищите баланс между экономией места и качеством распознавания
• Проверьте, что запись охватывает весь звонок — в том числе после перевода

Журнал проблем записи

Проблемы качества записи редко случайны — они повторяются на одной линии, на одном оборудовании, в одни и те же часы. Чтобы их увидеть, достаточно простого журнала. На каждый случай «невозможно оценить» или «без оценки» записывается одна строка:

1. 1Дата и линияКогда был звонок и на какой линии или в какую смену.
2. 2Тип проблемыШум, обрыв, клиппинг, неполная запись, нет звука одной из сторон.
3. 3Как обнаруженоСтроки с низкой уверенностью, неудачный анализ, прослушивание человеком или возражение оператора.
4. 4ВлияниеКакие критерии не удалось оценить и как это могло повлиять на балл оператора.
5. 5Принятые мерыЗаменена гарнитура, настроен уровень, передано технической команде.

Через месяц журнал показывает, где скапливаются проблемы, и даёт конкретное основание для технических вложений: «на шести рабочих местах третьего этажа доля обрывов выше, чем у остальных».

Типичные ошибки

• Засчитывать критерий, пропущенный на плохой записи, как «нет»
• Тихо убирать плохие записи из выборки, не показывая этого в отчёте, — проблемные линии становятся невидимыми
• Сравнивать средние баллы операторов, не глядя на качество записи
• Читать показатель уверенности распознавания как калиброванную вероятность

Ограничения

• Уверенность распознавания по строке — собственная оценка модели; это не калиброванная вероятность и не гарантия правильности строки
• Чистый на вид транскрипт тоже может быть ошибочным — особенно числа, имена и названия товаров
• Пороги правила качества записи проверяются на собственных записях каждой компании
• Звонок, который нельзя оценить из-за плохой записи, не должен идти против оператора

Что есть в Vexvon Audio Analyzer

• Каждая строка транскрипта приходит с уверенностью распознавания; строки с низкой уверенностью открыто помечены в панели, а не скрыты
• Строка, где нельзя определить говорящего, сохраняется как «неизвестный», а не угадывается
• Файл, анализ которого не удался, показывается с причиной ошибки и может быть снова поставлен в очередь без повторной загрузки
• Шаг стандарта со статусом «не применим» не идёт против оператора; правило «невозможно оценить» выше применяется в вашем собственном процессе, с проверкой человеком

Подробнее: Vexvon Audio Analyzer. Как проверить качество записи в пилоте, показано в статье пилот речевой аналитики, а поля записи — в статье метаданные записей звонков.

Первый шаг

Прослушайте 10 звонков прошлой недели с самым низким баллом и задайте каждому один вопрос: низкий балл — от поведения оператора или от записи? Связанные с записью вынесите в отдельный список и проверьте, к какой линии и какому оборудованию они относятся. Статья входит в раздел внедрение и надёжность аудиоанализа. Чтобы проверить подход на своих записях, свяжитесь с нами.

Продолжение темы: неприменимо в оценке звонков, диаризация звонков, точность анализа звонков.