Диаризация звонков: почему AI путает оператора и клиента

Короткий ответ

Диаризация (speaker diarization) — это разделение голосов на одном аудиоканале и отнесение каждой фразы к конкретному говорящему. Для оценки оператора это решающий шаг: если система припишет фразу клиента оператору, оператора оценят за слова, которых он не говорил. Если клиент сказал «это незаконно», а в транскрипте фраза записана за оператором, оператор выглядит так, будто допустил грубую ошибку.

Самый надёжный способ снизить этот риск — записывать оператора и клиента на разных аудиоканалах. Где это невозможно — в моно-записях, — качество диаризации нужно проверять отдельно, а строки, в которых система не уверена, не угадывать.

Стерео и моно: две разные ситуации

1. 1Стерео — раздельные каналыМикрофон оператора пишется в один канал, линия клиента — в другой. Кто говорит, известно физически. Ошибки редки; главный риск — неверное сопоставление каналов: на одной АТС левый канал — оператор, на другой — клиент.
2. 2Моно — один каналОба голоса записаны вперемешку на один канал. Система группирует говорящих по особенностям голоса и затем решает, какая группа — оператор. Ошибки возможны на обоих шагах.
3. 3Три и более голосаТёплый перевод, конференция, подключение старшего смены. Разделить три голоса в моно-записи сложнее. В руководстве AWS по генеративной оценке тоже отмечено, что наложение речи и многосторонние звонки снижают точность.

К чему приводит неверная атрибуция

Неверно определённый говорящий проявляется в оценке по-разному. Случаи ниже — иллюстративный пример:

1. 1Ложное нарушениеКлиент говорит «вы мне это дадите бесплатно», а в транскрипте это реплика оператора — критерий «неподтверждённое обещание» засчитан как нарушенный.
2. 2Ложный успехКлиент подробно описывает потребность, и эта часть приписана оператору — «потребность уточнена» засчитана, хотя оператор ничего не спрашивал.
3. 3Потерянная обязательная фразаОбязательное раскрытие, сказанное оператором, приписано клиенту и засчитано как непроизнесённое.
4. 4Искажённые перебиванияКороткие подтверждения попадают не на ту сторону, и счёт перебиваний теряет смысл.

Какие критерии наиболее чувствительны

• Критерии, привязанные к конкретной фразе оператора: обязательное раскрытие, цена, обещание, условие
• Критерии, связанные с вопросами: «оператор спросил о потребности» — важно, кто спросил
• Запрещённые фразы: если слова клиента приписаны оператору, возникает ложное нарушение
• Перебивания и доля речи — обе зависят от правильного определения говорящего

Общие критерии — например, «в конце звонка следующий шаг понятен» — обычно устойчивее: одна-две неверно приписанные строки не меняют результат.

Иллюстративная проверка: как тестировать диаризацию

Метод ниже — иллюстративный пример. Цель — не общий процент, а понять, бывают ли ошибки в моменты, важные для оценки.

1. 1ВыборкаВыберите 10–20 моно-звонков с разными операторами и клиентами; один-два — с тремя участниками.
2. 2Ключевые строкиВ каждом звонке отметьте 5–10 важных для оценки строк: приветствие, цена, обещание, обязательная фраза, завершение.
3. 3Прослушать и проверитьПо каждой отмеченной строке прослушайте аудио и отметьте, правильно ли определён говорящий.
4. 4РезультатДоля неверно приписанных ключевых строк и доля оставшихся «неизвестными». Когда возникают ошибки: короткие фразы, наложение речи, похожие голоса?

Как работать с «неизвестным» говорящим

Когда система не уверена, сохранить строку как «неизвестный» честнее, чем угадать её за оператором или клиентом. Но для таких строк в оценке нужно отдельное правило:

• Если доказательство критического критерия есть только в «неизвестной» строке, решение принимает человек, прослушав аудио
• Звонок с высокой долей «неизвестных» строк не считается пригодным для полной оценки
• Если на одной линии или у одного оператора доля «неизвестных» постоянно высока, причина в настройке записи
• «Неизвестная» строка не используется как доказательство против оператора

Как снизить ошибки диаризации

1. 1Писать раздельные каналыЕсли АТС и система записи это позволяют, это самый действенный шаг. Проверьте вместе с ним объём хранения и правила согласия.
2. 2Проверить сопоставление каналовВ стерео-записи на нескольких звонках подтвердите, какой канал — оператор; линии и АТС могут различаться.
3. 3Качество звукаШум и обрывы ухудшают и диаризацию. Качество гарнитуры и микрофона важно и здесь.
4. 4Звонки с тремя участникамиОтмечайте тёплые переводы и конференции отдельно и чаще проверяйте их человеком.

Иллюстративный фрагмент транскрипта

Фрагмент ниже — иллюстративный пример, а не реальный звонок. В моно-записи диаризация отнесла две строки не к той стороне. Пометка у каждой строки показывает верного говорящего после прослушивания.

1. 1Оператор: «Тариф — 25 манатов в месяц, первый месяц со скидкой».Верно — сказал оператор.
2. 2Оператор: «То есть первый месяц вообще бесплатный?»Неверно — это вопрос клиента. Система перепутала голоса.
3. 3Клиент: «Нет, первый месяц со скидкой 50%, то есть 12,5 маната».Неверно — это ответ оператора.
4. 4Клиент: «Понятно, тогда подключаемся».Верно — сказал клиент.

Оценка по этому транскрипту увидит, что оператор дал неподтверждённое обещание «первый месяц бесплатно», а точную цену назвал клиент. Результат прямо противоположный: оператор всё сделал правильно и всё равно теряет баллы. Поэтому строки-доказательства критических критериев нужно проверять, прослушивая аудио.

Четыре проверки перед разговором с оператором

• Подтверждён ли говорящий в строке с нарушением прослушиванием аудио?
• Запись стерео? Если моно — было ли в этот момент наложение речи?
• Строка-доказательство не помечена как «неизвестный»?
• Есть ли путаница говорящих в других строках того же звонка — надёжен ли звонок целиком?

Типичные ошибки

• Доверять меткам говорящих в транскрипте без проверки
• Сравнивать результаты моно- и стерео-записей как одинаково надёжные
• Обсуждать с оператором ложное нарушение, не прослушав аудио
• Молча приписывать «неизвестные» строки оператору или клиенту

Ограничения

• Точность диаризации зависит от языка, качества звука, числа говорящих и сходства голосов; результат, измеренный в одной среде, не переносится на другую
• Стерео снижает ошибки, но при неверном сопоставлении каналов весь звонок оказывается перевёрнутым
• При наложении речи слова обеих сторон могут теряться или смешиваться
• Результат, вызванный неверно определённым говорящим, нельзя использовать против оператора

Что есть в Vexvon Audio Analyzer

• В стерео-записи оператор и клиент разделяются по каналам, в моно — диаризацией
• Если система не уверена, строка сохраняется как «неизвестный» — её не приписывают наугад оператору или клиенту; говорящий каждой строки виден в транскрипте
• Исходная метка диаризации сохраняется — если сопоставление оператора и клиента неверно, это можно отследить
• К каждому шагу стандарта звонка прилагаются строки транскрипта — можно сразу проверить, кому приписана строка-доказательство

Подробнее: Vexvon Audio Analyzer. Почему схема каналов важна как метаданные, — в статье метаданные записей звонков, а качество записи в целом — в статье качество записи звонка.

Первый шаг

Проверьте, стерео у вас записи или моно. Если моно — примените метод выше к 10 звонкам и, прослушав, подтвердите говорящего в каждой ключевой строке. Статья входит в раздел внедрение и надёжность аудиоанализа. Чтобы проверить подход на своих записях, свяжитесь с нами.

Продолжение темы: оценка звонка с доказательствами, точность анализа звонков.