Почему AI поставил оператору такой балл: оценка звонка с доказательствами

Короткий ответ

При оценке звонка с доказательствами результат каждого критерия состоит из четырёх частей: сам критерий, статус (да, частично, нет, неприменимо), обоснование в одно-два предложения и доказательство — цитата из транскрипта и её место. Балл — сумма этих записей. Когда оператор или руководитель спрашивает «почему такой балл?», ответом должна быть конкретная строка, а не мнение.

AI-балл без доказательств вредит дважды: оператор ему не верит, а руководитель никогда не узнаёт, что он ошибочен. Доказательство решает обе проблемы сразу.

Почему балл без доказательств не работает

Фраза «звонок получил 64 балла» ничего не говорит оператору. Он не знает, что сделал не так, поэтому спорит с результатом или игнорирует его. Тимлиду тоже непросто: чтобы поговорить с оператором, он должен прослушать звонок с начала — то есть заново сделать ту работу, которую должен был сэкономить AI-анализ.

Серьёзнее невидимая ошибка. Если AI перепутал говорящих и приписал слова клиента оператору, балл без доказательств этого никогда не покажет. С доказательством проверяющий сразу видит, что цитата принадлежит клиенту.

Четыре части результата с доказательством

1. 1КритерийПолный вопрос: «Согласовал ли оператор конкретный следующий шаг?»
2. 2СтатусДа, частично, нет или неприменимо — по правилу, заданному в форме.
3. 3ОбоснованиеПочему такой статус: «Оператор пообещал перезвонить, но не назвал ни время, ни ответственного». Одно-два предложения на языке проверяющего.
4. 4ДоказательствоЦитата и её место в транскрипте: «Строка 14, оператор: Мы вам перезвоним». Проверяющий должен перейти туда в один клик.

Иллюстративный пример: три критерия

Не реальный звонок — пример, построенный для объяснения. Клиент хочет увеличить лимит кредитной карты.

• Подтверждение личности — Да. Обоснование: до предоставления информации оператор спросил дату рождения и последние цифры карты. Доказательство: строки 3–5
• Объяснение условий — Частично. Обоснование: новый лимит назван, но не сказано, меняется ли процентная ставка. Доказательство: строка 9, оператор: «Ваш лимит вырастет до 3 000 манатов»
• Следующий шаг — Нет. Обоснование: не сказано, когда будет решение и как о нём сообщат клиенту. Доказательство: строки 12–14, конец звонка; оператор: «Посмотрим, сообщим»

В таком формате тимлид готовится к разговору, не слушая звонок: два поведения, три строки. А если оператор не согласен с результатом, он оспаривает его, ссылаясь на конкретную строку.

Доказательство для «нет»

Самый трудный случай — доказать отсутствие поведения. Как показать, что «оператор не назвал условие отмены»? Написать «не найдено» недостаточно. Хорошая запись показывает две вещи: где поведение ожидалось (например, строки сразу после договорённости) и что там на самом деле было сказано. Тогда проверяющий читает ожидаемое окно, а не весь звонок.

Как проверять само доказательство

• Есть ли цитата в транскрипте на самом деле — не «переписала» ли её модель своими словами
• Верно ли определён говорящий — принадлежит ли цитата оператору, а не клиенту
• Контекст — не отозвана ли и не исправлена ли фраза в следующей строке
• Качество распознавания — если строка помечена как плохо распознанная, нужно послушать само аудио
• Подтверждает ли цитата статус — слово «здравствуйте» не доказывает «назвал компанию»

Метка времени или строка транскрипта

Некоторые системы показывают доказательство временем в аудио: в оценке AWS с генеративным AI можно выбрать время, связанное со ссылкой на транскрипт, и перейти к этому моменту разговора. Это полезно, когда время записи и транскрипта совпадает точно. Но если время — оценка модели и оно «плывёт», клик ведёт в другое место звонка, и проверяющий слушает не тот фрагмент. Ненадёжный указатель времени хуже, чем никакого.

Ссылка на строку транскрипта лишена этого риска: доказательство находится в самом проверяемом тексте. Когда всё же нужно послушать звук, текст вокруг строки показывает, какую часть записи искать.

Как показать доказательство оператору

Доказательство нужно показать до разговора с оператором, а не во время него, — чтобы у оператора было время прочитать строку и подумать. Ограничьте разговор одним-двумя критериями, а не всей формой. И дайте оператору возможность оспорить каждый результат: если строка-доказательство неверна, об этом должно быть куда сообщить.

Что доказательства дают руководителю

В одном звонке доказательство делает разговор конкретным; в сотнях звонков оно позволяет видеть закономерности. Если прочитать рядом строки-доказательства всех звонков с «нет» по одному критерию, часто повторяется одна и та же фраза — например, «посмотрим, сообщим». Это привычка команды, а не одного оператора, и решение — в обучении или сценарии.

Доказательства выявляют и ошибки самой системы. Если строки-доказательства по какому-то критерию часто принадлежат клиенту, проблема в разделении говорящих, а не в операторах. Если цитаты не подтверждают критерий, его формулировку нужно уточнить. Без доказательств ни один из этих сигналов не был бы виден.

Ограничения

Обоснование, написанное моделью, может звучать убедительно и при этом быть неверным, — поэтому строка-доказательство важнее обоснования. Показатель уверенности распознавания по строке — не калиброванная вероятность. Доказательство показывает поведение, а не намерение: почему оператор так говорил, выясняется в разговоре. И ни один балл с доказательствами не должен быть единственным основанием для решения об операторе.

Доказательства в Vexvon Audio Analyzer

Vexvon Audio Analyzer построен вокруг этой модели:

• Каждый шаг стандарта получает статус (выполнено, частично, пропущено, неприменимо) и комментарий
• Доказательство — ссылка на строки транскрипта; панель подсвечивает эти строки и прокручивается к ним
• Каждая строка транскрипта показана как оператор, клиент или «неизвестно»; плохо распознанная строка помечается
• Названия шагов, комментарии и рекомендации можно перевести на выбранные языки
• Аудио можно прослушать в панели, но доказательства не указываются в секундах — оценки времени были ненадёжны, поэтому их намеренно убрали

О значении статусов — в материале о статусах «нет» и «неприменимо», о формулировке критериев — в материале оценочный лист оператора.

Первый шаг

Возьмите пять оценок прошлой недели и проверьте каждое «нет»: есть ли обоснование, есть ли цитата, действительно ли она принадлежит оператору? Доля результатов без доказательств покажет, насколько объяснимы ваши оценки. Другие материалы — в рубрике оценка операторов; свяжитесь с нами.

Продолжение темы: калибровка оценки звонков, апелляция оценки оператора.