«Нет», «Неприменимо» и «Невозможно оценить» в оценке звонков

Короткий ответ

В оценке нужно разделять три статуса. «Нет» — критерий относится к звонку, доказательство есть, а оператор не сделал требуемого; это снижает балл. «Неприменимо» — условие критерия в этом звонке не возникло (клиент не возражал, звонок переведён); критерий исключается из расчёта, и это не пробел. «Невозможно оценить» — критерий может относиться к звонку, но записи или транскрипта недостаточно для вывода; критерий исключается из расчёта, но уменьшает охват оценки и считается отдельно с указанием причины.

Форма, которая смешивает эти три статуса, либо наказывает оператора за несовершённые ошибки, либо прячет настоящие проблемы под «неприменимо».

Чем вредит смешение

Два иллюстративных случая. Первый: клиент спросил о тарифе, согласился и завершил звонок. В форме есть критерий «правильно ли оператор отработал возражение», и он получает «нет» — ведь возражение не отработано. Но возражения не было. Оператор теряет баллы за ошибку, которой не было.

Второй: посреди записи десятисекундный обрыв, и он приходится ровно на момент, где должно было прозвучать обязательное раскрытие информации. Если критерий получит «нет», оператора накажут за техническую проблему. Если «неприменимо» — никто не заметит, было ли раскрытие. Правильный статус — третий, «невозможно оценить», и звонок должен пойти на проверку человеку.

Три статуса: определение и влияние

1. 1НетУсловие возникло, доказательство есть, поведения нет. Балл: 0, остаётся в знаменателе. Охват: считается оценённым. Тема для разговора с оператором.
2. 2НеприменимоУсловие критерия в звонке не возникло. Балл: исключается из числителя и знаменателя. Охват: не влияет — оценивать было нечего. Условие записывается в карточке критерия через поведение клиента или тип звонка.
3. 3Невозможно оценитьУсловие могло возникнуть, но доказательство ненадёжно: качество звука, обрыв, говорящий не определён, язык. Балл: исключается из числителя и знаменателя. Охват: уменьшается. Причина фиксируется, звонок идёт на проверку человеку.

Дерево решений для выбора статуса

1. 11. Возникло ли в звонке условие критерия?Нет — «неприменимо». Да или неизвестно — ко второму вопросу.
2. 22. Надёжна ли эта часть звонка?Не слышно, обрыв, говорящий неясен — «невозможно оценить». Если надёжна — к третьему вопросу.
3. 33. Было ли требуемое поведение?Полностью — «да». Частично (имя спросил, номер нет) — «частично», если форма это предусматривает. Не было — «нет».

Иллюстративный расчёт

Форма из десяти критериев с равными весами. Результат звонка: шесть «да», одно «нет», два «неприменимо», одно «невозможно оценить».

1. 1Применимые критерии10 − 2 = 8
2. 2Оценённые критерии8 − 1 = 7
3. 3Балл6 ÷ 7 ≈ 85,7%
4. 4Охват оценки7 ÷ 8 = 87,5%

Если бы «неприменимо» и «невозможно оценить» тоже считались «нет», балл был бы 60% — оператор несправедливо потерял бы баллы по трём критериям. Если бы «невозможно оценить» молча записали как «неприменимо», балл остался бы тем же, но нигде не было бы видно, что один критерий не проверялся.

Злоупотребление статусом «неприменимо»

Статусом «неприменимо» чаще всего злоупотребляют двумя способами. Первый: пропущенный оператором шаг записывают как «неприменимо» — клиент возразил по цене, оператор сменил тему, а критерий отмечен как «возражения не было». Второй: форма не подходит к типу звонков, и половина критериев в каждом звонке получает «неприменимо» — балл опирается на очень малое их число.

Оба случая обнаруживаются одинаково: отслеживайте долю «неприменимо» по каждому критерию. Если она резко выросла по одному критерию или у одного оператора намного выше, чем у других, эти звонки должен проверить человек.

Ловушка «неприменимо» у AI

Документация AWS об оценках с генеративным AI описывает важное поведение: если модель не может определить, какой из заданных вариантов ответа подходит, она выбирает «неприменимо», даже если вопрос обязательный; тогда вопрос исключается из расчёта, а его вес перераспределяется на остальные. То есть неуверенность системы может незаметно превратиться в более высокий балл. Та же документация советует явно описывать в инструкциях, когда выбирается каждый вариант ответа. Это описание конкретного продукта, но риск общий: в любой системе отслеживайте долю «неприменимо» отдельно.

Отчёт «невозможно оценить»

• Подсчёт по причинам: качество звука, обрыв, говорящий не определён, язык, не предусмотренный формой
• Разбивка по сменам, линиям или источникам звонков — чтобы быстро найти техническую проблему
• Никакого отрицательного влияния на балл оператора; в его среднем — отдельная колонка
• Каждый такой звонок идёт на проверку человеку, как минимум по критическим критериям
• Если доля растёт, сначала проверяют настройки записи и телефонии, а не операторов

Ограничения

Три статуса усложняют форму и требуют карточек определений и пробной оценки, чтобы оценщики понимали их одинаково. Если добавляется статус «частично», нужно записать его балл и когда он ставится. И никакое правило статусов не делает решение об операторе автоматическим: результат проверяет человек, а у оператора должна быть возможность апелляции.

Статусы в Vexvon Audio Analyzer

В Vexvon Audio Analyzer каждый шаг стандарта получает один из четырёх статусов: «выполнено», «частично», «пропущено» и «неприменимо». «Неприменимо» не засчитывается против оператора. Отдельного статуса «невозможно оценить» нет — вместо него есть сигналы: плохо распознанные строки помечаются в транскрипте, строка с неопределённым говорящим остаётся «неизвестной». Ставьте такие звонки в очередь проверки, и пусть результат подтверждает человек.

Влияние статусов на взвешенный расчёт описано в материале о взвешенной оценке, отделение непригодных звонков — в материале о выборочной проверке.

Первый шаг

Для каждого критерия формы запишите условие «неприменимо» одним предложением через поведение клиента или тип звонка. Затем посчитайте долю «неприменимо» по каждому критерию в результатах прошлого месяца — исправляйте карточки, начиная с критерия с самой высокой долей. Другие материалы — в рубрике оценка операторов; свяжитесь с нами.

Продолжение темы: качество записи звонка, оценка звонка с доказательствами.