Как справедливо сравнить оператора с малым и большим числом звонков

Короткий ответ

Для справедливого сравнения операторов одного среднего балла недостаточно. Рядом с ним нужно показывать четыре вещи: на скольких пригодных звонках основан балл, тип и сложность звонков, смену и линию, язык. У оператора с малым числом звонков один плохой или хороший звонок сдвигает среднее на несколько баллов, а у оператора с большим числом — почти ничего не меняет. Поэтому нужны минимальный порог выборки, сравнение внутри одного типа звонков и диапазоны вместо мест.

Насколько один звонок сдвигает среднее

Иллюстративный пример. У оператора A за месяц 12 оценённых звонков, средний балл 88. У оператора B — 140 звонков, средний балл 82. В рейтинге A выше. Теперь допустим, что у каждого один звонок получил 40 вместо обычного уровня.

1. 1Оператор A(11 × 88 + 40) ÷ 12 = 1 008 ÷ 12 = 84. Один звонок снижает среднее на 4 балла.
2. 2Оператор BОдин звонок с 40 вместо 82 меняет среднее на 42 ÷ 140 = 0,3 балла.

То есть разница между 88 у A и 82 у B может исчезнуть из-за одного звонка A. Высокое или низкое место оператора с малой выборкой часто отражает случайность, а не работу. А оператор с малой выборкой, оказавшийся на вершине рейтинга в этом месяце, в следующем скорее всего опустится к середине — это не спад, а свойство малых выборок.

Тип и сложность звонков

Даже при одинаковом числе звонков звонки у двух операторов разные. На линию одного попадают в основном короткие вопросы «до скольких вы работаете», на линию другого — жалобы и проблемы с оплатой. В сложных звонках критерии выполнить труднее, и средний балл естественно ниже. Рейтинг, который этого не учитывает, наказывает оператора, принимающего самые трудные звонки.

Решение: сравнивать внутри типа звонков. Операторов сравнивают между собой по звонкам «жалоба» и отдельно — по звонкам «запрос информации». Если у оператора в каком-то типе всего два звонка, результат по этому типу не показывается.

Смена, линия и язык

• Смена: на ночную линию может попадать больше шумных мобильных звонков — доля пригодных для анализа ниже
• Линия и очередь: VIP-линия, линия возвратов и линия продаж оцениваются разными модулями критериев
• Язык: качество транскрипта может зависеть от языка; результаты звонков на другом языке показываются отдельно
• Опыт: оператора в первые три месяца сравнивают с его собственным прошлым месяцем, а не с опытным коллегой

Правила справедливого сравнения

1. 1Минимальная выборкаОператор с числом пригодных звонков ниже порога компании не включается в рейтинг; его результат показан как «недостаточно данных».
2. 2n рядом с каждым балломРядом со средним всегда указано, на скольких звонках оно основано.
3. 3Внутри одного типаСравнение ведётся в группах по типу звонков, линии и языку.
4. 4Не места, а диапазоныВместо 1-го, 2-го, 3-го места — три диапазона: «выше ожидаемого», «на ожидаемом уровне», «требует внимания». Малые различия в рейтинге выглядят большими, а в диапазоне исчезают.
5. 5Более длинный периодДля операторов с малым числом звонков берётся квартал вместо месяца.
6. 6Со своей историейРазвитие оператора сравнивают с его собственным прошлым периодом, а не с другими.

Пример строки отчёта

Иллюстративная строка по оператору за месяц: «Нигяр — линия поддержки, дневная смена. Пригодных звонков: 96. Балл базы: 84 (диапазон: ожидаемый). Модуль поддержки: 71 (диапазон: требует внимания — критерий «подтверждение решения»). Звонков-жалоб: 11, отдельно не показаны (меньше минимума). Прошлый месяц: база 81, модуль 68».

Эта строка говорит тимлиду три вещи: в целом оператор на ожидаемом уровне, слабое место — один конкретный критерий, и есть прогресс по сравнению с прошлым месяцем. Нигде нет прямого сравнения мест с другим оператором.

Побочные эффекты публичного рейтинга

Рейтинг, показанный всей команде, создаёт соревнование, но не всегда в нужную сторону. Операторы могут начать избегать трудных звонков, быстро переводить сложных клиентов или «выполнять» критерии формы, даже когда клиенту это не помогает. Операторы с малой выборкой оказываются пристыжены или похвалены из-за одного случайного месяца.

Практичный подход: индивидуальный результат видят оператор и его тимлид, а на уровне команды показываются только распределение по диапазонам и общие слабые критерии. Если нужно признание, покажите конкретный хороший звонок как пример, а не место в рейтинге.

Ограничения

Универсального числа для минимальной выборки нет: оно зависит от объёма звонков, числа критериев и того, для чего используется результат. Диапазоны тоже не окончательны для операторов у границы. И никакое сравнение не должно быть единственным основанием для решения об операторе — оно лишь показывает, с каким оператором и о чём говорить.

Vexvon Audio Analyzer и сравнение операторов

В Vexvon Audio Analyzer балл ставится звонку: каждый звонок получает статусы по шагам стандарта, доказательства и балл 0–100, а для оценки пригодности есть пометки плохо распознанных строк и «неизвестного» говорящего. Рейтинги и средние по операторам в продукте не строятся — группировать звонки по операторам, сменам и типам и применять правила выше — задача вашего отчёта. Поскольку каждый звонок хранит, какой версией какого стандарта его оценили, группы можно разделять и по версиям.

О надёжном охвате на уровне оператора — в материале о выборочной проверке, о модулях по типу звонков — об оценочном листе для продаж и поддержки. О метриках конверсии — в материале о метриках продающих звонков.

Первый шаг

Добавьте в текущий рейтинг операторов два столбца: число пригодных звонков и основной тип звонков. Затем посмотрите: у скольких из тех, кто вверху и внизу, малая выборка или другой поток звонков? Другие материалы — в рубрике оценка операторов; свяжитесь с нами.

Продолжение темы: версии оценочного листа.