Как сравнивать старые и новые баллы, когда меняются критерии оценки

Короткий ответ

Когда меняются критерии оценки, новые и старые баллы напрямую не сравниваются: они измерены разной линейкой. Правильный подход — управлять версиями оценочного листа: каждое изменение получает новый номер версии, каждый звонок хранит версию, по которой его оценили, в переходный период одни и те же тестовые звонки оцениваются обеими версиями, а несопоставимые результаты явно помечаются в отчёте. Так «качество упало» отделяется от «изменилась линейка».

Что требует новой версии

• Текст критерия или определения «да», «частично» и «нет»
• Условие «неприменимо»
• Добавление или удаление критерия
• Веса или правило расчёта
• Типы звонков, к которым применяется форма
• AI-модель, проводящая оценку, или её инструкции — даже если форма не менялась

Исправление опечатки версии не требует. А добавление к критерию «следующий шаг» условия «нужно назвать и время» — это уже другая линейка.

Почему старый и новый балл несопоставимы

Иллюстративный пример. Команда ужесточает критерий «следующий шаг»: раньше «мы вам перезвоним» засчитывалось как «да», теперь требуется конкретное время или ответственный. В следующем месяце средний балл падает на пять пунктов. Руководство делает вывод «качество ухудшилось» и планирует обучение. А операторы говорят так же, как раньше, — изменилась только линейка.

Документация AWS о формах оценки отмечает ту же проблему для режимов расчёта: она рекомендует создавать новую форму, а не менять режим в существующей, потому что оценки, завершённые в старом режиме, нельзя напрямую сравнить с новым.

Запись версии: шаблон

• Номер версии и дата вступления в силу
• Что изменилось — критерий, старый и новый текст рядом
• Почему — решение калибровки, апелляция, новый продукт, юридическое требование
• Ожидаемый эффект — по какому критерию баллы вырастут или снизятся
• Фактический эффект, измеренный на тестовых звонках
• Решение о старом периоде — переоценивается или показывается отдельно
• Кто утвердил и когда объявили операторам

«Золотой набор»: одни и те же тестовые звонки

Держите постоянный набор из 20–30 звонков разных типов с результатами, согласованными людьми. Каждая новая версия сначала проверяется на нём. Это показывает, насколько новая версия меняет линейку, независимо от поведения.

1. 1Золотой набор, v3Среднее по 25 звонкам — 74.
2. 2Золотой набор, v4Среднее по тем же 25 звонкам — 69: линейка стала строже на 5 баллов.
3. 3Реальный месяц, v3Среднее прошлого месяца — 76.
4. 4Реальный месяц, v4Среднее этого месяца — 71, разница −5.
5. 5Изменение поведения(71 − 76) − (69 − 74) = −5 − (−5) = 0. Поведение операторов не изменилось; снижение целиком объясняется новой линейкой.

Переходный период шаг за шагом

1. 1Параллельная оценкаДо вступления новой версии в силу золотой набор и часть звонков за последние две недели оцениваются обеими версиями.
2. 2Измерьте эффектРазница по критериям рассчитывается и вносится в запись версии.
3. 3ОбъявитеОператорам показывают дату, изменённый критерий и его пример.
4. 4Проведите границу в отчётеСмена версии отмечается на графике линией или пометкой; старое и новое средние не соединяются в одну линию.
5. 5Решение о старом периодеЕсли нужен тренд, часть старых звонков переоценивается новой версией; если нет — периоды показываются отдельно.

Смена модели — тоже версия

Даже если форма не меняется, AI-модель, проводящая оценку, или её инструкции могут измениться — и результаты изменятся тоже. AWS решает это отдельно: в их формах версия генеративного AI хранится вместе с версией формы, можно закрепить конкретную версию или заранее опробовать новую. Каким бы инструментом вы ни пользовались, принцип один: фиксируйте смену модели как версию и проверяйте её на золотом наборе.

Объявление операторам: пример текста

Операторы должны узнавать о смене версии заранее, а не из отчёта. Иллюстративное объявление: «С 1 ноября меняется критерий «Следующий шаг». Теперь фразы «мы вам перезвоним» недостаточно — нужно назвать конкретный день или час либо имя ответственного. Пример: «Завтра в 11 вам позвонит наш менеджер Рауф». После этого изменения ваши баллы по этому критерию некоторое время могут выглядеть ниже; напрямую с результатами октября их сравнивать не будут».

Последнее предложение важно: оно заранее говорит операторам, что снижение балла не будет прочитано как ухудшение их работы.

Версии в небольшой команде

Для команды из десяти–пятнадцати операторов весь процесс может показаться тяжёлым. Минимальный вариант: номер версии и дата в начале документа с критериями, одностраничный список изменений и золотой набор из десяти звонков. Чем меньше набор, тем осторожнее читайте его результат, но даже десять звонков примерно показывают, насколько сдвинулась линейка, и предотвращают панику «качество упало».

Ограничения

Золотой набор мал и может не охватывать все типы звонков — эффект линейки в реальном месяце может немного отличаться. Оценка изменения поведения приблизительна, особенно если одновременно изменился поток звонков. Слишком частая смена версий делает тренд нечитаемым: собирайте изменения критериев и вносите их раз-два в квартал, кроме срочных юридических требований.

Версии в Vexvon Audio Analyzer

Vexvon Audio Analyzer построен под этот подход. При каждом изменении текста стандарта номер версии растёт. Каждый звонок хранит, какой версией какого стандарта его оценили, и копию текста на тот момент — последующее редактирование или удаление стандарта не меняет смысла старого балла. Существующий транскрипт можно переоценить новой версией без повторного обращения к аудио, поэтому переоценка золотого набора для каждой версии обходится недорого.

Причиной версии обычно становится решение калибровки; о правилах сравнения — в материале о справедливом сравнении операторов.

Первый шаг

Соберите золотой набор из 20–30 звонков с результатами, согласованными людьми, и зафиксируйте на нём результат текущей формы. Перед следующим изменением критериев оцените тот же набор новым текстом. Другие материалы — в рубрике оценка операторов; свяжитесь с нами.

Продолжение темы: оценочный лист оператора.