Эффективность обучения операторов: до и после

Короткий ответ

Чтобы измерить результат обучения, звонки до и после нужно сравнивать по одним критериям, одной версии формы оценки и в сопоставимых группах звонков. Самая частая ошибка — во втором периоде оказываются более простые звонки: балл растёт, но причина в составе звонков, а не в обучении.

Иными словами, фраза «после обучения средний балл вырос с 62 до 78» сама по себе ничего не доказывает. По какому критерию, на каком типе звонков, на скольких звонках и по какой версии формы — пока на это нет ответа, результат может быть случайностью или ошибкой измерения.

Что измерять: целевое поведение, а не балл

План обучения нацелен на одно-два конкретных поведения. Измерение тоже должно быть нацелено на них, а не на общий балл. Общий балл складывается из десяти критериев, и случайные колебания в остальных могут скрыть изменение целевого поведения.

1. 1Целевой критерийПоведение из плана: например, «потребность уточнена до названия цены». Основная мера — доля звонков, где критерий выполнен.
2. 2Применимые звонкиЗнаменатель — только звонки, где критерий применим. В звонке без вопроса о цене критерий «не применим» и в расчёт не входит.
3. 3Контрольные критерииОтслеживаются и один-два критерия, которых обучение не касалось. Если они выросли так же, причина может быть в общем изменении, а не в обучении.
4. 4Общий баллПоказывается для контекста, но не подаётся как результат обучения.

Сопоставимые группы звонков

• Один тип звонков: не сравнивайте продажи с поддержкой
• Похожая сложность: жалобы и простые справки считаются отдельно
• Один язык: если в одном периоде много русскоязычных звонков, а в другом мало, результат искажается
• Похожее качество записи: доля звонков «невозможно оценить» показывается отдельно для обоих периодов
• Достаточно звонков: для каждого периода указывается число звонков, где целевой критерий применим; процент из нескольких звонков — шум

Иллюстративный пример: ловушка лёгких звонков

Цифры ниже — иллюстративный пример, а не данные реального оператора. Целевой критерий: «потребность уточнена до названия цены». В каждом периоде 20 звонков.

1. 1До обучения12 сложных звонков, критерий выполнен в 3. 8 простых, в 2 из них вопроса о цене не было (не применимо), в оставшихся 6 выполнен в 3. Итого: 6 / 18 = 33%.
2. 2После обучения4 сложных звонка, выполнен в 2. 16 простых, 4 не применимо, в оставшихся 12 выполнен в 11. Итого: 13 / 16 = 81%.

Улучшение реальное — доля выросла на обоих типах звонков. Но часть скачка с 33% до 81% объясняется тем, что сложных звонков во втором периоде стало 4 вместо 12. Если привести результат «после» к составу периода «до» — (12 сложных × 50% + 6 простых × 92%) / 18, — получится около 64%. Именно эта цифра должна попасть в отчёт, а не 81%.

Когда форма меняется, результаты несравнимы

Вместе с обучением могут измениться и критерии оценки: критерий уточняется, добавляется шаг, меняется определение варианта ответа. Тогда баллы «до» и «после» измерены разными линейками.

• Фиксируйте, по какой версии формы сделана каждая оценка
• Форма не должна меняться в период измерения обучения; если без этого нельзя, ранние звонки переоцениваются по новой версии
• В документации AWS по формам оценки тоже отмечено, что исторические оценки, сделанные в другом режиме подсчёта, напрямую сравнивать нельзя

Выбор периодов и время ожидания

1. 1Период «до»Две-четыре недели непосредственно перед обучением. Слишком ранний период затягивает другие изменения — сезон, новый продукт, новые цены.
2. 2Переходный периодПервые несколько дней после обучения обычно не считаются: оператор только пробует новое поведение, и результат нестабилен.
3. 3Период «после»После перехода, той же длины, что и «до». По возможности — второе измерение через месяц: стало ли поведение привычкой или вернулось назад?

Группа сравнения

Самая надёжная проверка — сравнение с похожими операторами, не проходившими обучение. Если у них за тот же период целевой критерий улучшился так же, причина не в обучении — возможно, изменился поток клиентов или стартовала новая кампания.

В небольшой команде это не всегда возможно. Тогда стоит хотя бы смотреть на контрольные критерии и отмечать в отчёте другие изменения — новый скрипт, новый продукт, смену графика.

Если результата нет: четыре причины

Иногда правильное измерение показывает «изменений нет». Это не значит, что обучение было напрасным: найденная причина улучшает следующий план.

1. 1Поведение сформулировано слишком общо«Быть внимательнее к клиенту» нельзя ни измерить, ни отработать. Перепишите поведение одной наблюдаемой фразой.
2. 2Тренировка не похожа на реальные звонкиВ ролевой игре был лёгкий клиент, а в реальных звонках приходят клиенты с возражениями. Подстройте тренировку под самую частую трудную ситуацию.
3. 3Условия не изменилисьОператор знает новое поведение, но система не даёт на него времени или скрипт требует другого. Это вопрос процесса, а не обучения.
4. 4Мера нечувствительнаОпределение критерия настолько широкое, что и хороший, и плохой ответ получают «выполнен». Уточните критерий и переоцените ранние звонки по новой версии.

Как записать результат

• Целевой критерий и его определение
• Число применимых звонков и звонков «невозможно оценить» в каждом периоде
• Результат с разбивкой по типам звонков
• Версия формы и менялась ли она в течение периода
• Другие изменения за тот же период
• Вывод: «есть улучшение», «изменений нет» или «результат не определён» — последнее тоже честный и полезный ответ

Ограничения

• Изменение на малом числе звонков может быть случайным; резкие проценты читаются с особой осторожностью
• Рост продаж сам по себе не доказывает успех обучения — продажи зависят и от продукта, цены и качества лидов
• У AI-оценки есть своя погрешность; несколько звонков по целевому критерию стоит проверить человеку
• Результат обучения не должен быть единственным основанием для премии или взыскания

Что есть в Vexvon Audio Analyzer

• На каждом звонке каждый шаг вашего стандарта оценивается как «выполнен», «частично», «пропущен» или «не применим» — статус, нужный для правильного знаменателя, уже есть
• У стандарта звонка есть версии: каждый звонок хранит текст и версию, по которым он оценён, а баллы сравниваются только внутри одной версии
• При изменении стандарта существующие транскрипты старых звонков можно переанализировать по новому — без повторного распознавания аудио
• К каждому решению прилагаются строки транскрипта — выборочная проверка человеком проще

Подробнее: Vexvon Audio Analyzer. Как составить сам план обучения, — в статье план коучинга оператора.

Первый шаг

Перед следующим обучением запишите целевой критерий, тип звонков для сравнения и два периода. После обучения покажите результат по типам звонков, а не одной общей долей. Статья входит в раздел качество поддержки и развитие операторов. Чтобы проверить подход на своих записях, свяжитесь с нами.

Продолжение темы: справедливое сравнение операторов, версии оценочного листа.