Автоматизированный контроль качества звонков и ручное прослушивание: кто что делает

Короткий ответ

Автоматизированный контроль качества (QA) берёт на себя первичное прочтение звонка и проверку по наблюдаемым критериям. Решения остаются за людьми: какой результат верен, что обсудить с оператором, нужно ли менять сам критерий. При правильном разделении AI сокращает время прослушивания, а специалист по качеству тратит его на более сложную работу — проверку, обучение и улучшение стандарта.

Неправильное разделение бывает двух видов: записывать AI-балл прямо в показатели оператора или не доверять AI и всё равно слушать все звонки вручную. Первое несправедливо, второе бессмысленно.

Чем ценно прослушивание человеком

Опытный специалист по качеству, слушая звонок, не просто отмечает критерии. Он слышит настоящую проблему клиента, понимает, почему оператор выбрал такой путь, и видит, подходит ли само правило к ситуации. Новый тип проблемы — например, условие акции, которое клиенты понимают неверно, — обычно ещё не внесён в форму, и находит его человек.

Слабость человека — объём и постоянство. Число звонков, которые можно прослушать за день, ограничено, усталость меняет суждения, два специалиста могут оценить один звонок по-разному. Поэтому ручная проверка строится на выборке, и выборка редко бывает случайной — выбирают звонки с жалобами.

Где AI силён, а где слаб

AI силён на точно сформулированных критериях, видимых в транскрипте: было ли приветствие, названы ли условия цены, согласован ли следующий шаг. Он задаёт каждому звонку одни и те же вопросы и не устаёт. Слабые места тоже известны: он не может извлечь тон из текста, не знает того, чего нет в транскрипте (запись в CRM, статус оплаты), ошибается, когда перепутаны говорящие, и непостоянен на субъективных критериях вроде «был ли оператор внимателен».

Документация AWS об оценках с помощью генеративного AI рекомендует такое же разделение: она отмечает, что заполненные AI оценки не вполне точны, советует проверять выборку, прежде чем действовать по результатам, и сохранять ручной процесс оценки, чтобы со временем замечать расхождения.

Матрица разделения работы

Разделение ниже — отправная точка для большинства команд. Адаптируйте его к своему процессу, но у каждой строки должен быть ответственный:

1. 1Написание стандарта — человекМенеджер по качеству пишет критерии, варианты ответов и условия «неприменимо». AI стандарт не придумывает.
2. 2Первичная проверка — AIПо каждому проанализированному звонку для каждого критерия готовятся статус, комментарий и ссылка на строку транскрипта.
3. 3Очередь проверки — правило, потом человекЗаранее записанное правило выбирает, какие звонки идут к человеку (см. ниже). Специалист открывает звонок из очереди.
4. 4Подтверждение или исправление — человекСпециалист принимает или меняет статус AI и фиксирует причину.
5. 5Разговор с оператором — тимлидРабота идёт от подтверждённого результата: конкретное поведение и пример звонка.
6. 6Апелляция — второй человекЕсли оператор оспаривает результат, его проверяет не тот, кто оценивал впервые.
7. 7Изменение стандарта — человекПовторяющиеся расхождения ведут к переписыванию критерия; новая версия не смешивается со старой.

Какие звонки должны попадать к человеку

Время людей ограничено, поэтому правило попадания в очередь нужно записать. Примеры правил:

• Шаг, считающийся критическим, получил статус «пропущен» (например, обязательное раскрытие информации)
• Балл ниже порога, установленного компанией
• В транскрипте много «неизвестных» говорящих или плохо распознанных строк — результат может быть ненадёжным
• Большинство критериев получили «неприменимо» — либо неверно выбран тип звонка, либо форма не подходит
• Звонок, связанный с жалобой клиента
• Небольшая случайная контрольная выборка каждую неделю — включая звонки с высоким баллом

Последнее правило важно. Если смотреть только на звонки с низким баллом, вы никогда не увидите шаги, которые AI отметил как «выполнено», хотя они не выполнены. Случайная выборка ловит ошибки системы в обе стороны.

Два неправильных разделения

Первая ошибка — «AI делает всё». Балл автоматически попадает в месячные показатели оператора, никто его не проверяет, оператор не видит доказательств. Через несколько недель операторы учатся говорить «под форму» — независимо от того, полезно ли это клиенту, — и доверие пропадает.

Вторая ошибка — «мы не доверяем AI». Система внедрена, но команда QA всё равно слушает каждый звонок с начала, а результат AI считает любопытным дополнением. Расходы растут, времени не экономится. Выход — измерять доверие: по каким критериям AI и люди совпадают, а по каким нет, — и сокращать работу людей только там, где они совпадают.

Ритм недели: иллюстративный пример

Пример ниже не описывает реальную компанию — он построен, чтобы показать, как разделение выглядит в ежедневной работе. Представьте небольшую команду поддержки с одним специалистом по качеству и тремя тимлидами.

1. 1ПонедельникЗаписи прошлой недели загружаются и анализируются. Специалист ещё не читает результаты, а составляет список звонков, отобранных правилом очереди.
2. 2Вторник – средаЗвонки из очереди открываются. В каждом статусы AI проверяются по строкам-доказательствам, исправления фиксируются с причиной. В эти же дни проверяется случайная контрольная выборка.
3. 3ЧетвергТимлиды проводят короткие встречи с операторами по подтверждённым результатам: одно поведение, один пример звонка, одно упражнение.
4. 4ПятницаСпециалист смотрит исправления за неделю: по какому критерию AI и люди расходились чаще всего? Этот критерий — кандидат на переписывание на следующей неделе.

В таком ритме большая часть времени людей уходит не на прослушивание, а на проверку и разговор. Записи исправлений сами по себе ценны: через несколько недель они становятся лучшим источником знания о том, какие критерии работают надёжно.

Ограничения

Это разделение не заменяет решения людей, а фокусирует их. AI-балл не должен быть единственным основанием для премии, взыскания или увольнения. Результат, полученный по некачественной записи, нельзя использовать против оператора. Исправление результата человеком — это нормально, и его нужно фиксировать: такие записи потом показывают, насколько ясно написаны критерии.

Это разделение в Vexvon Audio Analyzer

Vexvon Audio Analyzer выполняет часть первичной проверки: превращает загруженный звонок в транскрипт, разделяет оператора и клиента и даёт каждому шагу стандарта компании статус, комментарий и ссылку на строку транскрипта. Плохо распознанные строки и неуверенно определённые говорящие помечаются — это полезные сигналы для правила очереди. После изменения критерия существующий транскрипт можно переоценить, не обращаясь снова к аудио.

Правило очереди, апелляция и разговор с оператором — это ваш процесс. О разнице между пятью слоями — в материале что такое AI-анализ звонков.

Первый шаг

Заполните матрицу вместе с командой и впишите имя в каждую строку. Затем две недели сравнивайте результат AI с оценкой человека на одних и тех же звонках. Сокращайте работу людей там, где совпадение высокое, и переписывайте критерии, где оно слабое. Общая структура аудита — в материале об аудите качества звонков; чтобы проверить на своих звонках, свяжитесь с нами.

Продолжение темы: выборочная проверка звонков, калибровка оценки звонков.