Сентимент клиента и качество оператора: в чём разница

Короткий ответ

Сентимент клиента — это метка, показывающая, звучат ли слова клиента в звонке позитивно, нейтрально или негативно. Качество оператора — это то, действовал ли оператор по стандарту компании. Они часто совпадают, но это не одно и то же: клиент пришёл уже злым, оператор всё сделал правильно, а клиент всё равно ушёл недовольным — это не плохой звонок.

Поэтому сентимент нужно использовать как контекстный сигнал, а не как балл оператора: чтобы выбрать звонки для внимательного разбора и увидеть, по каким темам клиенты недовольны. То, что сделал оператор, измеряют поведенческие критерии.

Что измеряет сентимент

Анализ сентимента классифицирует эмоциональную направленность высказываний в тексте. В звонке его обычно относят к речи клиента. Платформы делают это на разных уровнях:

• Одна общая метка на весь звонок: позитивный, нейтральный, негативный
• Метка на каждую реплику и линия изменения по ходу звонка — так, например, тренд и распределение сентимента клиента описаны в документации AWS Contact Lens
• Отдельные оценки начала и конца звонка — «с чем пришёл, с чем ушёл»

Во всех случаях измеряется классификация слов. Это не точное измерение внутренних чувств клиента, и выдавать её за инструмент, который «читает» настроение человека, нельзя.

Чего сентимент не измеряет

1. 1Поведение оператораОписывая проблему, клиент использует негативные слова — «деньги пропали», «жду три дня». Это описание проблемы, а не вина оператора.
2. 2ПричинуНегатив может исходить от продукта, цены, доставки, прошлого звонка или оператора. Метка их не разделяет.
3. 3Сарказм и культурный стиль«Отлично, просто отличный сервис» может звучать с сарказмом. Прямая манера речи тоже может читаться как недовольство.
4. 4Тон голоса — если анализ по текстуСентимент из транскрипта ничего не знает о тоне, темпе и интонации голоса. Для этого нужен отдельный аудиоанализ и проверка.

Иллюстративный пример: четыре квадранта

Четыре случая ниже — иллюстративный пример. Каждый показывает своё сочетание сентимента и поведенческого балла оператора и требует своего шага.

1. 1Негативный сентимент, высокий балл поведенияКлиент зол из-за задержки заказа. Оператор признал проблему, уточнил причину, назвал новую дату. Шаг: оператор сработал хорошо; проблема в доставке, её передают туда.
2. 2Негативный сентимент, низкий балл поведенияКлиент начал спокойно, но оператор не ответил на вопрос и дважды перебил. Шаг: этот звонок разбирают первым и берут в разговор об обратной связи.
3. 3Позитивный сентимент, низкий балл поведенияКлиент ушёл довольным, но оператор пропустил обязательную информацию или пообещал неутверждённую скидку. Шаг: самый опасный квадрант — отчёт по сентименту этот звонок никогда не покажет.
4. 4Позитивный сентимент, высокий балл поведенияВсё в порядке. Шаг: можно включить в учебные материалы как хороший пример.

Как использовать сентимент правильно

• Отбор для разбора: среди звонков с негативным сентиментом первыми слушать те, где низкий балл поведения
• Анализ тем: по каким типам обращений скапливается негатив — это информация для владельцев продукта и процессов
• Изменение внутри звонка: если платформа это даёт, каким клиент был в начале и в конце — косвенный намёк на деэскалацию, но не доказательство
• Тренд: резкий рост доли негатива от недели к неделе может сигнализировать о новой проблеме, например о сбое системы

Неправильное применение

• Добавлять сентимент в балл оператора с весом — оператор, принимающий недовольных клиентов, систематически наказан
• Ранжировать операторов по доле звонков с негативом — тот, кто работает на очереди жалоб, всегда последний
• Использовать сентимент вместо CSAT (опроса удовлетворённости) — одно классифицирует слова, другое — собственный ответ клиента
• Принимать решения о премиях или взысканиях по сентименту
• Выдавать метку за измерение настоящих чувств клиента

Сентимент, CSAT и балл поведения

1. 1СентиментАвтоматическая классификация слов в звонке. Есть для каждого звонка, но косвенный и подвержен ошибкам.
2. 2CSATСобственный ответ клиента в опросе. Прямой, но отражает только ответивших и оценивает продукт наравне с оператором.
3. 3Балл поведенияВыполнил ли оператор шаги стандарта компании. Измеряет то, что под контролем оператора, но зависит от качества критериев.

Объединить три показателя в одно число соблазнительно, но каждый отвечает на свой вопрос. Честнее показывать их рядом.

Как показывать сентимент в отчёте

Когда показатель сентимента попадает в отчёт, руководитель часто воспринимает его как показатель качества. Этому можно помешать структурой отчёта.

1. 1Отдельным блокомСентимент не показывают в одной таблице и в одной цветовой шкале с баллом оператора. Он идёт в отдельном разделе «сигналы клиентов».
2. 2По темамНе по операторам, а по типам обращений: доля негатива в теме «доставка», в теме «возврат». Такая информация находит своего владельца.
3. 3На пересечении с баллом поведенияСамая полезная таблица — число звонков в каждом из четырёх квадрантов. Третий квадрант — позитивный сентимент, низкий балл — выносится отдельной строкой.
4. 4С пометкой о методеОдна фраза под отчётом: как считается сентимент, на каком языке и при каком качестве записи он надёжен.

Такая структура меняет вопрос руководителя с «кто плохой?» на «чем недовольны клиенты и кто тихо нарушает правила?»

Как говорить с оператором о сентименте

Сказать оператору «в твоих звонках много негатива» бесполезно: клиентов он не выбирает. Полезный разговор начинается с конкретного звонка: когда и после какой фразы клиент стал недовольнее? Если после ответа оператора — обсуждается этот ответ. Если недовольство было с начала и не изменилось, вопрос другой: признал ли оператор его и объяснил ли, что возможно?

Ограничения

• Метка сентимента — не точное измерение внутренних чувств клиента
• Сентимент по тексту надёжно не распознаёт тон голоса и сарказм
• Неверное разделение говорящих может приписать слова клиента оператору или наоборот
• Показатель сентимента одной платформы нельзя напрямую сравнивать с другой
• Сентимент — не то же самое, что балл оператора, CSAT или FCR

Что есть в Vexvon Audio Analyzer

• Для каждого звонка показывается одна общая метка сентимента: позитивный, нейтральный или негативный
• Эта метка не входит в балл звонка 0–100: балл считается только из статусов шагов вашего стандарта — «выполнен», «частично», «пропущен» или «не применим»
• К каждому шагу прилагаются комментарий и строки транскрипта — доказательства, отделяющие четвёртый квадрант от третьего, видны сразу
• Каждая строка транскрипта отнесена к оператору, клиенту или «неизвестному»

Подробнее: Vexvon Audio Analyzer. Поведенческие критерии для звонка с недовольным клиентом — в статье форма оценки деэскалации.

Первый шаг

Возьмите 10 звонков с негативным сентиментом за прошлую неделю и разберите их по поведенческим критериям. В скольких оператор действовал правильно? Затем тем же способом разберите 10 звонков с позитивным сентиментом — ищите третий квадрант. Статья входит в раздел качество поддержки. Чтобы проверить подход на своих записях, свяжитесь с нами.

Продолжение темы: аудиоанализ и анализ транскрипта, качество звонка или качество лида.