7 частых ошибок аналитики разговоров

Короткий ответ

Проекты аналитики разговоров редко проваливаются из-за технологии. Обычно они ничего не дают из-за семи организационных и методических ошибок: размытый вопрос, свободные метки, плохие данные, непроверенные результаты, неполный период, принятый за полный, инсайт без владельца и корреляция, прочитанная как причина.

Ниже для каждой ошибки — как она проявляется, ранний признак и исправление. Список можно использовать как чек-лист перед пилотом и раз в квартал после.

1. Размытый исходный вопрос

Проект начинается с «давайте соберём инсайты о клиентах». Никто не говорит, какое решение изменится. Создаётся много полей, выходит много графиков, но ни один не нужен конкретному руководителю.

1. 1Ранний признакНа встрече по отчёту говорят «интересно», но ни одной задачи не записано.
2. 2ИсправлениеПривяжите каждое поле к вопросу для решения. Поля без вопроса отключите.

2. Свободные метки от AI

AI пишет тему каждого разговора своими словами. В этом месяце «задержка доставки», в следующем «курьер опоздал», потом «запоздавший заказ». Каждая считается отдельно, и тренда не видно.

1. 1Ранний признакВ отчёте сотни мелких категорий, самая крупная — меньше 5%.
2. 2ИсправлениеПостройте закрытый список значений, сохраните «другое» и вручную добавляйте то, что там повторяется.

3. Слабые или смешанные данные

В анализ попадают тестовые разговоры, внутренние заметки сотрудников, автоматические уведомления и разговоры из одного сообщения. В транскриптах звонков путаются говорящие, и слова оператора читаются как мнение клиента.

1. 1Ранний признакВ результатах встречаются фразы, которые клиент сказать не мог, или реплики бота.
2. 2ИсправлениеИсключите тесты и заметки, задайте минимум сообщений клиента, заполняйте поля только по словам клиента.

4. Непроверенный результат

Значения, выбранные AI, никогда не проверяются вручную. Если определение поля неточное, AI систематически ошибается, и эта ошибка попадает в отчёт каждой недели.

1. 1Ранний признакОткрывая разговор-доказательство, часто видишь, что значение не подходит.
2. 2ИсправлениеКаждую неделю проверяйте 30–50 результатов по каждому главному полю, фиксируйте ошибки, уточняйте определение.

5. Неполный период как полный

Анализ работает с задержкой, или часть разговоров завершается ошибкой. А в отчёте вчерашнее число ниже предыдущих дней, и руководитель делает вывод «обращений стало меньше».

1. 1Ранний признакПоследняя точка на каждом графике тренда всегда падает.
2. 2ИсправлениеПоказывайте долю охвата в каждом отчёте и отдельно помечайте неполный период.

6. Инсайт без владельца

Аналитики присылают распределение возражений, продажи считают это задачей маркетинга, маркетинг — задачей продаж. Число неделями не меняется, потому что никто ничего с ним не делает.

1. 1Ранний признакОдна и та же проблема три отчёта подряд на первом месте, и ни одного решения не записано.
2. 2ИсправлениеУ каждого поля один владелец; под каждым блоком отчёта — его имя и строка решения.

7. Корреляция как причина

Возражений по цене стало больше, продажи упали — значит, продажи упали из-за цены. Но, возможно, новая кампания привела аудиторию, которая спрашивает цену, но не готова покупать.

1. 1Ранний признакРешение опирается на один график, альтернативное объяснение не обсуждается.
2. 2ИсправлениеДля каждой гипотезы запишите хотя бы одно альтернативное объяснение и проверьте его данными по каналу, сегменту или CRM.

Как ошибки усиливают друг друга

По отдельности эти ошибки могут казаться безобидными, но вместе создают самую опасную ситуацию: свободные метки (2) не проверяются (4), неполный период считается полным (5), а результат читается как причина (7). Такой отчёт ведёт к уверенному неверному решению. Поэтому два главных исправления — закрытый список значений и регулярная проверка человеком; остальное строится на них.

С какой ошибки начать

Исправлять все семь ошибок одновременно не нужно. Важна последовательность, потому что одни исправления — условие для других. Сначала определите вопрос и владельца (1 и 6): без них непонятно, кому служат остальные исправления. Затем очистите данные и замените свободные метки закрытым списком (3 и 2) — это может потребовать повторного анализа старых разговоров. После этого наладьте регулярную проверку и показатель охвата (4 и 5). Дисциплина причин и следствий (7) идёт последней, когда цифрам уже можно доверять: обсуждать альтернативные объяснения на слабых данных — потеря времени.

Квартальный чек-лист

• Привязано ли каждое активное поле к вопросу для решения и владельцу?
• Работают ли все поля по закрытому списку значений и отслеживается ли доля «другого»?
• Исключены ли из анализа тестовые разговоры и внутренние заметки?
• Проверялось ли вручную каждое главное поле за последний квартал?
• Видна ли в отчётах доля охвата?
• Сколько решений на основе аналитики записано за квартал?
• Проверено ли альтернативное объяснение за каждым решением?

Иллюстративный пример

Это иллюстративный пример. Туристическая компания три месяца использует аналитику разговоров, и руководство недовольно: «ничего не изменилось». Чек-лист показывает, что владелец есть лишь у двух из 14 полей, поле темы работает со свободными метками и породило больше 300 разных значений, а результаты никто не проверял.

Исправление занимает три недели: полей остаётся пять, поле темы переводится на закрытый список из 12 значений, старые разговоры анализируются заново, каждому полю назначается владелец. В следующем квартале записано первое решение: включить стоимость трансфера в пакет.

Как Vexvon предотвращает эти ошибки

В Vexvon часть ошибок закрыта самой архитектурой: AI выбирает только из закрытого списка компании и не может создавать свободные метки; поля со свободным текстом никогда не считаются; тестовые разговоры и внутренние заметки не анализируются; отчёт показывает долю проанализированного периода; а часто повторяющиеся фразы из «другого» видны в отдельном списке, чтобы их можно было добавить как новые значения. Назначить владельцев, проверять результаты и обдумывать альтернативные объяснения по-прежнему должен человек. Подробнее: аналитика Vexvon.

Следующий шаг

Заполните квартальный чек-лист на этой неделе и начните с раздела, где больше всего ответов «нет». Если вы только начинаете, план пилота предотвращает первую ошибку, а статья анализ всех разговоров объясняет модель проверки. Аудит вашего проекта можно провести вместе на демо.