Когда имеет смысл анализировать все разговоры с клиентами

Короткий ответ

Анализировать все разговоры имеет смысл в трёх случаях: искомое событие редкое (возражение или жалоба в 1–2% разговоров), результат нужно делить на мелкие сегменты (канал × продукт × неделя) или нужно вернуться к конкретным разговорам (например, чтобы перезвонить клиенту). В этих случаях выборки недостаточно.

Если вопрос об общем распределении — «какие три возражения самые частые?» — может хватить и хорошо составленной выборки. Даже когда автоматический анализ удешевляет полный охват, выборка для проверки качества человеком всё равно нужна. То есть выбор не «всё или выборка», а «всё автоматически + выборка для человека».

Откуда этот вопрос

Раньше разговоры читали люди, и прочитать все было невозможно. Поэтому компании работали со случайной выборкой: сто разговоров в месяц, может быть двести. С появлением автоматического AI-анализа возник естественный вопрос: теперь нужно анализировать всё? Ответ — не «да, всегда»: у каждого анализа есть стоимость, задержка и доля ошибок, а для некоторых вопросов полный охват не добавляет ценности.

Когда достаточно выборки

• Вопрос об общем распределении, и вас интересуют частые значения.
• Результат не будет делиться на сегменты или сегменты крупные.
• Объём разговоров мал, и прочитать все и так возможно.
• Решение разовое, тренд отслеживать не нужно.
• Поля ещё калибруются, и полный анализ потом всё равно придётся повторить.

Например, компания с 3 000 разговоров в месяц может получить разумный ответ на вопрос «о чём клиенты спрашивают чаще всего?» по 300 случайно выбранным: крупнейшие темы всё равно будут видны.

Когда нужен полный охват

1. 1Редкие событияСобытие, встречающееся в 1% разговоров, в выборке из 300 появится лишь около 3 раз. По такому числу тренд не увидеть. Юридические угрозы, серьёзные жалобы, проблемы безопасности обычно редки и важны.
2. 2Мелкие сегментыЕсли нужно делить результат по каналу, продукту, региону и неделе, в каждую ячейку должно попасть достаточно разговоров. В выборке каждая ячейка становится крошечной.
3. 3Индивидуальное действиеЕсли после разговора нужно связаться с конкретным клиентом (например, с лидами, которые проявили интерес и не получили ответа), выборка пропустит 90% из них.
4. 4Отслеживание трендаЧтобы видеть изменения по неделям, число каждой недели должно быть стабильным. В малой выборке случайные колебания могут быть больше реального изменения.
5. 5Анализ кампании или инцидентаЧтобы увидеть эффект конкретной рекламы, смены цены или сбоя, нужны все разговоры за этот период.

Простой расчёт: насколько точна выборка

Приблизительная погрешность доли по выборке считается по формуле 1,96 × √(p × (1 − p) / n), где p — доля, n — размер выборки. Например, если доля возражения в выборке из 400 разговоров — 20%, погрешность около ±4 процентных пункта: реальная доля между 16% и 24%. Если доля 2%, погрешность в той же выборке ±1,4 пункта — но это 70% самой доли, и результат практически непригоден.

Издержки полного охвата

• Стоимость анализа: каждый разговор анализирует AI, и у этого есть вычислительная стоимость.
• Объём ошибок: доля ошибок AI в процентах постоянна, но их абсолютное число растёт — 3% ошибок на 10 000 разговоров дают 300 неверных результатов.
• Нагрузка на чтение: больше результатов — больше доказательств для чтения; результаты без владельца копятся.
• Конфиденциальность: через анализ проходит больше разговоров, правила доступа и хранения применяются шире.

Гибридная модель: всё автоматически + выборка для человека

1. 1Автоматический полный охватВсе подходящие разговоры анализируются по настроенным полям.
2. 2Контроль охватаДля каждого периода отслеживается, сколько разговоров проанализировано, пропущено или завершилось ошибкой.
3. 3Проверка человекомКаждую неделю 30–50 результатов по каждому главному полю проверяются вручную: верно ли AI выбрал значение?
4. 4Полное чтение редких событийПо серьёзным редким значениям (например, «юридическая жалоба») все разговоры читает человек.
5. 5КалибровкаКогда проверка выявляет систематическую ошибку, определение и значения поля исправляются и анализ запускается заново.

Таблица решений

• Общее распределение, крупные значения, разовое решение → достаточно выборки.
• Тренд, еженедельное отслеживание → полный охват или большая выборка одного размера каждую неделю.
• Редкое серьёзное событие → полный охват + человек читает всё найденное.
• Сравнение по сегментам → полный охват.
• Действие по конкретному клиенту → полный охват.
• Поля ещё тестируются → сначала выборка, потом полный охват.

Иллюстративный пример

Это иллюстративный пример. Интернет-магазин раньше читал 200 случайных разговоров в месяц и знал, что жалобы в основном о доставке. После перехода на полный охват общая картина не изменилась. Но всплыло значение, которого в выборке не было видно: в 25–30 разговорах в месяц клиенты писали, что одна курьерская служба доставляет посылки вскрытыми. В выборке из 200 это встречалось раз-два в месяц и считалось случайностью.

Итог: для общего вопроса выборки хватало, а для редкой серьёзной проблемы понадобился полный охват.

Частые ошибки

• Сказать «мы анализируем всё» и ни разу не проверить качество результатов.
• Составлять выборку из «интересных на вид» разговоров, а не случайно.
• Менять размер выборки от недели к неделе и потом искать тренд.
• Считать непроанализированные разговоры нулевым результатом.

Как охват управляется в Vexvon

В Vexvon при включённом анализе автоматически анализируются все разговоры, после последнего сообщения в которых прошло 24 часа и в которых не меньше двух сообщений клиента; тестовые разговоры и внутренние заметки исключаются. Панель показывает число проанализированных, ожидающих и ошибочных разговоров, а отчёт — какая доля периода проанализирована. По редким значениям можно открыть и прочитать полный список разговоров за каждым значением. Подробнее: аналитика Vexvon.

Следующий шаг

Сверьте свой вопрос с таблицами выше: если речь о редком событии или сравнении сегментов, планируйте полный охват и заранее назначьте проверку человеком. Общий план пилота — в статье пилот аналитики разговоров; модель под ваш объём можно обсудить на демо.

Продолжение темы: аналитика разговоров.