Как выбрать программу для анализа звонков: вопросы на демо

Короткий ответ

Самый надёжный способ выбрать программу для анализа звонков — проверить её на своих обезличенных звонках, а не на подготовленных примерах поставщика. На демо нужно смотреть на пять областей: насколько точен транскрипт на вашем языке и при вашем качестве звука, как разделяются оператор и клиент, можно ли написать стандарт своими критериями, объясняется ли каждый балл доказательствами и как хранятся и удаляются ваши данные.

Цена и интерфейс — потом. Дешевизна системы, которая не может показать доказательства, проблему не решает: её результаты всё равно придётся проверять вручную.

Почему демо может ввести в заблуждение

Демо-звонки поставщика обычно чисто записаны, ведутся на одном языке, говорящие чётко разделены. Ваши звонки другие: мобильная связь, шум, азербайджанский и русский в одной фразе, звонок, переведённый в другой отдел, моменты, когда клиент перебивает оператора. Демо может выглядеть успешно, а на ваших звонках в первую неделю дать совсем другой результат.

Поэтому демо стоит разделить на две части: пример поставщика — чтобы познакомиться с продуктом, и ваш тестовый набор — чтобы принять решение.

Как подготовить тестовый набор

1. 1Выберите разнообразиеЗвонки продаж и поддержки, все используемые языки, стерео и моно, шумные звонки, очень короткие, звонки с переводом. Не берите только «хорошие».
2. 2ОбезличьтеПеред отправкой поставщику удалите фрагменты с именами клиентов, номерами и платёжными данными или выберите звонки, по которым есть согласие на тест. Проверьте юридические требования.
3. 3Сначала запишите свои ответыПусть опытный специалист оценит те же звонки по вашим критериям. Это будет эталон для сравнения.
4. 4Дайте всем один стандартПередайте всем поставщикам один и тот же текст критериев, чтобы результаты можно было сравнить.
5. 5Сравнивайте по критериямСмотрите не на общий балл, а на то, насколько система совпадает с вашим эталоном по каждому критерию.

Вопросы для демо

Сгруппируйте вопросы и получите ответы письменно:

• Транскрипт и язык — какие языки поддерживаются; что происходит, когда в одном звонке смешиваются языки; показываются ли плохо распознанные строки
• Разделение говорящих — как это работает в стерео и моно; что показывает система, когда не уверена; можно ли исправить неверное разделение
• Стандарт — могу ли я написать критерии своими словами; есть ли статусы «неприменимо» и «частично»; можно ли разные стандарты для разных типов звонков
• Доказательство балла — на какую цитату или место транскрипта опирается результат каждого критерия; можно ли показать это оператору
• Версии — что происходит со старыми баллами при изменении критерия; можно ли переоценить старые звонки по новому критерию и платно ли это
• Управление данными — где хранятся записи, как долго, у кого есть доступ, как происходит удаление; используются ли наши данные для обучения моделей
• Поступление записей — загрузка файлов, API или прямое подключение к телефонии; что из этого работает сегодня, а что только в планах
• Модель цены — за минуту, за звонок или за пользователя; тарифицируются ли отдельно повторный анализ и перевод

Красные флаги

• Называется процент точности, но не объясняется, на каких звонках, на каком языке и как он измерен
• Утверждается, что по транскрипту определяются «эмоции», «тон» или «личность оператора»
• Обещается «100% соответствие» или «полностью автоматическое маскирование»
• Балл показан, но нельзя увидеть, на какой фразе он основан
• Нет статуса «неприменимо» — каждый критерий применяется к каждому звонку
• Размер выборки, который один поставщик рекомендует для своего продукта, выдаётся за универсальное правило

Ни один пункт не является автоматической причиной отказа, но каждый требует письменного объяснения.

Таблица сравнения поставщиков

Поставьте каждому поставщику 1–3 балла по восьми группам выше: 1 — нет или не доказано, 2 — частично или только в планах, 3 — показано на вашем тестовом наборе. Для групп «доказательство балла» и «стандарт» задайте отдельный минимум: система с 1 в любой из них не проходит, как бы хорошо она ни выглядела в остальном. Так решение опирается на фактический результат на ваших звонках, а не на лучшую презентацию.

Что записать в соглашении о тесте

Прежде чем передавать поставщику тестовый набор, письменно согласуйте несколько условий. Они защищают и данные, и объективность решения:

• Удаление записей и транскриптов по окончании теста с подтверждением
• Тестовые звонки не используются для обучения моделей и других целей поставщика
• Критерий успеха: какое совпадение по каким критериям считается «пройдено» — до получения результатов
• Срок теста и ответственный со стороны поставщика
• Отсутствие обязательств после теста — переход на платный этап — отдельное решение

Ограничения

Небольшой тестовый набор не покажет всех рисков: редкие типы звонков, сезонная нагрузка, новые продукты могут не попасть в тест. После выбора нужен отдельный пилот. Юридические требования к хранению записей и их передаче третьей стороне различаются по странам — проверьте ответы поставщика с юристом.

Задайте эти вопросы и Vexvon

Короткие проверенные ответы о Vexvon Audio Analyzer:

• Записи загружаются файлами (mp3, wav, m4a и другие распространённые форматы, до 10 файлов за раз, до 200 МБ каждый); система анализирует записанные звонки и не работает в реальном времени
• Оператор и клиент разделяются по каналам в стерео и автоматически в моно; неуверенная строка остаётся «неизвестной», плохо распознанные строки помечаются
• Компания пишет стандарт своими словами; шаги получают статусы «выполнено», «частично», «пропущено» и «неприменимо»
• Каждый статус приходит с комментарием и ссылками на строки транскрипта; секунды в аудио не указываются
• При изменении стандарта создаётся новая версия, старый звонок сохраняет свою; существующий транскрипт можно переоценить
• Транскрипт переводится на выбранные языки, резюме пишется на языке отчёта

Обо всём, что здесь не названо, — сроке хранения, доступе, цене — спросите нас напрямую. Как проверить тестовый набор, объяснено в материале о выборочной проверке, расчёт затрат — в материале о ROI речевой аналитики.

Первый шаг

Перед следующим демо подготовьте тестовый набор из 20–30 звонков и их оценку, выполненную вручную. Отправьте поставщику восемь групп вопросов заранее, чтобы демо отвечало на ваши вопросы, а не шло по сценарию поставщика. Чтобы провести тест на вашем наборе, свяжитесь с нами; другие материалы — в рубрике стратегия анализа звонков.

Продолжение темы: пилот речевой аналитики, многоязычный контроль качества звонков, точность анализа звонков.