Галлюцинации голосового AI: как снизить риск неверного ответа по телефону
По телефону неверный ответ тоже звучит уверенно, и клиент сразу его записывает. В этом материале — почему риск галлюцинаций в голосовом агенте другой, четыре правила, зона «почти знает», ошибки распознавания, тестовый набор из шести типов, иллюстративный пример учебного центра и способы обнаружения на живом этапе.
Короткий ответ
Галлюцинация — когда AI-модель выдумывает информацию, которой нет в источнике, но которая звучит убедительно. В голосовом агенте этот риск серьёзнее, чем в чате: клиент не может сверить ответ с источником, голос звучит уверенно, а произнесённая цифра сразу записывается. Полностью устранить риск нельзя, но четыре правила заметно его снижают: агент отвечает только по утверждённой информации, граница ответов чётко прописана, определено честное поведение при неопределённости, а сомнительные случаи передаются человеку.
В статье — риски, характерные для голоса, правила границы ответов, правильная форма «я не знаю» и тестовый набор для поиска галлюцинаций.
Почему в голосовом агенте риск другой
- Источник не виден: в чате можно показать ссылку, по телефону — нет
- Уверенный голос: синтезированный голос не показывает сомнений, и неверный ответ тоже звучит уверенно
- Ошибка распознавания: агент может неверно услышать вопрос и дать правильный ответ на другой вопрос
- Цифры: цены, даты, адреса по телефону записывают и потом на них опираются
- Скорость: в разговоре агент стремится отвечать быстро, пауза «сейчас проверю» бывает реже
Поэтому та же ошибка в голосовом агенте вредит сильнее, чем в чате, и обнаруживается позже — часто только когда клиент жалуется.
Правило первое: только утверждённый источник
Фактические ответы агента — цена, условия, сроки, адреса — должны браться только из утверждённого текста базы знаний. В сценарии это прописывается прямо: «факт, которого нет в базе знаний, не называется». Общие знания модели, например «такие услуги обычно занимают столько-то», не могут быть ответом об услуге компании.
Правило второе: граница ответов
Граница показывает, на какие темы агент отвечает, а на какие нет. Чем она яснее, тем меньше места для галлюцинаций. На вопрос за границей агент говорит не «не знаю», а «эту информацию я дать не могу, соединить вас с сотрудником?»
Правило третье: честность при неопределённости
Когда агент не до конца понял вопрос или не уверен в ответе, вместо выдумки он выбирает один из трёх путей: уточнить вопрос («Вы про филиал на Насими или в Ясамале?»), сказать, что не может ответить, и передать звонок, или зафиксировать обращение и пообещать точный ответ позже — если за этим обещанием стоит процесс.
- УточнитьНа неоднозначный вопрос — один вопрос: какой филиал, какой продукт, какая дата.
- ПовторитьПовторить клиенту цифры и имена: «На пятерых, верно?»
- ПередатьЕсли ответа в источнике нет — передать человеку.
Правило четвёртое: строже в зонах высокого риска
Не все темы одинаково рискованны. Ошибка в часах работы вызывает неудобство; ошибка в цене или условии возврата — спор; ошибка в медицинском, финансовом или юридическом вопросе может навредить. Ужесточайте правила по уровню риска: в темах высокого риска агент говорит только дословно утверждённый текст или вообще не отвечает и передаёт звонок.
Тестовый набор на галлюцинации
До пилота и после каждого крупного изменения проверяйте агента специально подготовленными вопросами:
- Правдоподобный вопрос, которого нет в базе знаний: «У вас есть курьер в выходные?» — если это не записано
- Похожее, но другое: записан один филиал, спросите о другом
- Устаревшие данные: назовите прежнюю цену и попросите подтвердить: «В прошлом месяце было 40, и сейчас так же?»
- Давление: «Если точно не знаете, скажите примерно»
- Распознавание цифр: вопрос с похоже звучащими числами
- Вне границ: медицинский, юридический вопрос или вопрос о конкуренте
Для каждого теста записывается ожидаемое поведение: правильный ответ, уточнение или передача. Каждый выдуманный агентом ответ требует исправления базы знаний или сценария.
Иллюстративный пример: учебный центр
Это не реальный кейс клиента. Агенту учебного центра задают вопрос: «Сколько месяцев длится курс IELTS?» В базе знаний описан только общий курс английского. Тест показывает, что агент отвечает «три месяца» — переносит длительность общего курса на IELTS. Исправление: в базу знаний добавлен отдельный ответ по IELTS, а в сценарий — правило «если названия курса нет в базе знаний, зафиксировать и передать».
«Не знаю» — не провал
Команды часто считают ответ агента «эту информацию я дать не могу» провалом и стараются его сократить. В итоге агент отвечает на большее число вопросов — в том числе на те, которых не знает. Правильный подход обратный: честная передача вопроса вне границ — успешное поведение, а выдуманный ответ — провал. Показывайте их в отчётах раздельно.
Как обнаружить на живом этапе
- Выборка транскриптов: человек каждую неделю читает определённое число звонков
- Сигналы операторов: «клиент сказал, что бот ему сказал другое»
- Жалобы на информацию, которую дал агент
- Несовпадение цифр: цена, названная агентом, и цена в CRM
Типичные ошибки
- Не тестировать, исходя из того, что «AI не ошибается»
- Разрешать агенту отвечать из общих знаний
- Не прописывать в сценарии случай «не знаю»
- Не подтверждать цифры повтором
- Исправлять найденную галлюцинацию только в одном ответе, а не её причину
Ограничения
Эти правила снижают риск галлюцинаций, но не сводят его к нулю; ни одна AI-система не гарантирует правильность каждого ответа. Поэтому темы высокого риска должны оставаться у людей, живые звонки — регулярно проверяться, а при обнаружении ошибки должен запускаться процесс разбора инцидента.
Граница ответов в Vexvon
В Vexvon AI Call Center агент говорит в рамках сценария и находит ответы инструментом поиска по базе знаний; база знаний общая с чат-ботом. В полях, извлекаемых из звонка, агент записывает только сказанное — ненайденное поле остаётся пустым, а не выдумывается. Сложные вопросы и вопросы вне границ передаются живому оператору. Транскрипт и запись каждого звонка остаются в панели, поэтому возможны выборочная проверка и разбор сигналов операторов.
База знаний для голоса — в этой статье, та же проблема в чате — в галлюцинации чат-бота.
Первый шаг
Напишите по два вопроса для каждого из шести типов тестов и задайте их агенту. Для каждого выдуманного ответа отметьте причину: не хватает знаний, неясна граница или ошибка распознавания. Другие статьи — в разделе надёжность и пилот; чтобы подготовить тестовый набор вместе, свяжитесь с нами.