Галлюцинации чат-бота: руководство по ограничителям

Проблема в уверенности, а не в выдумке

Разговоры о галлюцинациях обычно начинаются с того, почему модель ошибается. Для бизнеса это интересный, но бесполезный вопрос. Полезный звучит так: почему бот говорит уверенно, когда уверенности у него нет?

Потому что вы так его построили. Поведение по умолчанию — отвечать. Не отвечать — промолчать, признать незнание, передать человеку — это поведение, которое нужно записать явно, и обычно его не записывают. Бот не выдумывает; он выполняет единственную поставленную ему задачу.

Такая постановка сразу делает задачу решаемой. Вам не нужна модель получше. Вам нужны четыре вещи: бот, знающий, что вне зоны; бот, чьи ответы привязаны к вашему материалу; бот, знающий, что сказать, когда ответа нет; и способ измерить, работают ли первые три.

Ограничитель первый: зона

Самый дешёвый ограничитель — явный список тем, на которые бот не отвечает вовсе. Это работа не с промптом, а с политикой, и согласовывать её надо с юристами или руководством, а не оставлять тому, кто настраивает бота.

• Юридические консультации и толкование договора. «Что означает этот пункт» — это запрос правовой позиции, а не ответа.
• Медицинские, финансовые и регулируемые советы, если у вас нет лицензии их давать.
• Сравнения с конкурентами. Бот не знает ни цены, ни возможностей конкурента, и всё сказанное становится утверждением от вашего имени.
• Прогнозы на будущее: когда придёт товар, когда будет скидка, когда выйдет функция.
• Индивидуальные исключения: скидки, отсрочка оплаты, возврат вне опубликованной политики.
• Факты о третьих лицах — политика другой компании, правила курьера, условия банка.

Написание этого списка занимает час и убирает значительную долю неверных ответов, потому что большинство из них рождается в вопросах, на которые бот вообще не должен был отвечать.

Ограничитель второй: привязка к материалу

Для вопросов внутри зоны ключевой механизм в том, что бот отвечает только из материала, который действительно нашёлся. Это звучит просто, а на практике состоит из трёх отдельных решений.

1. 1Что происходит, когда поиск ничего не нашёл?Правильный ответ — сказать об этом и предложить человека. Неправильный — всё равно собрать ответ из того, что попалось. Одно это решение снимает большинство галлюцинаций.
2. 2Может ли бот пользоваться общим знанием о мире?В вопросах, специфичных для бизнеса, — нет. Фраза «доставка обычно занимает три-пять дней» написана моделью из общего впечатления, если её нет в вашем материале, и для вас она может быть неверной.
3. 3Фиксируется ли источник ответа?Если нет записи о том, какой фрагмент материала породил ответ, неверный ответ починить нельзя — можно только о нём спорить. Запись источника сама по себе не ограничитель, но именно она делает ограничители исправимыми.

Ограничитель третий: сам фолбэк

Ответ «я не знаю» тоже нужно написать, потому что плохо написанный фолбэк лишь немногим лучше выдуманного ответа, а хорошо написанный закрывает проблему целиком.

• Скажите конкретно, чего вы не знаете: «у меня нет информации об этом тарифе» лучше, чем «я не могу с этим помочь».
• Сразу предложите альтернативу: перевод на оператора, обратный звонок, конкретную страницу или номер телефона.
• Напишите его на каждом языке. Непереведённый фолбэк создаёт худшее впечатление в самый заметный момент.
• Сделайте отдельную версию для нерабочих часов с названным конкретным временем.
• Не набивайте его извинениями. Одно предложение сожаления, затем альтернатива — и всё.

Разная строгость для разного риска

Не каждому вопросу нужна одинаковая строгость, а если применять её везде, бот станет бесполезным. Практическая модель — три уровня.

1. 1Низкий риск — отвечать свободноЧасы работы, адрес, общее описание продукта, как что-то устроено. Ошибка стоит дёшево и исправима. Здесь бот должен отвечать спокойно.
2. 2Средний риск — только из материала, точной формулировкойЦена, сроки доставки, гарантии, совместимость. Бот должен говорить написанное, не обобщать и останавливаться, если материал этого не покрывает.
3. 3Высокий риск — автоматического ответа не бываетЮридические, медицинские и индивидуальные финансовые вопросы, индивидуальные исключения, разбор жалоб. Это уходит сразу человеку, без попытки ответить.

Привяжите эти три уровня к категориям материала, назначив уровень каждой категории. Это надёжнее длинного списка правил в промпте, потому что применяется автоматически при добавлении нового материала.

Как измерять галлюцинации

1. 1Соберите фиксированный набор вопросовПятьдесят-сто реальных вопросов, минимум десять процентов из которых ваш материал действительно не покрывает. Этот набор — ваш измерительный прибор.
2. 2Считайте две разные вещи отдельноНеверные ответы и случаи, когда бот ответил там, где должен был признать незнание. Второе — и есть индикатор галлюцинаций, и оно важнее первого.
3. 3Отслеживайте долю признанийНа вопросах без ответа — в какой доле бот корректно отказался? Она должна быть близка к полной, и при первом измерении обычно таковой не является.
4. 4Читайте провалыПо каждому неверному ответу смотрите, что было найдено. Причина почти всегда в пустом поиске, устаревшем материале или отсутствующем фолбэке, и все три чинятся по-разному.

Ограничители в Vexvon

В Vexvon ответы привязаны к поиску: шесть результатов по умолчанию в Milvus, изоляция материала компании ключом партиции и заданное поведение фолбэка, когда контекст не найден. У вопроса «что происходит, когда ничего не нашлось» есть встроенный ответ, а не случайный.

Прозрачность ответа фиксирует, какие фрагменты знаний были использованы, — это и есть механизм, делающий возможным шаг «посмотрите, что было найдено» из раздела об измерении. Неверный ответ превращается в конкретную запись для правки, а не в спор.

Зона и уровни риска управляются через материал: записи разложены по тринадцати типам, отключаются по отдельности и нацелены на чат-бота, голосового агента или обоих. Версии промптов отслеживаются, активна одна за раз, и есть путь назад — значит, изменение ограничителя является обратимой операцией.

Со стороны эскалации ИИ может остановиться сам: просьба об операторе поднимает уведомление, нецензурная лексика работает как стоп-условие, а стоп-символ агента ставит ИИ на паузу в этом диалоге на тридцать минут. Именно на этом механизме держится уровень высокого риска.

Частые вопросы

1. 1Что такое галлюцинации чат-бота?Это уверенное утверждение бота о том, чего в вашем материале нет. Для бизнеса проблема в уверенности, а не в выдумке: клиенты прощают признание незнания, но не придуманную дату.
2. 2Решает ли это более сильная модель?Отчасти и меньше, чем ожидают. Большинство галлюцинаций рождается в вопросе, на который бот вообще не должен был отвечать, в пустом поиске или в ненаписанном фолбэке. Ни одно из трёх от модели не зависит.
3. 3Что должно быть вне зоны?Юридические консультации, медицинские и финансовые советы без лицензии, сравнения с конкурентами, прогнозы на будущее, индивидуальные исключения и факты о третьих лицах.
4. 4Каким должен быть хороший фолбэк?Он должен конкретно называть, чего не знает, сразу предлагать альтернативу, существовать на каждом языке, иметь отдельную версию для нерабочих часов и не быть набит извинениями.
5. 5Как измерять галлюцинации?Соберите фиксированный набор вопросов, минимум десять процентов которых не имеют ответа в материале, и отслеживайте долю корректных отказов. Эта цифра важнее числа неверных ответов.
6. 6Когда должен подключаться человек?На каждом вопросе высокого риска, всегда, когда поиск ничего не нашёл, при прямой просьбе и при жалобах.

Начните с пяти вопросов без ответа

Быстрее всего оценить свои ограничители, написав пять вопросов, на которые ваш материал не отвечает, и задав их боту. Пять честных признаний означают, что основной механизм на месте. Хотя бы один придуманный ответ означает, что чинить нужно не модель, а фолбэк и привязку к материалу.