Устранение проблем чат-бота: как найти и исправить ошибку

«Бот не работает» — это не диагноз

Менеджер по продажам пишет: «Бот опять ответил неправильно». Руководитель поддержки: «Бот вообще не ответил клиенту». Маркетинг: «В Instagram бот молчит». Все трое правы, и это три разные проблемы. Разбор, который начинается с «бот не работает», обычно длится часами, потому что никто не знает, к какому классу относится проблема.

Этот материал — чек-лист отладки для поиска и исправления ошибок в работающем чат-боте: пять классов ошибок, признак каждого, где искать, как исправлять, тестовые случаи и приоритеты. Тестирование перед запуском и регулярный аудит качества — отдельные процессы; здесь речь о том, что делать, когда пришла конкретная жалоба.

Пять классов ошибок

1. 11. Нет ответаКлиент написал, бот промолчал. Признак: после сообщения клиента в диалоге ничего нет.
2. 22. Неверная маршрутизацияБот ответил, но сделал не то: отправил вопрос поддержки в продажи, ответил сам, когда нужно было передать, или наоборот.
3. 33. Устаревшая или неверная информацияОтвет есть, но фактически неверен: старая цена, изменившееся правило, выдуманная деталь.
4. 44. Ошибка интеграцииБот должен был принести живые данные — статус заказа, создать лид, — но не получил их или не записал.
5. 55. Тон и формаОтвет верный, но длинный, холодный, неуместный или не на том языке.

1. Нет ответа: где искать

• Подключён ли и активен ли канал — например, обновлён ли токен страницы
• Не остановлен ли бот оператором в этом диалоге — когда оператор подключается, бот замолкает
• Не использовался ли стоп-символ — когда пишет оператор, бот делает паузу на заданное время
• Поддерживается ли тип сообщения — например, ответ на комментарий или реакция, которые канал не обрабатывает
• Лимиты — у виджета на сайте есть ограничения на сообщения в минуту и в день

В этом классе ошибка часто не в самом боте, а вокруг него: бот молчал там, где должен был, или сообщение до него вообще не дошло.

2. Неверная маршрутизация

• Слово-триггер или правило написано слишком широко — «цена» сработала внутри жалобы
• В правиле эскалации не хватает фразы — клиент написал «живой человек» вместо «менеджер»
• Неверно определена категория — лид попал в поддержку вместо продаж
• Два правила подходят к одному случаю, и срабатывает неожиданное

Исправление — в самом правиле: добавить фразу, сузить охват, изменить приоритет. После каждого исправления сохраняйте этот диалог как тестовый случай.

3. Устаревшая или неверная информация

Самый частый класс. В Vexvon рядом с каждым ответом видно, какой фрагмент знаний использован, и это сразу разделяет причины:

1. 1Фрагмент устарелОшибка в материалах — их обновляют в базе знаний и сообщают владельцу.
2. 2Фрагмент верный, но из другой темыПоиск нашёл не тот фрагмент — нужно разделить темы, сократить фрагмент или добавить варианты вопроса.
3. 3Фрагмента нетБот сказал то, чего нет в материалах, — нужно проверить границу ответа и поведение «не знаю». Когда материал не найден, бот должен дать запасной ответ, а не придумывать.
4. 4Два фрагмента противоречат друг другуВладельцы материалов решают, какой остаётся.

Глубже о качестве поиска — в статье о точности RAG-чат-бота.

4. Ошибка интеграции

• Ответил ли API компании или истекло время ожидания?
• Правильно ли сформирован запрос — номер заказа, поле проверки личности?
• Не истёк ли срок действия API-ключа и не изменились ли его права?
• Ответ пришёл, но бот прочитал его неверно — новый код статуса, переименованное поле
• Лид создан, но не дошёл до CRM или канала уведомлений

Главное в этом классе — чтобы ошибка не была тихой: когда интеграция не сработала, бот должен честно ответить клиенту и передать диалог человеку. Вызовы модели, задержки и ошибки фиксируются в платформе — с них и начинается разбор.

5. Тон и форма

• Настройка длины ответа — короткие или длинные
• Язык — клиент написал по-азербайджански, бот ответил по-русски; определение языка и список разрешённых языков
• Указания по тону — записан ли согласованный голос бренда
• Повтор шаблонных фраз — «понимаю» в каждом ответе

Тестовые случаи: чтобы исправление не сломалось снова

Каждая исправленная ошибка становится тестовым случаем: реальное сообщение клиента, ожидаемое поведение, дата. Со временем этот список становится регрессионным набором бота.

• При изменении материалов — цены, правила — повторно проверяются связанные случаи
• При изменении правил — эскалации, маршрутизации — повторно проверяются все тесты маршрутизации
• При подключении нового канала — основные случаи проверяются и в нём
• Раз в месяц — весь набор

Как строится тестовый набор перед запуском, разобрано в чек-листе тестирования чат-бота.

Приоритеты

1. 1Критично — сегодняНеверная цена или обещание, пропущенная эскалация, полное молчание в канале, неверно показанные персональные данные.
2. 2Высокий — на этой неделеОшибка интеграции, частая ошибка маршрутизации, устаревшие материалы.
3. 3Обычный — до следующего аудитаТон, длина, неполные ответы по редким темам.

Пример: разбор одной жалобы

1. 1ЖалобаМенеджер по продажам: «Бот сказал клиенту, что доставка бесплатная, а она стоит 5 AZN.»
2. 2ДиалогСегодня в 11:40, Instagram. Клиент: «Сколько стоит доставка в Сумгаит?»
3. 3Класс и источникУстаревшая информация. Использованный фрагмент — акция прошлого месяца «бесплатная доставка по Баку»: её не деактивировали, а Сумгаит отдельно не прописан.
4. 4ИсправлениеАкция деактивирована, цены доставки по регионам записаны отдельным пунктом, владелец — руководитель продаж.
5. 5Тестовый случайВопрос «Сколько стоит доставка в Сумгаит?» добавлен в тестовый набор с ожидаемым ответом.

Чек-лист отладки

• Найден конкретный диалог — дата, канал, клиент
• Определён класс ошибки — один из пяти
• Проверен использованный фрагмент знаний или сработавшее правило
• Просмотрены вызовы и ошибки интеграций
• Исправление сделано, владелец записан
• Диалог сохранён как тестовый случай
• Та же ошибка поискана в других диалогах

Ограничения

Не каждую ошибку можно воспроизвести: ответ AI на один и тот же вопрос не всегда дословно одинаков, поэтому после исправления его нужно проверить несколько раз. Проблемы на стороне самого канала — изменение API платформы, ограничение аккаунта — не зависят от бота и решаются по правилам канала.

Итог: класс ошибки — половина исправления

Проблемы чат-бота делятся на пять классов, и у каждого своё место: канал и пауза, правила, материалы, интеграция, тон. Начать с конкретного диалога, определить класс, посмотреть использованный фрагмент или правило и сохранить каждое исправление как тест — эта последовательность сокращает разбор жалобы «бот не работает» с часов до минут.

Регулярный аудит качества — в статье об аудите качества ответов чат-бота; остальные материалы — в этой рубрике. Чтобы вместе разобрать ошибки вашего бота, свяжитесь с нами.

Частые вопросы

1. 1Почему бот иногда молчит?Чаще всего: к диалогу подключился оператор и бот на паузе, прервалось подключение канала или тип сообщения не поддерживается. Нужно смотреть конкретный диалог.
2. 2Как быстро исправить неверный ответ?Найдите использованный фрагмент знаний: если устарел — обновите; если верный — проверьте поиск и разделение тем.
3. 3Как сделать, чтобы ошибка не вернулась?Сохраняйте каждый исправленный диалог как тестовый случай и повторяйте проверку при изменении материалов или правил.