Аудит базы знаний чат-бота: что починить до запуска

Вердикт выносит материал

Покупатели оценивают модели, а разворачивают документы. Разрыв между этими двумя занятиями и есть место, где живёт большая часть разочарования. Сильная модель, отвечающая из противоречивого, неполного или устаревшего материала, выдаёт уверенные неверные ответы — а это хуже, чем отсутствие ответа.

Это хорошая новость, потому что материал поправим и поправим дёшево. Аудит ниже занимает у большинства компаний несколько дней, не требует разработки и убирает большую часть ответов, которые иначе обнаружат клиенты.

Проводите его до запуска, а не после. Цена неверного ответа, найденного в аудите, — одна правка; цена того же ответа, найденного клиентом, — ответ плюс доверие.

Сбой первый: пробелы

Пробел — это вопрос, который задают клиенты и на который материал не отвечает. Изнутри компании они невидимы, потому что авторы материала уже знают ответы и не воспринимают их как вопросы.

1. 1Начните с реальных вопросов, а не со своих документовВыгрузите обращения в поддержку за полгода, логи чата, сообщения из Instagram и WhatsApp и вопросы, которые продажи получают на первых звонках. Отсортируйте по частоте. Техническим заданием является именно этот список, а не структура вашего справочного центра.
2. 2Отметьте каждый вопрос как отвечаемый или нетДля каждого из первой сотни найдите материал, который на него отвечает. Там, где не находите, — пробел. Их будет больше, чем кажется: двадцать-сорок процентов на первом аудите это норма.
3. 3Ищите специально неудобныеПограничные случаи по цене, чего вы не поддерживаете, задержки доставки, возвраты, сравнения с конкурентами. Их непропорционально часто нет, потому что писать их никто не любит, и непропорционально часто спрашивают, потому что клиентам это важно.
4. 4Пишите недостающие ответы тем голосом, которым должен говорить ботБот воспроизведёт регистр материала. Материал, написанный как внутренние заметки, порождает ответы, которые читаются как внутренние заметки.

Сбой второй: противоречия

Противоречие — это два фрагмента материала, отвечающих на один вопрос по-разному. Оно вреднее пробела, потому что бот уверенно ответит тем, что нашёл, и ответ будет разным у разных клиентов.

• Один и тот же факт в нескольких документах: срок доставки в FAQ, на странице товара и в PDF, написанные в разное время.
• Старый материал кампании с ценой или обещанием, которых больше нет.
• Региональные различия, записанные как универсальные утверждения: правило, верное в одном городе, звучит как политика компании.
• Внутренние черновики, загруженные рядом с опубликованным текстом, — бот их не различает.
• Разошедшиеся переводы, где азербайджанская и английская версии политики больше не говорят одно и то же.

Практическое лекарство — назначить единственный источник на каждый факт. У каждого важного утверждения — цена, доставка, охват, гарантия — должен быть документ-владелец, а остальные должны ссылаться, а не повторять. Это ценнее любой настройки поиска.

Сбой третий: устаревание

Материал ветшает молча. Когда цена меняется, ничего не ломается: старая страница просто продолжает существовать и продолжает находиться.

• Проставляйте дату при импорте, чтобы возраст был виден без чтения.
• Помечайте всё, что не пересматривалось двенадцать месяцев, для решения: подтвердить, обновить или удалить.
• Для публичного материала удаляйте, а не архивируйте. Заархивированный, но всё ещё индексируемый документ — всё ещё ответ.
• Выделите быстро устаревающие категории — цены, остатки, часы работы, имена сотрудников, условия акций — и задайте для них более короткий цикл пересмотра.
• Назначьте владельца по категориям. Материал без владельца — это материал, который никто не обновляет.

Сбой четвёртый: нет материалов об эскалации

Чаще всего отсутствует не информация о продукте. Отсутствует материал, который говорит боту, что делать, когда отвечать не следует, — и отсутствует он потому, что не ощущается как знание.

• Что бот говорит, когда не знает, на каждом языке. Записанным, а не импровизированным.
• Что полностью вне зоны: юридические консультации, медицинские утверждения, сравнения с конкурентами, всё регулируемое.
• Как происходит передача: что сказать, что пообещать по срокам и что говорить вне рабочих часов.
• Чего бот не должен обещать никогда: скидок, исключений, сроков доставки вне опубликованной политики.
• Путь для жалобы, написанный как ответ, а не как процессный документ.

Как оценить аудит

1. 1ПокрытиеУ какой доли из вашей первой сотни реальных вопросов есть ответ в материале? Ниже восьмидесяти процентов запускайтесь на более узкой зоне, а не на более широкой.
2. 2СогласованностьУ скольких ваших важных фактов больше одного источника? Каждый такой — будущий противоречивый ответ.
3. 3АктуальностьКакая доля материала пересматривалась за последние двенадцать месяцев? В быстро устаревающих категориях она должна быть близка к полной.
4. 4Готовность к эскалацииНаписаны ли пять документов об эскалации выше? Это бинарный ответ, и до того, как кто-то спросит, он обычно нулевой.

Оцените эти четыре до запуска и ещё раз через девяносто дней. Второй прогон полезнее первого, потому что к тому моменту разговоры покажут, в каких вопросах вы ошибались.

Как база знаний устроена в Vexvon

Материал приходит из пяти источников: сайт, просканированный до 4 500 страниц, PDF до 25 МБ, ручные или пакетные записи до 200 за запрос, каталог товаров с вариантами и изображениями и архив Instagram с прошлыми вопросами и ответами. Последний источник напрямую полезен для аудита пробелов выше, потому что это запись того, что клиенты действительно спрашивали.

Каждая запись отнесена к одному из тринадцати типов — FAQ, цены, продукт, каталог, филиал, кампания, часы работы, политика и другие — с автоматическим определением типа, и может включаться и выключаться по отдельности. Отключение вместо удаления и делает противоречие исправимым без потери документа.

У каждой записи есть и цель: чат-бот, голосовой агент или оба. Одна база тем самым обслуживает две разные поверхности ИИ без дублирования материала, что убирает один из самых частых источников противоречий — вторую копию того же факта, которую отдельно ведут для телефона.

Поиск идёт по Milvus с шестью результатами по умолчанию и опциональным гибридным реранком, материал каждой компании изолирован ключом партиции, а эмбеддинги обновляются автоматически при изменении записи. Прозрачность ответа фиксирует, какие записи породили данный ответ, — это превращает находку аудита из догадки в конкретный документ для правки.

Частые вопросы

1. 1Что такое аудит базы знаний чат-бота?Это предзапусковый разбор материала, из которого отвечает бот, проверяющий четыре вещи: покрыты ли реальные вопросы клиентов, не противоречат ли факты друг другу, актуален ли материал и сказано ли боту, что делать, когда отвечать не следует.
2. 2Сколько это занимает?У большинства компаний несколько дней. Дольше всего не найти пробелы, а написать недостающие ответы, причём неудобные темы занимают больше всего, потому что их раньше никто не записывал.
3. 3Какого покрытия достаточно для запуска?Стремитесь минимум к восьмидесяти процентам из первой сотни реальных вопросов. Ниже — сужайте зону бота, а не запускайтесь широко в надежде.
4. 4Что чаще всего забывают?Материалы об эскалации: что бот говорит, когда не знает, что вне зоны и как формулируется передача. Их нет, потому что они не ощущаются как знание.
5. 5Как разбираться с противоречиями?Назначить единственный источник на каждый факт. У каждого важного утверждения должен быть документ-владелец, а остальные должны на него ссылаться.
6. 6Как часто повторять аудит?Оценивайте до запуска и через девяносто дней, затем ежегодно — с более коротким циклом для быстро устаревающих категорий вроде цен, остатков и часов работы.

Начните со ста реальных вопросов

Весь аудит начинается с одной выгрузки: полгода реальных вопросов клиентов со всех каналов, отсортированных по частоте. Всё остальное следует из этого списка. Команды, начинающие вместо этого с имеющейся документации, стабильно проверяют не то, потому что документация построена вокруг того, что компания хотела сказать.