RAG çatbot dəqiqliyi: cavabı axtarış həll edir

Axtarışla gücləndirilmiş cavab əslində nə edir

Axtarışa əsaslanan çatbot iki mərhələdə cavab verir və yalnız ikincisi modeldir. Əvvəlcə sistem materialınızda cavabı ehtiva etmə ehtimalı ən yüksək olan parçaları axtarır. Sonra həmin parçaları modelə verir və onlardan istifadə edərək cavab yazmasını istəyir.

Bu dizayn ona görə mövcuddur ki, alternativ biznes üçün işləmir. Öz təlimindən cavab verən modelin sizin qiymətlərinizdən, siyasətlərinizdən və anbarınızdan xəbəri yoxdur və yanıldıqda düzəldilmə yolu yoxdur. Axtarış cavabı sizin idarə etdiyiniz sənədə bağlayır — düzəlişi yenidən təlim əvəzinə bir sətirlik redaktəyə çevirən də budur.

Nəticə bu məqalənin mahiyyətidir: axtarış addımı səhv üç abzası təhvil verirsə, heç bir model düzgün cavab istehsal edə bilməz. Deməli dəqiqlik işinin böyük hissəsi axtarış işidir, əksər komanda isə onu prompta sərf edir.

Dörd axtarış uğursuzluğu

1. 1Heç bir uyğun şey tapılmadıCavab materialınızda var, amma axtarış onu üzə çıxarmayıb — adətən ona görə ki, müştərinin sözləri ilə sənədinizin sözləri üst-üstə düşmür. Müştəri «nə qədər tez çatdırırsınız» deyir, sənəd isə «logistika şərtləri» adlanır. Burada düzgün davranış bunu deyib insan təklif etməkdir — çoxlu sistem isə nə tapıbsa ondan cavab verir.
2. 2Uyğun, amma yanlış bir şey tapıldıƏn təhlükəli uğursuzluq, çünki cavab yaxşı mənbələnmiş görünür. Köhnə qiymət səhifəsi, regional istisna, ləğv olunmuş siyasət. Bu, model problemi kimi üzə çıxan bilik bazası problemidir.
3. 3Düzgün sənəd tapıldı, amma onun səhv hissəsiMaterial axtarışdan əvvəl parçalara bölünür. Parça sərhədi siyasətin ortasına düşürsə, tapılan fraqment şərti onun istisnası olmadan bildirə bilər — nəticə inamla natamam cavabdır.
4. 4Həddən artıq çox şey tapıldıModelə zəif bağlı on parça verin — onları qarışdıracaq. Nəticə heç bir tək mənbənin dəstəkləmədiyi səlis cavabdır və sonradan izini tapmaq çox çətindir.

Chunking — biznes dilində

Chunking sənədlərinizin indekslənmədən əvvəl necə kəsilməsidir. Bu, mühəndislik detalı kimi səslənir və cavabları demək olar hər şeydən çox dəyişir.

• Həddən kiçik parçalar ifadəni doğru edən konteksti itirir — aid olduğu plan olmadan qiymət, istisnası olmadan şərt.
• Həddən böyük parçalar uyğunluğu zəiflədir — uzun səhifədə basdırılmış çox uyğun cümlə orta dərəcədə uyğun qısa cümlədən aşağı sıralanır.
• Təbii sərhədi kəsən parçalar ən pis haldır: qaydanın yarısı bütöv qayda kimi tapılır.
• Qısa, özü-özünə yetərli cavablar kimi yazılmış material heç bir tənzimləmə olmadan yaxşı parçalanır. Bu, mövcud ən ucuz dəqiqlik yaxşılaşmasıdır və texniki yox, yazı işidir.

Biznes komandası üçün praktik nəticə: ən vacib on siyasətinizi qısa, özü-özünə yetərli ifadələr kimi yenidən yazmaq cavabları dəyişə biləcəyiniz istənilən axtarış parametrindən çox yaxşılaşdıracaq.

Sıralama və ilk nəticənin əhəmiyyəti

Axtarış sıralanmış siyahı qaytarır və modelə yalnız yuxarıdakı bir neçəsi verilir. Kəsim həddindən aşağıdakıların mövcud olmaması ilə fərqi yoxdur — bu isə sıralamanı dəqiqliyin əsl qapıçısına çevirir.

• Sabit nəticə sayı həqiqət yox, güzəştdir. Az olsa, bir qədər fərqli ifadə olunmuş sual keçir; çox olsa, model əlaqəsiz parçaları qarışdırır.
• Saf semantik axtarış dəqiq işarələrlə çətinlik çəkir — məhsul kodları, model nömrələri, sifariş istinadları. Açar söz və semantik uyğunluğu birləşdirən hibrid yanaşmalar bunları qat-qat yaxşı idarə edir.
• İkinci keçidin ilkin nəticələri yenidən sıraladığı rerank materialınızda çoxlu oxşar sənəd olanda ən çox kömək edir — əksər şirkətin vəziyyəti isə məhz budur.
• Təzəlik avtomatik olaraq sıralamanın hissəsi deyil. Üç illik səhifə suala daha oxşar ifadə olunubsa, bu ayınkını üstələyə bilər. Bunu ümidlə deyil, materialda həll etmək lazımdır.

Əsaslandırma: cavabın materialda qalması

Əsaslandırma yalnız tapılanlardan cavab vermək intizamıdır. Qismən promptdur, əsasən siyasətdir və biznes çatbotunu inamlı təxminçidən ayıran da budur.

• Axtarış faydalı heç nə qaytarmayanda sistemin müəyyən davranışı olmalıdır: bunu demək, insan təklif etmək və improvizasiya etməmək.
• Bot biznesə aid suallarda boşluqları ümumi dünya biliyindən doldurmamalıdır. Uydurduğu ağlabatan çatdırılma müddəti etirafdan pisdir.
• Əhatə hüdudları promptla yanaşı materialda da olmalıdır: hüquqi məsləhət, tibbi iddialar və rəqib müqayisələri açıq şəkildə kənarda qalmalıdır.
• Cavabların izi olmalıdır. Sistem hansı parçaların cavabı yaratdığını qeyd edirsə, yanlış cavab redaktə ediləcək sənədə çevrilir. Etmirsə, mübahisəyə çevrilir.

Axtarış keyfiyyətini necə qiymətləndirmək

1. 1Sabit sual dəsti qurunDoğru cavabı məlum olan əlli-yüz real müştəri sualı, narahat olanlar da daxil. Bu dəst alətdir; onsuz hər dəyişiklik fikirdir.
2. 2Düzgün materialın tapılıb-tapılmadığını cavabın düzgünlüyündən ayrı ölçünBunlar iki fərqli həlli olan iki fərqli uğursuzluqdur. Onları qarışdırmaq komandaların bilik bazası problemini promptla həll etməyə çalışmasının səbəbidir.
3. 3Cavabı olmayan sualları da daxil edinDəstin ən azı on faizi materialınızın həqiqətən örtmədiyi şeylər olmalıdır. Siz sistemin bunu etiraf edib-etmədiyini yoxlayırsınız — müştərilərin sizi qiymətləndirdiyi davranış da elə budur.
4. 4Hər dəyişiklikdən sonra bütün dəsti yenidən işə salınMaterial redaktələri, chunking dəyişiklikləri, model dəyişiklikləri. On cavabı yaxşılaşdırıb altısını sındıran düzəliş sabit dəst olmadan yayğın və görünməz nəticədir.
5. 5Uğursuzluqları saymayın, oxuyunSaylar problemin olduğunu deyir; tapılan parçalar isə dörd uğursuzluq tipindən hansı olduğunu deyir.

Vexvon-da axtarış necə işləyir

Axtarış Milvus üzərində işləyir, defolt olaraq altı nəticə qaytarır və çoxlu sənədin bir-birinə oxşadığı material üçün opsional hibrid rerank təklif edir. Hər şirkətin materialı partition key ilə izolyasiya olunur, yəni axtarış yalnız həmin şirkətin öz sənədlərinə çata bilir.

İki mexanizm yuxarıdakı uğursuzluq tiplərini birbaşa həll edir. Sorğunun yenidən qurulması «bəs qırmızısı?» kimi natamam davam sualını axtarışdan əvvəl tam müstəqil sorğuya çevirir — bu olmadan söhbətdəki ikinci sual demək olar heç nə faydalı tapmır. Son on beş mesaj yaddaşı isə mövzunu gedişlər arasında bütöv saxlayır.

Əsaslandırma nəzərdə tutulan yox, açıq mexanizmdir. Kontekst tapılmayanda müəyyən edilmiş fallback var, AI improvizasiya etmək əvəzinə dayanır, operator istəyi isə bildiriş yaradır. Cavab şəffaflığı konkret cavabı hansı bilik qeydlərinin yaratdığını qeyd edir — yuxarıda təsvir olunan qiymətləndirməni təxmindən konkret redaktə ediləcək sənədə çevirən də budur.

Material tərəfində qeydlər on üç kateqoriyaya bölünür, ayrılıqda aktiv ya deaktiv edilə bilir və çatbota, zəng agentinə ya hər ikisinə hədəflənir. Embedding-lər qeyd dəyişəndə avtomatik yenilənir, yəni düzəldilmiş sənəd yenidən qurmadan düzəldilmiş cavab deməkdir.

Tez-tez verilən suallar

1. 1RAG çatbot nədir?Materialınızda uyğun parçaları axtaran və sonra modeldən yalnız həmin parçalardan istifadə edərək cavab verməsini istəyən çatbotdur. Məqsəd odur ki, cavabların izi sizin idarə etdiyiniz sənədlərə çıxsın — yəni yanlış cavab yenidən təlimlə yox, redaktə ilə düzəlsin.
2. 2Niyə yenə də yanlış cavab verir?Adətən model pis yazdığı üçün yox, axtarış səhv material verdiyi üçün. Dörd uğursuzluq bunun böyük hissəsini izah edir: uyğun heç nə tapılmaması, uyğun amma köhnəlmiş bir şeyin tapılması, düzgün sənədin səhv fraqmenti və çoxlu zəif bağlı materialın qarışdırılması.
3. 3Daha yaxşı model dəqiqliyi həll edirmi?Biznesə aid suallarda nadir hallarda. Model yalnız ona veriləni işlədə bilir. Materialı və tapılanı yaxşılaşdırmaq modeli dəyişməkdən qat-qat çox təsir edir.
4. 4Chunking nədir və niyə vacibdir?Sənədlərin indeksləmədən əvvəl necə kəsilməsidir. Həddən kiçik fraqmentlər ifadəni doğru edən konteksti itirir, qaydanı kəsən fraqmentlər isə şərti istisnası olmadan bildirə bilir.
5. 5Bunu necə qiymətləndirmək olar?Cavabı məlum olan əlli-yüz real sualdan sabit dəst qurun, onun ən azı on faizi materialınızın örtmədiyi suallar olsun və hər dəyişiklikdən sonra bütün dəsti yenidən işə salın.
6. 6Bot nə vaxt cavab verməkdən imtina etməlidir?Axtarış faydalı heç nə qaytarmadığı hər halda və hüquqi ya tibbi iddialar kimi əhatədən kənar hər şeydə. Düzgün davranış bunu deyib insan təklif etməkdir.

Promptdan yox, sual dəstindən başlayın

Həll etməyə çalışdığınız problem dəqiqlikdirsə, promptları redaktə etməklə başlamayın. Əvvəlcə sabit sual dəstini qurun. Bir gün çəkir, sonrakı hər dəyişikliyi ölçülə bilən edir və əksər halda onun ilk işə salınması yanlış cavabların böyük hissəsinə cavabdeh olan bir neçə sənədi üzə çıxarır.