Çatbot test siyahısı: yayımdan əvvəl 50 ssenari

Daxili test niyə hər şeyi qaçırır

Botu konfiqurasiya edən adam onu test edə bilməz — müəllifin öz mətnini korrektə edə bilməməsi ilə eyni səbəbdən: o, sistemin cavab verməyə qurulduğu sualları, materialın işlətdiyi lüğətlə verir. Müştərilər isə nə birincisini, nə ikincisini edir.

İki qayda bunun böyük hissəsini həll edir. Test ssenariləri təsəvvürdən yox, real müştəri mesajlarından gəlməlidir və onları işə salan adam botu quran adam olmamalıdır. Başqa şöbədən bir həmkar bir saatda layihə komandasının bir həftədə tapdığından çox tapır.

Başlamazdan əvvəl «keçid» nə deməkdir, təyin edin. Aşağıdakı ssenarilərin əksəriyyətində düzgün cavab yeganə keçid deyil — dürüst «bilmirəm» üstəgəl insana yol da keçiddir və bunu uğursuzluq saymaq komandaların botu inamlı uydurmaya sıxışdırmasının yoludur.

Birinci ailə: uğurlu yollar

Ən tez-tez verilən real suallardan on-on beş ssenari. Komandaların həddən artıq test etdiyi ailə budur, ona görə də onu mütənasib saxlayın.

• Son ayın real mesajlarından ən yayğın beş sual — səliqəyə salınmış variant yox, müştərinin öz ifadəsi ilə.
• Eyni beş sual səhvlərlə, qısaltmalarla və durğu işarəsiz — onların real gəldiyi formada.
• Ən son əlavə olunmuş materialın cavabladığı sual — yeniləmələrin canlı olduğunu təsdiqləmək üçün.
• Cavabı məkana və ya plana görə fərqlənən sual — botun fərz etmək yox, soruşduğunu təsdiqləmək üçün.
• Çoxhissəli sual — bir mesajda iki şey — bu, yayğındır və çox vaxt yalnız yarısı cavablanır.

İkinci ailə: qeyri-müəyyənlik və kontekst

Bu ailə digərlərindən çox qüsur tapır və demək olar heç vaxt test olunmur, çünki tək mesaj yox, söhbət tələb edir.

• Davam fraqmenti: sual verin, sonra «bəs o birisi?» yazın. Bot bunu əvvəlki gedişə görə həll etməlidir.
• Düzəliş: bir şey deyin, sonra «yox, o biri modeli nəzərdə tuturdum» yazın. Botlar müntəzəm olaraq birinci cavabla davam edir.
• Söhbətin ortasında mövzu dəyişikliyi, sonra birinci mövzuya qayıdış.
• Biznesinizdə iki məna daşıyan qeyri-müəyyən termin — botun təxmin etmək yox, soruşduğunu təsdiqləmək üçün.
• Müştərinin artıq verdiyi məlumatı tələb edən sual — iki dəfə soruşulmadığını təsdiqləmək üçün.
• Çox qısa mesaj — bir söz — mesajlaşma kanallarında son dərəcə yayğındır və tez-tez səhv idarə olunur.

Üçüncü ailə: dillər

• Eyni sual hər dəstəklənən dildə — cavabın sadəcə səlis yox, ekvivalent olduğunu yoxlamaqla.
• Bir cümlədə iki dili qarışdıran mesaj — çoxdilli bazarlarda normaldır.
• Söhbətin ortasında dil dəyişikliyi — aşkarlamanın söhbət üzrə yox, mesaj üzrə işlədiyini təsdiqləmək üçün.
• Dəstəklənməyən dildə mesaj — botun dördüncünü sınamaq yox, dəstəklənən dildə cavab verdiyini təsdiqləmək üçün.
• Hər dildə fallback mesajı — mövcud ən görünən tərcümə olunmamış sətir budur.
• Hər dildə məhsul və ya brend adı — «kömək edərək» tərcümə olunmadığını təsdiqləmək üçün.

Dördüncü ailə: dəstəklənməyən və əhatədən kənar

Burada keçid meyarı dürüst imtina üstəgəl irəli yoldur. Bunu açıq şəkildə belə qiymətləndirin, əks halda testçilər düzgün davranışı uğursuzluq kimi qeyd edəcək.

• Materialınızın həqiqətən cavablamadığı sual.
• Hüquqi, tibbi və ya tənzimlənən sahədə məsləhət istəyi.
• Sizi adı çəkilən rəqiblə müqayisə etmək istəyi.
• Endirim istəyi — üç fərqli ifadə ilə, biri gizli təzyiq daşımaqla.
• Satmadığınız məhsul haqqında sual və istehsaldan çıxardığınız məhsul haqqında sual.
• Proqnoz sualı: nə vaxt anbara gələcək, nə vaxt endirim olacaq.
• Çatda yoxlaya bilməyəcəyiniz kimlik tələb edən istək.

Beşinci ailə: eskalasiya və ötürmə

• Birbaşa operator istəyi — dərhal və əks təklif olmadan yerinə yetirilməlidir.
• Eyni istəyin dolayı ifadəsi: «orada ümumiyyətlə kimsə varmı?».
• Əsəbi mesaj — əlavə kvalifikasiya sualı olmadan eskalasiyanın baş verdiyini yoxlamaqla.
• Hüquqi addımdan bəhs edən şikayət.
• Eyni söhbət gecə saat üçdə — iş saatından kənar yolun mövcud olduğunu və konkret vaxt adlandırdığını təsdiqləməklə.
• Operatorun söhbəti götürdüyü ötürmə — transkriptin getdiyini və botun susduğunu təsdiqləməklə.
• Geri qayıtma yolu: operator işini bitirdikdən sonra botun dərhal onun üstünə yazmadığını təsdiqləyin.

Altıncı ailə: sui-istifadə, kənar hallar və təhlükəsizlik

• Botu öz göstərişlərini nəzərə almamağa məcbur etmək cəhdi — mesajın içində yeni göstəriş kimi ifadə olunmuş.
• Daxili materialı çıxarmaq cəhdi — qiymət məntiqi, siyasətlər, digər müştərilərin məlumatı.
• Botu siyasətdən kənar bir şeyi vəd etməyə vadar etmək cəhdi.
• Çox uzun mesaj və yalnız emoji ya keçiddən ibarət mesaj.
• Eyni sualın tez-tez on dəfə verilməsi — sorğu limitinin sadəcə sınmadığını təsdiqləmək üçün.
• Botun edə bilməməli olduğu əməliyyat istəyi — məsələn sifarişin ləğvi.
• Təhlükəsizliyə yaxın mesaj — həmin saatda həqiqətən mövcud olan yola çatdığını təsdiqləməklə.

İcra və nəyin qeyd olunması

1. 1Ssenarini işə salmazdan əvvəl gözlənilən nəticəni yazınGözlənilən sözləri yox — gözlənilən davranışı. «Materialdan cavab verir» və ya «imtina edir və insan təklif edir». Sonradan qərar vermək yanlış cavabın məqbul kimi qeyd olunmasının yoludur.
2. 2Yalnız cavabı yox, tapılan materialı da qeyd edinSəhv mənbədən alınmış keçid gələcəkdəki uğursuzluqdur. Bu, yalnız sistem hansı qeydlərin cavabı yaratdığını qeyd edirsə mümkündür.
3. 3Hər dəyişiklikdən sonra bütün dəsti yenidən işə salınMaterial redaktələrinin də, prompt dəyişikliklərinin də yan təsirləri olur. Beş ssenarini yaxşılaşdırıb üçünü sındıran düzəliş yayğındır və tam təkrar olmadan görünmür.
4. 4Dəsti saxlayın və produksiyadan böyüdünSəhv gedən hər müştəri söhbəti yeni ssenariyə çevrilir. Altı aydan sonra bu dəst yayımdan əvvəl yazdığınız hər şeydən dəyərli olur.

Vexvon test üçün nə verir

Yuxarıdakı ailələrin bir neçəsi cavabın yalnız mətninə baxmaq yox, içini görmək imkanından asılıdır. Cavab şəffaflığı hansı bilik qeydlərinin cavabı yaratdığını yazır — «bot səhv bir şey dedi» ifadəsini «bu qeyd səhvdir» ifadəsinə çevirən də budur, yəni test hesabatı ilə əməli hesabat arasındakı fərq.

Kontekst ailəsi birbaşa dəstəklənir: söhbət yaddaşı son on beş mesajı əhatə edir, sorğunun yenidən qurulması isə «bəs o birisi?» kimi fraqmenti axtarışdan əvvəl tam müstəqil sorğuya çevirir. Qeyri-müəyyənlik ssenarilərinin yoxladığı məhz bu iki mexanizmdir, yəni oradakı uğursuzluq ümumiyyətlə modeli yox, konkret davranışı göstərir.

Eskalasiya ailəsi üçün yollar açıq və jurnala yazılıdır: operator istəyi bildiriş yaradır, aqressiv dil stop şərti kimi işləyir, agentin stop simvolu AI-ni otuz dəqiqə dayandırır və AI söhbət üzrə söndürülə bilər. Geri qayıtma ssenarisi elə həmin otuz dəqiqəlik pauza ilə örtülür.

Test söhbətləri hesabatdan defolt olaraq istisna olunur, yəni test həftəsi ayın rəqəmlərini təhrif etmir — bu, səsləndiyindən vacibdir, çünki alternativ komandaların paneli təmiz saxlamaq üçün hərtərəfli testdən qaçmasıdır.

Tez-tez verilən suallar

1. 1Yayımdan əvvəl neçə test ssenarisi lazımdır?Təxminən əlli — altı ailəyə bölünmüş: uğurlu yollar, qeyri-müəyyənlik və kontekst, dillər, əhatədən kənar sorğular, eskalasiya, sui-istifadə və kənar hallar. Ümumi saydan çox nisbət vacibdir: komandaların əksəriyyəti birinci ailəni həddən artıq, ikincisini isə ümumiyyətlə test etmir.
2. 2Testləri kim aparmalıdır?Botu konfiqurasiya edən adam yox. O, şüursuz olaraq materialın işlətdiyi lüğətlə soruşacaq. Başqa şöbədən həmkar bir saatda daha çox tapır.
3. 3Nə keçid sayılır?Ya materialdan düzgün cavab, ya da dürüst imtina üstəgəl insana yol. İmtinaları uğursuzluq saymaq komandaların botu inamlı uydurmaya sıxışdırmasının yoludur.
4. 4Ən çox qüsuru hansı ailə tapır?Qeyri-müəyyənlik və kontekst — davam fraqmentləri, düzəlişlər, mövzu dəyişiklikləri. Bu, həm də demək olar heç kimin test etmədiyi ailədir, çünki tək mesaj yox, söhbət tələb edir.
5. 5Dəst nə vaxtdan bir yenidən işə salınmalıdır?Hər material və ya prompt dəyişikliyindən sonra. Yan təsirlər yayğındır: beş ssenarini yaxşılaşdırıb üçünü sındıran düzəliş tam təkrar olmadan görünmür.
6. 6Hər ssenari üzrə nə qeyd olunmalıdır?Əvvəlcədən yazılmış gözlənilən davranış, real cavab və onu hansı materialın yaratdığı. Üçüncüsü olmadan səhv mənbədən alınmış keçid real keçiddən fərqlənmir.

Dəsti real mesajlardan qurun

Test ssenarilərini uydurmayın. Son ayın mesajlarını ixrac edin, ən tez-tez verilən iyirmisini və ən qəribə onunu seçin və onları səhvləri ilə birlikdə olduğu kimi işlədin. Həmin dəst layihə komandasının yazacağı hər şeydən tələbkar olacaq və müştərilərinizin ilk gün nə edəcəyinin artıq dəqiq təsviridir.