Chatbot cavab keyfiyyəti auditi: canlı söhbətlər üzrə

Bot canlıdadır. Cavabları yaxşıdırmı?

Çatbot yayımdan əvvəl test olunur, canlıya çıxır və bir müddət sonra komanda onun cavablarına baxmağı dayandırır. Hesabatda söhbət sayı artır, operatora ötürmə azalır — hər şey qaydasında görünür. Sonra bir gün müştəri köhnə qiyməti ekran görüntüsü ilə göndərir və məlum olur ki, bot iki həftədir səhv deyirmiş.

Yayımdan əvvəlki test botun hazır olub-olmadığını göstərir. Yayımdan sonrakı audit isə botun hələ də düzgün işləyib-işləmədiyini göstərir və bu, fərqli prosesdir. Bu yazıda chatbot cavab keyfiyyətinin auditi üçün çərçivə veririk: qiymətləndirmə rubrikası, nümunə seçimi, bal sistemi, nəticələrin düzəliş backloguna çevrilməsi və auditin ritmi.

Yayımdan əvvəlki testdən fərqi

1. 1Yayımdan əvvəlki testKomandanın hazırladığı ssenarilər üzrə aparılır. Sual: bot gözlənilən suallara düzgün cavab verirmi? Bu mərhələ ayrıca bələdçidə açılıb.
2. 2Yayımdan sonrakı auditReal müştəri söhbətlərindən seçilmiş nümunə üzrə aparılır. Sual: bot real, gözlənilməz suallara necə cavab verir, material köhnəlibmi, ton uyğundurmu, eskalasiya işləyirmi?

Yayımdan əvvəlki testin ssenari ailələri çatbot test siyahısı yazısındadır. Auditin mənbəyi isə başqadır — müştərilərin həqiqətən yazdığı mesajlar.

QA rubrikası: beş ölçü

Hər cavab beş ölçü üzrə qiymətləndirilir. Ölçülər ayrı saxlanılır, çünki hər birinin düzəlişi fərqli yerdə edilir.

1. 1DoğruluqCavab faktiki düzgündürmü və təsdiqlənmiş materiala uyğundurmu? Səhv qiymət, köhnə qayda, uydurma detal — ən ağır xəta.
2. 2TamlıqMüştərinin sualı tam cavablanıbmı? İki sualdan biri cavabsız qalıbsa, cavab yarımçıqdır.
3. 3Eskalasiyaİnsana ötürülməli hal ötürülübmü? Lazımsız ötürmə də xətadır — bot bilməli olduğu suala cavab verməyib.
4. 4TonCavab brendin razılaşdırılmış tonuna uyğundurmu? Narazı müştəriyə soyuq, sadə suala uzun cavab — ton xətası.
5. 5HəllSöhbət müştəri üçün nəticə ilə bitibmi — cavab, növbəti addım, ötürmə? Yoxsa müştəri sadəcə getdi?

Nümunə seçimi

Bütün söhbətləri oxumaq mümkün deyil. Nümunə elə seçilməlidir ki, problemlər görünsün.

• Təsadüfi nümunə — həftədə 30–50 söhbət, ümumi səviyyəni göstərir
• Riskli nümunə — mənfi əhval-ruhiyyəli, uzun, eyni sualın təkrarlandığı söhbətlər
• Ötürülən söhbətlər — botun niyə dayandığını göstərir
• Yeni mövzu və ya kampaniya dövrünün söhbətləri — material ən çox burada köhnəlir
• Hər kanaldan pay — Instagram, WhatsApp və saytda botun davranışı fərqli ola bilər

Bal sistemi

Sadə bal sistemi auditi müqayisə edilə bilən edir. Hər ölçü üçün üç səviyyə kifayətdir:

1. 12 — yaxşıÖlçü tam qarşılanıb.
2. 21 — qəbul edilə bilənKiçik çatışmazlıq var, amma müştəriyə zərər yoxdur: cavab bir az uzundur, bir detal çatmır.
3. 30 — xətaSəhv fakt, qaçırılmış eskalasiya, müştərini çaşdıran və ya əsəbiləşdirən cavab.

Doğruluq ölçüsündə 0 alan hər cavab ayrıca işarələnir və bal ortalamasından asılı olmayaraq həmin həftə düzəldilir. Ortalama bal trend üçündür, tək səhv cavab isə dərhal iş üçün.

Səhv cavabın mənbəyini tapmaq

Səhv cavab tapılanda əsas sual: niyə? Dörd tipik mənbə var:

• Material köhnəlib — bilik bazasında köhnə qiymət və ya qayda
• Material ziddiyyətlidir — iki sənəd fərqli şey deyir
• Axtarış səhv parçanı tapıb — material düzgündür, amma bot başqa mövzudan götürüb
• Qayda yoxdur — botun bu halda nə etməli olduğu yazılmayıb

Vexvon-da hər cavabda hansı bilik parçasının istifadə olunduğu görünür. Bu, səhv cavabın mənbəyini tapmağı dəqiqələrə endirir: parça köhnədirsə — material, parça düzgündür, amma uyğun deyilsə — axtarış problemi.

Təkmilləşdirmə backlogu

Auditin nəticəsi hesabat yox, iş siyahısıdır. Hər tapıntı bir sətirdir:

• Nə tapıldı — söhbətin qısa təsviri
• Hansı ölçüdə — doğruluq, tamlıq, eskalasiya, ton, həll
• Mənbə — material, ziddiyyət, axtarış, qayda
• Düzəliş — konkret hərəkət
• Sahib və tarix
• Yoxlama — növbəti auditdə eyni xəta təkrarlanıbmı

Material mənbəli düzəlişlər bilik bazasına gedir; materialın özünün necə yoxlandığı çatbot bilik bazası auditi yazısındadır.

Auditin ritmi

1. 1Həftəlik30–50 söhbət, bir nəfər, bir saat. Doğruluq xətaları həmin həftə düzəldilir.
2. 2AylıqTrend: beş ölçü üzrə ortalama, ən çox rast gələn xəta mənbəyi, backlogun vəziyyəti.
3. 3Hadisə əsaslıYeni kampaniya, qiymət dəyişikliyi, yeni məhsul — ilk üç gündə ayrıca kiçik audit.

Nümunə: bir həftəlik audit

1. 1Nümunə40 təsadüfi və 10 riskli söhbət.
2. 2TapıntılarDoğruluqda iki 0: köhnə çatdırılma haqqı. Eskalasiyada bir 0: «pulumu qaytarın» yazan müştəri ötürülməyib. Tonda beş 1: cavablar lazımsız uzundur.
3. 3DüzəlişlərÇatdırılma haqqı bilik bazasında yenilənir; «pul qaytarılması» ifadələri eskalasiya qaydasına əlavə olunur; cavab uzunluğu ayarı qısaya çəkilir.
4. 4Növbəti həftəEyni xətaların təkrarlanıb-təkrarlanmadığı yoxlanır.

Yüksək riskli mövzular üçün sıx yoxlama

Bəzi mövzularda bir səhv cavab onlarla yaxşı cavabdan bahadır. Onlar üçün təsadüfi nümunə kifayət etmir.

• Siyahı: qiymət və endirim, hüquqi şərtlər, sağlamlıq, maliyyə, təhlükəsizlik
• Bu mövzulara düşən bütün söhbətlər — və ya ən azı hər gün bir neçəsi — oxunur
• Mövzunun sahibi auditdə iştirak edir: qiymətə satış rəhbəri, şərtlərə hüquqçu baxır
• Hər dəyişiklikdən sonra — yeni qiymət, yeni qayda — ilk 24 saat ayrıca yoxlanır

Auditorun checklisti

• Cavabdakı hər fakt təsdiqlənmiş materialda varmı?
• Müştərinin bütün sualları cavablanıbmı?
• Ötürülməli söz və ya vəziyyət varmı və ötürülübmü?
• Ton müştərinin əhvalına uyğundurmu?
• Söhbət nəticə ilə bitibmi?
• Səhv varsa — hansı bilik parçası işlədilib?

Nəyi ölçmək lazımdır

• Beş ölçü üzrə ortalama bal — həftəlik trend
• Doğruluq xətalarının sayı — hədəf sıfıra yaxın
• Qaçırılmış eskalasiyalar
• Backlogda açıq qalan düzəlişlər və onların yaşı
• Eyni xətanın təkrarlanması — düzəliş işləməyib

Sual-cavab ixracı və əhval-ruhiyyə payı analitika hesabatında var — riskli nümunə üçün mənbə buradan götürülə bilər.

Məhdudiyyətlər

Audit nümunə üzərində aparılır və hər səhvi tapmır. Nadir, amma bahalı xətalar — məsələn, tibbi və ya hüquqi sualda səhv cavab — təsadüfi nümunəyə düşməyə bilər; ona görə yüksək riskli mövzular üçün ayrıca, daha sıx yoxlama lazımdır. Auditi aparan adam həmin sahəni bilməlidir — məhsulu tanımayan auditor səhv qiyməti görməyəcək.

Nəticə: keyfiyyət yayımdan sonra da idarə olunur

Chatbot cavab keyfiyyətinin auditi bir dəfəlik test deyil, həftəlik vərdişdir. Beş ölçülü rubrika, təsadüfi və riskli nümunə, sadə bal sistemi, səhvin mənbəyini tapmaq və backlog — bunlar olanda bot zamanla pisləşmir, əksinə, hər həftə bir az yaxşılaşır.

Təkrar sualların diaqnozu təkrar suallar yazısındadır; dəstək bölməsinin digər yazıları bu kateqoriyada. Audit prosesinizi birlikdə qurmaq üçün bizimlə əlaqə saxlayın.

Tez-tez verilən suallar

1. 1Chatbot cavab keyfiyyətini kim audit etməlidir?Məhsulu və qaydaları bilən adam — adətən dəstək rəhbəri və ya bilik sahibi. Kənar auditor səhv qiyməti və ya köhnə qaydanı görməyə bilər.
2. 2Həftədə neçə söhbət oxumaq kifayətdir?Adətən 30–50 təsadüfi və 10–20 riskli söhbət. Həcm böyükdürsə, nümunə kanal üzrə bölünür.
3. 3Auditi avtomatlaşdırmaq olarmı?Riskli söhbətlərin seçilməsini — bəli. Qiymətləndirməni tam — xeyr, doğruluğu bilən insan lazımdır.