AI voice agent-in işini hansı metrikalarla ölçmək

Qısa cavab

AI voice agent-in işini bir rəqəmlə ölçmək olmaz. Beş göstərici birlikdə oxunmalıdır: agentin insana ötürmədən bitirdiyi zənglərin payı (həll), zəngin düzgün yerə getmə payı (yönləndirmə dəqiqliyi), insana ötürülən zənglərin payı və səbəbi (eskalasiya), agentlə danışıq zamanı dəstəyi qoyanlar (abandon) və seçmə yoxlamada tapılan səhv cavablar (müşahidə olunan səhv).

Ən vacib qayda: yüksək «həll» faizi özlüyündə yaxşı deyil. Agent çətin zəngləri də özündə saxlayırsa, həll faizi yüksəlir, amma müştəri narazılığı da. Bu yazıda hər göstəricinin tərifini, hesablanmasını və hüdudunu göstəririk.

Niyə tək göstərici aldadır

Hər göstərici bir tərəfə çəkir. Həll faizini artırmaq üçün agent daha az ötürə bilər — amma səhv cavablar artar. Səhvləri azaltmaq üçün agent hər şeyi ötürə bilər — amma həll faizi düşər və operatorlar yüklənər. Dəstəyi qoyma faizini azaltmaq üçün agent zəngi uzada bilər. Buna görə göstəricilər cüt-cüt oxunur: həll ilə müşahidə olunan səhv, eskalasiya ilə yönləndirmə dəqiqliyi.

1. Həll payı

Tərif: agentin insana ötürmədən bitirdiyi və müştərinin ehtiyacının ödənildiyi zənglərin payı. İkinci hissə vacibdir: zəngin sadəcə bitməsi həll deyil. Yoxlama üçün iki yol var: zəngdən çıxarılan «nəticə» sahəsi (məsələn, «məlumat verildi», «qeydiyyat alındı») və eyni nömrədən qısa müddətdə təkrar zəng — təkrar zəng çox vaxt ilk zəngin həll olunmadığını göstərir.

2. Yönləndirmə dəqiqliyi

Tərif: agentin ötürdüyü zənglərin düzgün şöbəyə və ya insana getmə payı. Bu göstərici avtomatik ölçülmür — seçmə yoxlama ilə hesablanır: həftədə müəyyən sayda ötürülən zəng dinlənir və ya oxunur, düzgün olub-olmadığı qeyd olunur. Operatorların «bu zəng mənə aid deyildi» siqnalları əlavə mənbədir.

3. Eskalasiya payı və səbəbi

Tərif: insana ötürülən zənglərin payı. Amma rəqəmdən vacib olan səbəblərdir. Səbəbləri ayırın: müştəri insan istədi, mövzu sərhəddən kənardır (planlaşdırılmış), agent anlamadı (problem), texniki xəta (problem). Planlaşdırılmış eskalasiya uğursuzluq deyil — agentin düzgün işlədiyini göstərir.

4. Agentlə danışıqda dəstəyi qoyma

Tərif: müştərinin məqsədə çatmadan zəngi bitirdiyi halların payı. Bunu adi «növbədə dəstəyi qoyma»dan ayırın — agent dərhal cavab verir, buna görə burada dəstəyi qoyma gözləmədən yox, danışığın özündən gəlir: uzun giriş, anlaşılmama, dairəyə düşmə. Hansı anda qoyulduğuna baxın: ilk 10 saniyədə, təkrar sualdan sonra, ötürmə gözləyərkən.

5. Müşahidə olunan səhv

Tərif: seçmə yoxlamada agentin yanlış məlumat verdiyi, sərhədi pozduğu və ya düzgün ötürmədiyi zənglərin payı. «Müşahidə olunan» sözü vacibdir: bu, bütün səhvlərin sayı deyil, yoxlanan nümunədə tapılanlardır. Nümunə kiçikdirsə, rəqəm dəqiq deyil — buna görə hər səhv ayrıca təhlil olunur, faiz isə trend kimi oxunur.

Göstəricilərin həftəlik paneli

1. 1HəcmAgentə düşən zəng sayı — kontekst üçün.
2. 2HəllPay və trend; təkrar zəng nisbəti ilə yanaşı.
3. 3EskalasiyaPay və dörd səbəb üzrə bölgü.
4. 4AbandonPay və hansı anda.
5. 5SəhvYoxlanan zəng sayı, tapılan səhvlər, hər biri üzrə qısa qeyd.

Paneli bir səhifədə saxlayın. Onu oxuyan rəhbər beş dəqiqədə üç suala cavab tapmalıdır: agent daha çox iş görürmü, daha az səhv edirmi, müştəri onunla danışmağa davam edirmi.

İllüstrativ nümunə: iki həftənin müqayisəsi

Real müştəri rəqəmləri deyil. Birinci həftə: agentə 1 000 zəng düşüb, həll 55%, eskalasiya 38% (onun yarısı «anlamadı»), abandon 7%, yoxlanan 50 zəngdə 3 səhv. Bilik bazası və ssenari düzəldildikdən sonra ikinci həftə: həll 60%, eskalasiya 34% (onun dörddə biri «anlamadı»), abandon 6%, yoxlanan 50 zəngdə 1 səhv.

Əsas dəyişiklik həll faizində deyil, eskalasiyanın səbəbindədir: agent daha az «anlamır». Bu, düzəlişin işlədiyini göstərir.

Seçmə yoxlamanı necə aparmaq

Seçmə yoxlama təsadüfi olmalıdır, «maraqlı» zənglərdən ibarət yox. Hər həftə zəng siyahısından təsadüfi 30–50 zəng seçin və hər biri üçün üç sual cavablayın: məlumat düzgün idimi, sərhəd qorundumu, ötürmə lazım idisə edildimi. Əlavə olaraq şikayət və operator siqnalı olan bütün zəngləri ayrıca yoxlayın, amma onları təsadüfi nümunəyə qatmayın — əks halda səhv faizi süni şəkildə yüksəlir.

Zəng növlərinə görə ayrı ölçmək

İş saatı sualında həll 90% ola bilər, qiymət sualında 50%. Ümumi rəqəm 70% göstərir və hər iki növ haqqında yanlış təsəvvür yaradır. Ssenaridə «zəng səbəbi» sahəsi varsa, göstəriciləri ən azı əsas üç-dörd zəng növü üzrə ayrıca hesablayın. Düzəliş də növə görə aparılır: harada həll aşağıdırsa, bilik bazası orada genişləndirilir.

Ölçmənin hüdudları

• Həll «nəticə» sahəsinə əsaslanırsa, sahənin özü səhv doldurula bilər
• Təkrar zəng başqa səbəbdən ola bilər — yeni sual, başqa ailə üzvü
• Seçmə yoxlama kiçikdirsə, səhv faizi təsadüfə bağlıdır
• Müştəri məmnunluğu bu göstəricilərdə birbaşa yoxdur — ayrıca sorğu lazımdır
• Göstəricilər zəng növlərinə görə fərqlidir — ümumi rəqəm növlər arasındakı fərqi gizlədir

Tipik səhvlər

• Yalnız həll faizini izləmək
• Eskalasiya payını səbəbsiz azaltmağa çalışmaq
• Seçmə yoxlama etməmək — səhv faizi heç ölçülmür
• Bütün zəng növlərini bir rəqəmdə birləşdirmək
• Satıcının «dəqiqlik» rəqəmini öz ölçmənizin yerinə qoymaq

Hüquqi və etik qeyd

Bu göstəricilər agentin işini ölçür, operatorların yox. Operatorların qiymətləndirilməsində AI göstəricilərindən istifadə edilərsə, onlar yalnız siqnal ola bilər, yekun qərar insanda qalmalıdır. Zəng yazılarının yoxlama üçün istifadəsi şirkətin məlumat siyasətinə və yerli tələblərə uyğun olmalıdır.

Vexvon-da ölçmə üçün məlumat

Vexvon AI Call Center-də hər zəngin transkripti, bir cümləlik xülasəsi və ssenaridə təyin etdiyiniz sahələr — məsələn, «nəticə» və «ötürmə səbəbi» — paneldə qalır. Bu, həll və eskalasiya səbəbini zəngləri bir-bir dinləmədən saymağa, seçmə yoxlama üçün isə transkriptləri tez oxumağa imkan verir. Zəng, yazışma və sayt söhbəti eyni müştərinin lentində görünür, buna görə təkrar müraciət də izlənə bilər; ümumi hesabatlar üçün analitika səhifəsinə baxın.

Pilotda bu göstəricilərin necə istifadə olunduğu voice AI pilotu, pul ifadəsi isə AI voice agent ROI yazısındadır.

İlk addım

Ssenarinizə iki sahə əlavə edin: «nəticə» və «ötürmə səbəbi» — qapalı siyahı ilə. Bir həftə sonra beş göstəricini ilk dəfə hesablayın. Digər yazılar etibarlılıq və pilot bölməsindədir; paneli birlikdə qurmaq üçün bizimlə əlaqə saxlayın.