Çatbot performansı hansı metriklərlə ölçülür
Çatbot panellərinin əksəriyyəti yuxarıda söhbət sayını göstərir. Bu rəqəm vidceti daha dilxor edici etdikdə artır, ona görə də onu optimallaşdırmaq əks nəticə verir. Bu məqalə hansı rəqəmlərin biznes haqqında nəsə dediyini, hansılarının isə sadəcə fəaliyyəti ölçdüyünü ayırır — və hər biri üçün düstur verir. Burada dəstək və satış ssenariləri ayrıca götürülür, çünki onların uğur tərifi əksdir, hər kanala aid üç ortaq rəqəm verilir və ölçmədə ən çox rast gəlinən tələlər — test söhbətlərinin sayılması, ortalamanın medianı əvəz etməsi və dil üzrə ayırmanın olmaması — açıq göstərilir.
Boş metriklərlə biznes metriklərinin fərqi
Metriki sadə bir sualla yoxlamaq olar: bu rəqəmi süni şəkildə yaxşılaşdırmaq mümkündürmü və bunu edəndə biznes də yaxşılaşırmı? Cavab «bəli, yox» olarsa, bu, boş metrikdir.
Söhbət sayı klassik nümunədir. Vidceti hər səhifədə açılan edin — rəqəm iki dəfə artacaq, satış isə dəyişməyəcək. Cavab sürəti də tələ ola bilər: bot bir saniyədə cavab verir, ona görə orta cavab müddəti həmişə əladır və heç nə demir.
Faydalı rəqəmlərin ortaq cəhəti var: onları yaxşılaşdırmağın yeganə yolu işi həqiqətən daha yaxşı görməkdir. Aşağıdakı siyahı belə qurulub.
Ölçməyi dayandırmalı olduğunuz rəqəmlər
- Ümumi söhbət sayı — trafiki və vidcetin nə qədər israrlı olduğunu ölçür, dəyəri yox.
- Orta cavab müddəti, bot və insan birlikdə sayılanda — bot cavabları insan növbəsini gizlədir və iki saatlıq gözləmə on saniyəlik ortalama kimi görünür.
- Göndərilən mesaj sayı — söhbət nə qədər pis gedirsə, bu rəqəm bir o qədər böyük olur.
- Yalnız keyfiyyət yoxlanışı olmadan saxlama faizi — insanları bezdirib getməyə məcbur edən bot burada mükəmməl görünür.
- Botun öz inam balı — model debuqu üçün faydalıdır, biznes hesabatında yeri yoxdur.
- Emosional ton balı, ona görə heç bir qərar verilmirsə.
Dəstək ssenarisi üçün metriklər
- Tam həll faiziDüstur: insan müdaxiləsi olmadan bağlanmış və müştəri tərəfindən 24 saat ərzində yenidən açılmamış söhbətlər / bütün söhbətlər. Təkrar açılma şərti vacibdir — onsuz rəqəm sadəcə tərk etməni ölçür.
- Eskalasiya faizi — səbəb üzrəDüstur: operatora çatan söhbətlər / bütün söhbətlər, tetikləyici üzrə bölünmüş. Ümumi rəqəm heç nə demir; bilik boşluğuna görə payın artması materialın işlənməli olduğunu bildirir.
- Eskalasiyadan ilk insan cavabına qədər vaxtDüstur: operator bildirişi ilə operatorun ilk mesajı arasındakı median. Median işlədin, ortalama yox — bir uzun hal ortalamanı korlayır.
- Təkrar əlaqə faiziDüstur: eyni müştərinin 7 gün ərzində eyni mövzuda ikinci dəfə yazdığı hallar / həll olunmuş söhbətlər. Bu, «həll olundu» deyilənin həqiqətən həll olunub-olunmadığını göstərən yeganə rəqəmdir.
- Operator saatına qənaətDüstur: insansız həll olunmuş söhbətlər × bir cavabın orta operator vaxtı. Vexvon-un hesabatında bu metodologiya hər cavab üçün təxminən üç dəqiqə əsasında hesablanır — rəqəmin metodologiyası açıq deyilməlidir, əks halda o, sübut yox, marketinqdir.
Satış ssenarisi üçün metriklər
- Lead çevrilmə faiziDüstur: marşrutlaşdırılmış lead yaradan söhbətlər / bütün söhbətlər. «Düzgün» qiyməti yoxdur — trafik qarışığından asılıdır — amma kəskin dəyişməsi həmişə araşdırmağa dəyər.
- ƏlçatanlıqDüstur: satışın həqiqətən əlaqə saxlaya bildiyi lead-lər / kvalifikasiya olunmuş lead-lər. Heç kimin zəng edilməsinə razılıq vermədiyi nömrələri toplayan axını üzə çıxarır.
- Satışın qəbuluDüstur: satışın zəngə dəyər saydığı lead-lər / əlaqə saxlanılmış lead-lər. Kvalifikasiya keyfiyyətinin yeganə real ölçüsüdür və satışın hökm yazmasını tələb edir.
- İlk əlaqəyə qədər vaxtDüstur: söhbətin bitməsindən ilk zəng cəhdinə qədər median. Bu rəqəm çox vaxt kvalifikasiya keyfiyyətindən çox əhəmiyyət daşıyır.
- Yol üzrə çevrilməDüstur: bağlanmış sövdələşmələr / lead — bot mənbəli və digər mənbəli ayrı. Avtomatlaşdırmanın sövdələşməyə başa gəlib-gəlmədiyi mübahisəsini həll edən rəqəm budur.
Bütün kanallar üçün ortaq üç rəqəm
- İş saatından kənar gəliş payı. Adətən komandaların gözlədiyindən yüksək olur və avtomatlaşdırmanın ən aydın əsaslandırmasıdır.
- Saat üzrə bölgü. Növbə cədvəlinizin real tələblə üst-üstə düşüb-düşmədiyini göstərən yeganə rəqəmdir.
- Kanal bölgüsü. Hansı kanala nə qədər investisiya etməli olduğunuzu tək başına həll edir.
- AI xərci — söhbət üzrə. Parçalaya bilmədiyiniz AI xərci aylıq sürprizdir; söhbət üzrə bölünəndə isə idarə olunan xətt maddəsinə çevrilir.
Ölçmə tələləri
- Test söhbətlərini saymaq. Bir test həftəsi ayın rəqəmlərini tamamilə təhrif edir — onlar defolt olaraq istisna olunmalıdır.
- Median əvəzinə ortalama işlətmək. Söhbət müddətləri və cavab vaxtları həmişə uzun quyruqludur; ortalama onları gizlədir.
- Bot və insan cavablarını birlikdə saymaq — hər dəfə insan növbəsini gizlədir.
- Dil üzrə ayırmamaq. Pis işləyən dil adətən həcmcə ən kiçikdir və ümumi rəqəmdə görünmür.
- Yalnız uğurlu söhbətləri oxumaq. Metriklər problemin olduğunu deyir; yarımçıq qalmış transkriptlər isə harada olduğunu.
- Rəqəmi komandanın performans göstəricisinə çevirmək — bu, onu istifadə ediləcək şeydən manipulyasiya ediləcək şeyə çevirir.
Vexvon nə ölçür
Hesabat Excel formatında ümumi baxışı, iş saatı analizini saat üzrə istilik xəritəsi ilə, kanal bölgüsünü və lead analitikasını əhatə edir. Yuxarıdakı «ortaq üç rəqəm» bölməsi birbaşa bu hesabatdan çıxır — saat üzrə bölgü və iş saatından kənar gəliş ayrıca göstərilir.
İnsansız bağlanan söhbətlər və yaranan lead-lər ayrıca ölçülür, yəni dəstək və satış metrikləri bir-birinə qarışmır. Operator saatına qənaət hesablanır və metodologiyası açıqdır: hər cavab üçün təxminən üç dəqiqə. Test söhbətləri rəqəmlərdən defolt olaraq istisna olunur.
AI xərci və tokenlər on yeddi ayrı məqsəd üzrə model və kanal göstərilməklə loglanır, zəng üzrə isə tokenlər, gecikmə, uğur faizi və dollar dəyəri qeyd olunur — yuxarıdakı «AI xərci söhbət üzrə» metrikini mümkün edən budur.
Lead tərəfində qeyd status, mərhələ, prioritet, bağlanma səbəbi və əlaqə cəhdləri sayını daşıyır, hər dəyişiklik on hərəkət növü olan jurnala yazılır — satışın qəbulu və əlçatanlıq metriklərinin tələb etdiyi hökm sahəsi buradadır. Söhbətlər və Q&A Excel-ə ixrac oluna bilir.
Tez-tez verilən suallar
- Çatbot performansını hansı tək metrik ən yaxşı göstərir?Tək metrik yoxdur. Dəstək üçün keyfiyyət yoxlanışı ilə birlikdə tam həll faizi, satış üçün isə satışın qəbulu ən yaxına gəlir. Söhbət sayı heç birini əvəz etmir.
- Saxlama faizi yaxşı metrikdir?Yalnız keyfiyyət yoxlanışı ilə birlikdə. Təkbaşına o, insanları bezdirib getməyə məcbur edən botu mükafatlandırır — tərk etmə də «insansız bağlanmış söhbət» kimi görünür.
- Niyə ortalama əvəzinə median?Söhbət müddətləri və cavab vaxtları uzun quyruqludur. Bir neçə çox uzun hal ortalamanı sürüşdürür, median isə tipik müştərinin yaşadığını göstərir.
- Dəstək və satış metrikləri birləşdirilə bilərmi?Xeyr. Onların uğur tərifi əksdir: dəstəkdə söhbətin insana çatmaması yaxşıdır, satışda isə düzgün lead-in insana çatmaması itkidir.
- AI xərcini necə ölçmək lazımdır?Söhbət üzrə və məqsəd üzrə bölünmüş şəkildə. Parçalanmamış aylıq rəqəm idarə oluna bilmir — yalnız təəccüb doğurur.
- Metriklər nə vaxtdan bir nəzərdən keçirilməlidir?Rəqəmlərə aylıq, metriklərin özünə isə rüblük. Zamanla komandalar ölçülənə görə optimallaşdırır, ona görə də nəyin ölçüldüyü özü də qərardır.
Bir metrikdən başlayın
Bütün panelin dizaynı ilə başlamayın. Bir rəqəm seçin — dəstək üçün təkrar əlaqə faizi, satış üçün satışın qəbulu — və onu bir ay dürüstcə ölçün. Həmin bir rəqəm demək olar həmişə növbəti dəyişikliyin nə olması lazım olduğunu göstərir, on iki rəqəmli panel isə adətən heç nə göstərmir.