Zənglərin seçmə yoxlaması və tam əhatə: əhatə dəqiqlik demək deyil

Qısa cavab

Bütün zənglərin analiz olunması problemli zəngi tapmaq şansını artırır, amma qiymətləndirmənin düzgünlüyünü artırmır. Bunlar iki ayrı sualdır. Əhatə «neçə zəngə baxıldı» sualına cavab verir, dəqiqlik isə «baxılan zəngdə verilən nəticə doğrudurmu» sualına. Üçüncü rəqəm də var ki, çox vaxt heç ölçülmür: analiz olunan zənglərin neçəsi ümumiyyətlə analizə yararlı idi.

Seçmə yoxlama — zənglərin kiçik hissəsinin insan tərəfindən dinlənilməsi — tam əhatə ilə yox olmur. Sadəcə rolu dəyişir: əvvəl operatoru qiymətləndirmək üçün idi, indi isə sistemin özünü yoxlamaq üçündür.

Seçmə yoxlamanın köhnə problemi

Klassik keyfiyyət nəzarətində hər operatorun ayda bir neçə zəngi dinlənilir. Nümunə kiçikdir və çox vaxt təsadüfi deyil: şikayət gələn, uzun çəkən və ya team lead-in yadında qalan zənglər seçilir. Nəticədə operator haqqında fikir onun ən pis və ya ən təsadüfi günlərinə görə formalaşır. Bu problemin ətraflı təhlili AI zəng keyfiyyət auditi yazısındadır.

AI analizi bu problemi qismən həll edir: sistem yüzlərlə zəngə eyni meyarlarla baxa bilir. Amma burada yeni bir tələ yaranır — «hamısına baxdıq» cümləsi «hamısını düzgün qiymətləndirdik» kimi eşidilir.

Tam əhatənin illüziyası

Analiz olunan hər zəng qiymətləndirməyə yararlı deyil. Səsli poçta düşən zəng, bir tərəfi eşidilməyən yazı, ağır səs-küylü danışıq, müştərinin «sonra zəng edərəm» deyib dərhal bitirdiyi on saniyəlik zəng — bunların hamısı analiz olunur və hamısı nəyəsə bir nəticə alır. Əgər bu nəticələr ümumi statistikaya qarışırsa, həm orta bal, həm də operatorlar arasındakı müqayisə təhrif olunur.

İkinci illüziya «tətbiq olunmur» statusu ilə bağlıdır. Zəngdə meyarların əksəriyyəti tətbiq olunmayıbsa, hesablanan bal çox az meyara əsaslanır. İki meyardan ikisi yerinə yetirilən zəng yüksək bal alır, amma bu, on meyardan doqquzu yerinə yetirilən zənglə eyni etibarlılıqda deyil.

Üç rəqəm, üç sual

Keyfiyyət hesabatında bu üç göstəricini ayrıca göstərin. Aşağıdakı rəqəmlər illüstrativ nümunədir, real şirkətə aid deyil:

Dəqiqlik üçüncü, ayrıca rəqəmdir və yalnız yoxlama nümunəsindən gəlir. Məsələn, insan 120 zəngi müstəqil qiymətləndirib: «növbəti addım razılaşdırılıbmı» meyarında AI 108 zəngdə insanla eyni nəticəyə gəlib (90%), «ehtiyac aydınlaşdırılıbmı» meyarında isə 96 zəngdə (80%). Bu, ikinci meyarın yazılışının dəqiqləşdirilməli olduğunu göstərir — operatorlar haqqında isə hələ heç nə demir.

Analizə yararsız zəngi necə ayırmaq

Yararsızlıq qaydalarını əvvəlcədən yazın ki, zəng qiymətləndirmə nəticəsinə görə yox, obyektiv əlamətə görə kənara qoyulsun:

• Zəng şirkətin müəyyən etdiyi minimal müddətdən qısadır və məzmunlu danışıq yoxdur
• Yazıda tərəflərdən biri eşidilmir və ya danışanların böyük hissəsi «naməlum» qalıb
• Transkriptin əhəmiyyətli hissəsi zəif tanınmış sətirlərdən ibarətdir
• Zəng səsli poçta, avtomatik cavablayıcıya və ya səhv nömrəyə düşüb
• Danışıq formanın nəzərdə tutmadığı dildə və ya zəng növündədir

Yararsız zəng operatorun əleyhinə sayılmır və ümumi balın məxrəcinə düşmür. Amma o, ayrıca sayılır: əgər bir növbədə yararsız zənglərin payı birdən artırsa, problem telefoniya və ya yazı parametrlərində ola bilər.

Yoxlama nümunəsi necə seçilməlidir

Tam əhatədə seçmə yoxlamanın məqsədi sistemi yoxlamaqdır, ona görə nümunə sistemin bütün nəticələrini əhatə etməlidir, yalnız pis olanları yox:

1. 1Qatlara bölünZəng növü, növbə və dil üzrə ayrı qruplar yaradın; hər qrupdan zəng seçin.
2. 2Bal zolaqlarını əhatə edinAşağı, orta və yüksək ballı zənglərin hər birindən götürün — AI-ın «yerinə yetirilib» dediyi səhvlər yalnız yüksək ballı zənglərdə görünür.
3. 3Müstəqil qiymətləndirinYoxlayan insan AI nəticəsini əvvəlcədən görməsin, yoxsa onunla razılaşmağa meyilli olur.
4. 4Meyar üzrə müqayisə edinUyğunluğu hər meyar üçün ayrıca hesablayın, bütün forma üzrə yox.
5. 5İnsanlar arası uyğunluğu da ölçünEyni zəngləri iki mütəxəssis qiymətləndirsin. İnsanlar öz aralarında razılaşmırsa, AI-dan uyğunluq gözləmək mənasızdır.

Nümunənin ölçüsü üçün universal rəqəm yoxdur. Məsələn, Google-un Quality AI təlimatı öz modelinin öyrədilməsi üçün hər sual üzrə ən azı 100 nümunə danışıq tələb edir — bu, həmin məhsulun tələbidir, hər sistem üçün qayda deyil. Praktik meyar belədir: hər meyarda fərqləri görmək üçün kifayət qədər «bəli» və «xeyr» nümunəsi olsun.

Operator səviyyəsində etibarlı əhatə fərqlidir

Üç rəqəm yalnız şirkət üzrə deyil, operator üzrə də fərqlənir və bu, müqayisəni birbaşa dəyişir. İllüstrativ nümunə: gündüz növbəsində işləyən operatorun ayda 300 zəngindən 285-i yararlıdır, gecə növbəsindəki həmkarının 300 zəngindən isə yalnız 210-u — gecə xəttinə daha çox səs-küylü mobil zəng və yarımçıq bağlantı düşür. Hər ikisinin orta balı 78-dirsə, birinci rəqəm 285 zəngə, ikincisi isə 210 zəngə əsaslanır.

Bundan iki praktik nəticə çıxır. Birincisi, operator hesabatında balın yanında onun neçə yararlı zəngə əsaslandığı göstərilməlidir. İkincisi, yararsız zənglərin payı operatorun özünə aid göstərici kimi oxunmamalıdır: o, çox vaxt növbənin, xəttin və ya müştəri axınının xüsusiyyətidir. Operatorların ədalətli müqayisəsi üçün zəng növü, növbə və nümunə ölçüsü həmişə balla yanaşı verilir.

Hüdudlar

Yüksək uyğunluq sistemin həmişə düzgün olduğunu sübut etmir — yalnız yoxlanan nümunədə və yoxlanan dövrdə. Zəng növləri, ssenari və məhsul dəyişəndə uyğunluq yenidən ölçülməlidir. İnsanın qiymətləndirməsi də avtomatik olaraq «doğru cavab» deyil; buna görə insanlar arası uyğunluq ayrıca izlənir. Və nəhayət: yararsız zənglərin kənara qoyulması qərarı da sənədləşdirilməlidir ki, onlardan narahatedici nümunələri gizlətmək üçün istifadə olunmasın.

Vexvon Audio Analyzer-də nə görünür

Vexvon Audio Analyzer bu üç rəqəm üçün lazım olan siqnalları zəng səviyyəsində göstərir:

• Hər analiz partiyasında neçə faylın tamamlandığı və neçəsinin uğursuz olduğu görünür; uğursuz yazı yenidən yüklənmədən təkrar növbəyə qoyula bilər
• Transkriptdə zəif tanınmış sətirlər işarələnir, danışanı müəyyən olunmayan sətir «naməlum» qalır
• Standartın addımı zəngə aid deyilsə, «tətbiq olunmur» statusu alır və operatorun əleyhinə sayılmır
• Hər status transkript sətirlərinə istinadla gəlir — yoxlayan insan nəticəni sübutla müqayisə edir

Yararlılıq qaydası, yoxlama nümunəsi və uyğunluq cədvəli isə sizin keyfiyyət prosesinizdir. AI ilə insan arasındakı iş bölgüsü manual dinləmə və avtomatlaşdırılmış QA yazısında ətraflı verilib.

İlk addım

Növbəti keyfiyyət hesabatına iki sətir əlavə edin: analizə yararlı zənglərin payı və ən azı iki meyar üzrə AI ilə insan uyğunluğu. Birinci ay bu rəqəmlər narahatedici görünə bilər — bu normaldır, çünki əvvəl heç ölçülmürdü. Digər strateji yazılar zəng analizi strategiyası bölməsindədir; öz zənglərinizlə sınaq üçün bizimlə əlaqə saxlayın.

Mövzunun davamı: zəng yazısının keyfiyyəti, zəng analizinin dəqiqliyi.