AI operatora niyə bu balı verdi: sitat və transkript sətri ilə sübutlu qiymətləndirmə

Qısa cavab

Sübutlu qiymətləndirmədə hər meyarın nəticəsi dörd hissədən ibarət olur: meyarın özü, status (bəli, qismən, xeyr, tətbiq olunmur), bir-iki cümləlik əsaslandırma və nəticəni göstərən sübut — transkriptdən sitat və onun yeri. Bal bu qeydlərin cəmidir. Operator və ya rəhbər «niyə bu bal?» soruşanda cavab rəy deyil, konkret sətir olmalıdır.

Sübutu olmayan AI balı iki cür zərər verir: operator ona inanmır, rəhbər isə onun səhv olduğunu heç vaxt bilmir. Sübut hər iki problemi eyni anda həll edir.

Sübutsuz bal niyə işləmir

«Bu zəng 64 bal aldı» cümləsi operatora heç nə demir. O, nəyi səhv etdiyini bilmir, ona görə də nəticə ilə mübahisə edir və ya onu görməzdən gəlir. Team lead da çətin vəziyyətdədir: operatorla danışmaq üçün zəngi əvvəldən dinləməli olur — AI analizinin qənaət etməli olduğu işi yenidən görür.

Daha ciddi problem görünməyən səhvdir. AI danışanları qarışdırıb, müştərinin sözünü operatora yazıbsa, sübutsuz bal bunu heç vaxt göstərmir. Sübut varsa, yoxlayan şəxs sitatın müştəriyə aid olduğunu bir baxışda görür.

Sübutlu nəticənin dörd hissəsi

1. 1MeyarTam cümlə sualı: «Operator konkret növbəti addım razılaşdırdımı?»
2. 2StatusBəli, qismən, xeyr və ya tətbiq olunmur — formada müəyyən edilmiş qaydaya görə.
3. 3ƏsaslandırmaNiyə bu status: «Operator geri zəng vəd edib, amma vaxt və məsul şəxs deyilməyib.» Bir-iki cümlə, qiymətləndirici dilində.
4. 4SübutSitat və onun transkriptdəki yeri: «Sətir 14, operator: Sizə geri zəng edərik.» Yoxlayan şəxs bir kliklə həmin yerə keçə bilməlidir.

İllüstrativ nümunə: üç meyar

Real zəng deyil — izah üçün qurulmuş nümunə. Müştəri kredit kartının limitini artırmaq istəyir.

• Kimlik təsdiqi — Bəli. Əsaslandırma: operator məlumat verməzdən əvvəl doğum tarixi və kartın son rəqəmlərini soruşub. Sübut: sətir 3–5
• Şərtlərin izahı — Qismən. Əsaslandırma: yeni limit deyilib, faiz dərəcəsinin dəyişib-dəyişmədiyi deyilməyib. Sübut: sətir 9, operator: «Limitiniz 3 000 manata qalxacaq»
• Növbəti addım — Xeyr. Əsaslandırma: qərarın nə vaxt veriləcəyi və müştəriyə necə bildiriləcəyi deyilməyib. Sübut: sətir 12–14, zəngin son hissəsi; operator: «Baxarıq, xəbər verərik»

Bu formatda team lead zəngi dinləmədən söhbətə hazırlaşa bilir: iki davranış, üç sətir. Operator da nəticə ilə razılaşmırsa, konkret sətrə istinad edərək etiraz edir.

«Xeyr» nəticəsinin sübutu

Ən çətin hal olmayan davranışın sübutudur. «Operator ləğv şərtini demədi» nəticəsini necə göstərmək olar? Yalnız «tapılmadı» yazmaq kifayət deyil. Yaxşı qeyd iki şey göstərir: davranışın gözlənildiyi yer (məsələn, razılaşmadan dərhal sonrakı sətirlər) və həmin yerdə əslində nə deyildiyi. Beləliklə, yoxlayan şəxs bütün zəngi yox, gözlənilən pəncərəni oxuyur.

Sübutun özünü necə yoxlamaq

• Sitat transkriptdə həqiqətən varmı — model mətni öz sözləri ilə «yenidən yazmayıb»mı
• Danışan düzgün müəyyən olunubmu — sitat operatora aiddirmi, müştəriyə yox
• Kontekst — cümlə növbəti sətirdə geri götürülməyib və ya düzəldilməyib ki
• Tanıma keyfiyyəti — sətir zəif tanınmış kimi işarələnibsə, audionun özü dinlənilməlidir
• Sitat statusu həqiqətən dəstəkləyirmi — «salam» sözü «şirkət adını dedi» meyarını sübut etmir

Zaman işarəsi, yoxsa transkript sətri

Bəzi sistemlər sübutu audiodakı vaxtla göstərir: AWS-in generativ AI qiymətləndirməsində transkript istinadının vaxtını seçib danışığın həmin anına keçmək olur. Bu, yazı ilə transkript vaxtı dəqiq uyğun gəldikdə faydalıdır. Amma vaxt modelin təxmini olduqda və sürüşdükdə, kliklə zəngin başqa yerinə keçilir və yoxlayan şəxs yanlış hissəni dinləyir. Etibarsız vaxt göstəricisi heç olmamasından pisdir.

Transkript sətrinə istinad bu riskdən azaddır: sübut elə yoxlanan mətnin özündədir. Səsə qulaq asmaq lazım olduqda, sətrin ətrafındakı mətn yazının hansı hissəsinin axtarıldığını göstərir.

Sübutu operatora necə göstərmək

Sübut operatorla söhbətdən əvvəl paylaşılmalıdır, söhbət zamanı yox — operatorun sətri oxuyub düşünməyə vaxtı olsun. Söhbət bir-iki meyarla məhdudlaşsın, bütün forma ilə yox. Və operatorun hər nəticəyə etiraz etmək imkanı olsun: sübut göstərilən sətir yanlışdırsa, bunu bildirməyin yolu açıq olmalıdır.

Sübut rəhbərə nə verir

Bir zəngdə sübut söhbəti konkretləşdirir; yüzlərlə zəngdə isə o, nümunələri görməyə imkan verir. Eyni meyarda «xeyr» alan zənglərin sübut sətirlərini yan-yana oxuyanda çox vaxt eyni ifadə görünür — məsələn, «baxarıq, xəbər verərik». Bu, fərdi operatorun yox, komandanın vərdişidir və həlli təlimdə və ya ssenaridədir.

Sübut sistemin öz səhvlərini də üzə çıxarır. Əgər bir meyarda sübut sətirləri tez-tez müştəriyə aiddirsə, problem operatorlarda deyil, danışanların ayrılmasındadır. Əgər sitatlar meyarı dəstəkləmirsə, meyarın yazılışı dəqiqləşdirilməlidir. Sübutsuz balda bu iki siqnalın heç biri görünməzdi.

Hüdudlar

Modelin yazdığı əsaslandırma inandırıcı səslənə bilər və yenə də səhv ola bilər — buna görə sübut sətri əsaslandırmadan daha vacibdir. Tanıma sisteminin sətir üzrə etibar göstəricisi kalibrasiya olunmuş ehtimal deyil. Sübut davranışı göstərir, niyyəti yox: operatorun niyə belə danışdığı söhbətdə aydınlaşır. Və heç bir sübutlu bal operator haqqında qərarın yeganə əsası olmamalıdır.

Vexvon Audio Analyzer-də sübut

Vexvon Audio Analyzer bu modelə uyğun qurulub:

• Standartın hər addımı status (yerinə yetirilib, qismən, buraxılıb, tətbiq olunmur) və şərh alır
• Sübut transkript sətirlərinə istinaddır; panel həmin sətirləri işarələyir və onlara keçir
• Transkriptdə hər sətir operator, müştəri və ya «naməlum» kimi göstərilir; zəif tanınmış sətir işarələnir
• Addımların adları, şərhlər və tövsiyələr seçilmiş dillərə tərcümə oluna bilir
• Audio paneldə dinlənilə bilir, amma sübut saniyə ilə göstərilmir — zaman təxminləri etibarsız olduğu üçün qəsdən çıxarılıb

Statusların mənası üçün «xeyr» və «tətbiq olunmur», meyarların yazılması üçün qiymətləndirmə forması yazılarına baxın.

İlk addım

Keçən həftənin beş qiymətləndirməsini götürün və hər «xeyr» nəticəsi üçün yoxlayın: əsaslandırma varmı, sitat varmı, sitat həqiqətən operatora aiddirmi? Sübutu olmayan nəticələrin payı sizin qiymətləndirmənizin nə qədər izah edilə bilən olduğunu göstərir. Digər yazılar operator qiymətləndirməsi bölməsindədir; bizimlə əlaqə saxlayın.

Mövzunun davamı: qiymətləndirmə kalibrasiyası, operator balına etiraz.