«Xeyr», «Tətbiq olunmur» və «Qiymətləndirmək mümkün deyil»: scoring-də fərq

Qısa cavab

Qiymətləndirmədə üç status bir-birindən ayrılmalıdır. «Xeyr» — meyar bu zəngə aiddir, sübut var və operator tələb olunanı etməyib; bu, bala mənfi təsir edir. «Tətbiq olunmur» — meyarın şərti bu zəngdə yaranmayıb (müştəri etiraz etməyib, zəng ötürülüb); meyar hesabdan çıxır və bu, boşluq sayılmır. «Qiymətləndirmək mümkün deyil» — meyar aid ola bilər, amma yazı və ya transkript nəticə çıxarmaq üçün kifayət etmir; meyar hesabdan çıxır, amma qiymətləndirmə əhatəsini azaldır və səbəbi ilə ayrıca sayılır.

Bu üçünü qarışdıran forma ya operatoru onun etmədiyi səhvə görə cəzalandırır, ya da əsl problemləri «tətbiq olunmur» altında gizlədir.

Qarışıqlıq necə zərər verir

İki illüstrativ hal. Birincisi: müştəri tarif haqqında sual verib, razılaşıb və zəngi bitirib. Formada «operator etirazı düzgün cavablandırdımı» meyarı var və o, «xeyr» alır — çünki etiraz cavablandırılmayıb. Amma etiraz olmayıb. Operator olmayan səhvə görə bal itirir.

İkincisi: yazının ortasında on saniyəlik kəsilmə var və məcburi açıqlamanın deyilməli olduğu an məhz orada düşür. Meyar «xeyr» alırsa, operator texniki problemə görə cəzalanır. «Tətbiq olunmur» alırsa, açıqlamanın deyilib-deyilmədiyi heç kimin diqqətini çəkmir. Düzgün status üçüncüsüdür — «qiymətləndirmək mümkün deyil» — və bu zəng insan yoxlamasına getməlidir.

Üç status: tərif və təsir

1. 1XeyrŞərt yaranıb, sübut var, davranış yoxdur. Bala: 0 xal, məxrəcdə qalır. Əhatəyə: qiymətləndirilmiş sayılır. Operatorla söhbətin mövzusudur.
2. 2Tətbiq olunmurMeyarın şərti zəngdə yaranmayıb. Bala: surətdən və məxrəcdən çıxır. Əhatəyə: təsir etmir, çünki qiymətləndiriləcək bir şey yox idi. Şərt meyarın tərif kartında müştərinin davranışı və ya zəng növü ilə yazılır.
3. 3Qiymətləndirmək mümkün deyilŞərt yaranmış ola bilər, amma sübut etibarsızdır: səs keyfiyyəti, kəsilmə, danışan müəyyən edilməyib, dil. Bala: surətdən və məxrəcdən çıxır. Əhatəyə: azaldır. Səbəbi qeyd olunur və zəng insan baxışına gedir.

Status seçmək üçün qərar ağacı

1. 11. Meyarın şərti bu zəngdə yarandımı?Yox — «tətbiq olunmur». Bəli və ya bilinmir — ikinci suala keçin.
2. 22. Zəngin həmin hissəsi etibarlıdırmı?Eşidilmir, kəsilib, danışan müəyyən deyil — «qiymətləndirmək mümkün deyil». Etibarlıdırsa — üçüncü suala keçin.
3. 33. Tələb olunan davranış oldumu?Tam — «bəli». Qismən (məsələn, ad soruşulub, nömrə yox) — «qismən», əgər forma bunu nəzərdə tutursa. Olmayıb — «xeyr».

İllüstrativ hesablama

On meyarlı bərabər çəkili forma. Zəngin nəticəsi: altı «bəli», bir «xeyr», iki «tətbiq olunmur», bir «qiymətləndirmək mümkün deyil».

1. 1Tətbiq olunan meyarlar10 − 2 = 8
2. 2Qiymətləndirilən meyarlar8 − 1 = 7
3. 3Bal6 ÷ 7 ≈ 85,7%
4. 4Qiymətləndirmə əhatəsi7 ÷ 8 = 87,5%

Əgər «tətbiq olunmur» və «qiymətləndirmək mümkün deyil» də «xeyr» sayılsaydı, bal 60% olardı — operator üç meyara görə haqsız yerə bal itirərdi. Əgər «qiymətləndirmək mümkün deyil» səssizcə «tətbiq olunmur» kimi yazılsaydı, bal eyni qalardı, amma bir meyarın yoxlanılmadığı heç yerdə görünməzdi.

«Tətbiq olunmur»un sui-istifadəsi

«Tətbiq olunmur» ən çox iki yolla səhv istifadə olunur. Birincisi, operatorun buraxdığı addım «tətbiq olunmur» kimi yazılır: müştəri qiymətə etiraz edib, operator mövzunu dəyişib, və meyar «etiraz olmayıb» kimi qeyd olunub. İkincisi, forma zəng növünə uyğun gəlmir və meyarların yarısı hər zəngdə «tətbiq olunmur» alır — bal çox az meyara əsaslanır.

Hər ikisini aşkarlamağın yolu eynidir: meyar üzrə «tətbiq olunmur» payını izləyin. Bir meyarda bu pay birdən artırsa və ya bir operatorda digərlərindən çox yüksəkdirsə, həmin zəngləri insan yoxlamalıdır.

AI-ın «tətbiq olunmur» tələsi

AWS-in generativ AI ilə qiymətləndirmə sənədi vacib bir davranışı təsvir edir: model verilmiş cavab variantlarından hansının uyğun olduğunu müəyyən edə bilmədikdə «tətbiq olunmur» seçir, sual məcburi olsa belə; bu halda sual hesabdan çıxır və çəki digər suallara paylanır. Yəni sistemin qeyri-müəyyənliyi səssizcə yüksək bala çevrilə bilər. Həmin sənədin tövsiyəsi hər cavab variantının nə vaxt seçildiyini təlimatda açıq yazmaqdır. Bu, konkret bir məhsulun təsviridir, amma risk ümumidir: hər sistemdə «tətbiq olunmur» payını ayrıca izləyin.

«Qiymətləndirmək mümkün deyil» hesabatı

• Səbəb üzrə say: səs keyfiyyəti, kəsilmə, danışan müəyyən deyil, formanın nəzərdə tutmadığı dil
• Növbə, xətt və ya zəng mənbəyi üzrə bölgü — texniki problemi tez tapmaq üçün
• Operator balına heç bir mənfi təsiri yoxdur; operator ortalamasında ayrıca sütunda göstərilir
• Hər belə zəng insan baxışına gedir, ən azı nəticənin kritik meyarlarında
• Pay artırsa, əvvəlcə yazı və telefoniya parametrləri yoxlanılır, operatorlar yox

Hüdudlar

Üç status formanı mürəkkəbləşdirir və qiymətləndiricilərin eyni cür başa düşməsi üçün tərif kartları və sınaq tələb edir. «Qismən» statusu da əlavə edilirsə, onun xal dəyəri və nə vaxt verildiyi yazılmalıdır. Və hər hansı status qaydası operator haqqında qərarı avtomatik etmir: nəticə insan tərəfindən yoxlanmalı və operatorun etiraz etmək imkanı olmalıdır.

Vexvon Audio Analyzer-də statuslar

Vexvon Audio Analyzer-də standartın hər addımı dörd statusdan birini alır: «yerinə yetirilib», «qismən», «buraxılıb» və «tətbiq olunmur». «Tətbiq olunmur» operatorun əleyhinə sayılmır. Ayrıca «qiymətləndirmək mümkün deyil» statusu isə yoxdur — onun əvəzinə siqnallar var: transkriptdə zəif tanınmış sətirlər işarələnir, danışanı müəyyən olunmayan sətir «naməlum» qalır. Belə zəngləri baxış növbəsinə salın və nəticəni insan təsdiqləsin.

Statusların çəkili hesaba təsiri çəkili operator balı yazısında, analizə yararsız zənglərin ayrılması seçmə yoxlama yazısında izah olunub.

İlk addım

Formanızdakı hər meyar üçün «tətbiq olunmur» şərtini müştərinin davranışı və ya zəng növü ilə bir cümlədə yazın. Sonra keçən ayın nəticələrində meyar üzrə «tətbiq olunmur» payını hesablayın — ən yüksək pay hansı meyardadırsa, tərif kartını oradan başlayaraq düzəldin. Digər yazılar operator qiymətləndirməsi bölməsindədir; bizimlə əlaqə saxlayın.

Mövzunun davamı: zəng yazısının keyfiyyəti, sübutlu qiymətləndirmə.