AI kateqoriyalarının yoxlanması: insan nə vaxt baxmalıdır

Qısa cavab

AI-nin söhbətlərə verdiyi kateqoriyaları insan beş halda mütləq yoxlamalıdır: sahə ilk dəfə işə salınanda, sahənin tərifi və ya dəyər siyahısı dəyişəndə, bir dəyərin payı birdən dəyişəndə, nəticə vacib qərara əsas olanda və nadir, amma ciddi dəyərlərdə. Bunlardan kənarda müntəzəm, kiçik nümunə yoxlaması kifayətdir: hər həftə hər əsas sahədən 30–50 nəticə.

Yoxlamanın məqsədi AI-yə «bal vermək» deyil, iki fərqli səhvi tapmaqdır: yanlış müsbət (söhbət dəyərə aid deyil, amma AI onu ora yazıb) və yanlış mənfi (söhbət dəyərə aiddir, amma AI onu başqa yerə yazıb). Hər birinin düzəlişi fərqlidir.

Niyə yoxlama lazımdır

AI kateqoriyaları inandırıcı görünür: hər söhbətin yanında səliqəli etiket, hesabatda dəqiq faizlər. Amma faizin dəqiqliyi etiketlərin düzgünlüyündən asılıdır. Sahənin tərifi qeyri-müəyyəndirsə, AI ardıcıl şəkildə səhv seçə bilər və bu səhv hesabatda heç görünmür: rəqəm sabit və məntiqli görünür, sadəcə yanlış şeyi sayır.

Bu, AI-nin «pis» olması demək deyil. İki insan da eyni tərifi fərqli başa düşür. Yoxlama tərifin işlədiyini göstərmək üçündür. Yoxlama nəticəsində əksər hallarda AI-ni yox, sahənin tərifini və dəyər siyahısını düzəltmək lazım gəlir, çünki səhvin mənbəyi çox vaxt məhz oradadır.

İki səhv növü

1. 1Yanlış müsbətAI söhbəti «qiymət etirazı»na yazıb, amma müştəri yalnız qiyməti soruşub, etiraz etməyib. Nəticə: dəyərin payı şişir.
2. 2Yanlış mənfiMüştəri «bu, mənə bahadır» deyib, amma AI onu «digər»ə və ya başqa dəyərə yazıb. Nəticə: dəyərin payı azalır, problem görünmür.

Biri sadə dillə dəqiqliklə (precision — AI-nin «bu dəyərdir» dediklərinin neçəsi həqiqətən doğrudur), digəri əhatə ilə (recall — həqiqətən bu dəyərə aid söhbətlərin neçəsini AI tapıb) ölçülür. Hansının vacib olduğu qərardan asılıdır: nadir və ciddi hadisədə (hüquqi şikayət) heç birini buraxmamaq, yəni əhatə vacibdir; trend hesabatında isə hər iki səhvin balansı.

Nümunə auditi necə qurulur

1. 1SeçimHər dəyərdən təsadüfi 10–15 söhbət, üstəlik «digər»dən 10–15. Yalnız ən böyük dəyərdən götürmək nadir dəyərlərin səhvini gizlədir.
2. 2Kor oxuYoxlayan əvvəlcə AI-nin seçiminə baxmadan öz cavabını yazır, sonra müqayisə edir.
3. 3QeydHər uyğunsuzluq üçün: AI nə seçdi, insan nə seçdi, səbəb nədir (tərif qeyri-dəqiq, söhbət qısa, kontekst çatışmır).
4. 4HesabHər dəyər üçün doğru seçim payı və «digər»ə yanlış düşən söhbətlər.

Yoxlama nə vaxt mütləqdir

• İlk işə salma: ilk 1–2 həftə hər dəyər yoxlanılır.
• Tərif və ya dəyər dəyişikliyi: dəyişiklikdən sonra yeni nəticələr yoxlanılır.
• Birdən dəyişən pay: bir dəyərin payı qısa müddətdə kəskin artır və ya azalır — əvvəlcə real dəyişiklikdir, yoxsa analiz səhvi, onu yoxlayın.
• Vacib qərar: büdcə, qiymət, məhsul və ya kadr qərarına əsas olacaq nəticə.
• Nadir, ciddi dəyərlər: hər tapılan hal insan tərəfindən oxunur.

Kalibrasiya dövrü

1. 1YoxlamaHəftəlik nümunə auditi.
2. 2SəbəbSistematik səhvlər qruplaşdırılır: hansı iki dəyər qarışır, hansı ifadəni AI tanımır.
3. 3DüzəlişTərifə «daxil deyil» sətri, yeni nümunə və ya dəyərlərin birləşdirilməsi.
4. 4Yenidən analizTərif əhəmiyyətli dəyişibsə, son dövrün söhbətləri yenidən analiz olunur.
5. 5Yenidən yoxlamaNövbəti həftə eyni dəyərlər yoxlanılır — səhv azalıbmı?

Nə qədər dəqiqlik kifayətdir

Universal hədd yoxdur və vendorların dediyi dəqiqlik rəqəmləri adətən başqa məlumatda, başqa dildə ölçülüb. Öz həddinizi qərara görə qoyun: trend izləmək üçün dəqiqliyin dövrdən dövrə sabit qalması vacibdir; bir dəyərin payına görə büdcə qərarı veriləcəksə, həmin dəyər daha ciddi yoxlanmalıdır; fərdi müştəri ilə əlaqə saxlanacaqsa, hər tapılan hal oxunmalıdır.

İllüstrativ nümunə

Bu, illüstrativ nümunədir. Bir kurs mərkəzi «itirilmə səbəbi» sahəsini işə salır və birinci həftə «qiymət» dəyəri itkilərin yarısını göstərir. Kor audit 15 «qiymət» nəticəsindən bir neçəsinin əslində «qrafik uyğun deyil» olduğunu göstərir: müştəri «bu qiymətə həftəsonu qrupu varmı?» yazıb, AI isə «qiymət» sözünə görə seçib.

Tərifə sərhəd əlavə olunur: «qiymət — müştəri qiymətin özünə etiraz edir; qrafik, format və ya yer haqqında sual buraya aid deyil». Yenidən analizdən sonra «qiymət» payı azalır, «qrafik» dəyəri böyüyür və qərar dəyişir: endirim əvəzinə həftəsonu qrupu açılır.

Yoxlayanın iş vərəqi

• Söhbət keçidi.
• AI-nin seçdiyi dəyər və sübut cümləsi.
• Yoxlayanın dəyəri (kor oxudan sonra).
• Razılaşma: bəli / xeyr.
• Səhvin səbəbi: tərif, qısa söhbət, kontekst, dil, digər.
• Təklif olunan düzəliş.

Tipik səhvlər

• Yalnız ilk həftə yoxlamaq, sonra unutmaq.
• Yalnız ən böyük dəyərləri yoxlamaq.
• AI-nin seçiminə baxıb «hə, doğrudur» demək — kor oxu olmadan təsdiq qərəzi yaranır.
• Səhvi tapıb tərifi düzəltməmək — eyni səhv növbəti həftə yenidən hesabata düşür.

Sərhədlər

• Kiçik nümunə yalnız kobud səhvləri tutur; nadir dəyərlərin dəqiqliyini ölçmək üçün daha çox söhbət lazımdır.
• İnsan yoxlayan da səhv edə bilər — iki yoxlayan və aydın tərif bunu azaldır.
• AI kateqoriyası müştəri və ya əməkdaş haqqında yüksək riskli qərar üçün tək əsas olmamalıdır.

Vexvon-da yoxlama üçün nə var

Vexvon-da hər nəticənin yanında müştərinin öz cümləsi və həmin mesaja keçid saxlanılır, hər dəyərin arxasındakı söhbətlərin siyahısı açılır — nümunə auditi üçün lazım olan budur. «Digər»ə düşən ifadələrin təkrarlanma sıxlığı ayrıca görünür. Tərif və ya dəyər siyahısı dəyişəndən sonra köhnə söhbətlər məcburi yenidən analiz edilə bilər; hər analiz o anki sahə təriflərinin surətini saxlayır ki, sonradan «niyə bu dəyər seçilib?» sualına cavab tapılsın. Ətraflı: Vexvon analitikası.

Növbəti addım

Bu həftə ən vacib sahənizdən hər dəyər üçün 10 söhbəti kor oxu ilə yoxlayın və uyğunsuzluqları qeyd edin. Ən çox qarışan iki dəyər üçün sərhəd yazın. Taksonomiya qaydaları üçün danışıq analitikası taksonomiyası yazısına baxın; auditi demo zamanı birlikdə qura bilərik.

Mövzunun davamı: analitikada naməlum statusu, bütün müştəri danışıqlarının analizi.