Mövcud zəng yazılarından AI analizinə başlamaq: pilot planı

Qısa cavab

Mövcud zəng yazılarından AI analizinə başlamağın ən etibarlı yolu kiçik, məqsədi yazılmış pilot layihədir: bir zəng növü, bir neçə yüz yox, bir neçə onluq diqqətlə seçilmiş zəng, insanların əvvəlcədən qiymətləndirdiyi etalon və pilotdan əvvəl razılaşdırılmış uğur meyarları. Pilotun sonunda «bəyəndik» yox, «meyarlar ödəndi, ödənmədi və ya qismən ödəndi» cavabı olmalıdır.

Pilotun məqsədi alətin nə qədər yaxşı olduğunu sübut etmək deyil. Məqsəd sizin zənglərinizdə, sizin dilinizdə və sizin meyarlarınızla nəyin işlədiyini, nəyin işləmədiyini əvvəlcədən öyrənməkdir — bütün komandaya tətbiq etməzdən əvvəl.

Addım 1: bir məqsəd seçin

«Zəngləri analiz etmək» məqsəd deyil. Pilot bir konkret suala cavab verməlidir:

• QA mütəxəssisinin bir zəngə sərf etdiyi vaxtı azaltmaq — ilkin yoxlamanı AI edir, insan yalnız şübhəli halları dinləyir
• Seçmə dinləmənin görmədiyi bir problemi tapmaq — məsələn, məcburi məlumatın deyilməməsi
• Yeni operatorların təlimi üçün sübutlu nümunələr toplamaq
• Bir zəng standartının real zənglərdə necə tətbiq olunduğunu görmək

Məqsəd uğur meyarını müəyyən edir. Vaxta qənaət məqsədidirsə, ölçü vaxtdır. Problem tapmaq məqsədidirsə, ölçü tapılan halların insanın yoxlaması ilə təsdiqlənən payıdır.

Addım 2: zəng standartını yazın

AI zəngi sizin meyarlarınızla qiymətləndirir. Meyarlar aydın deyilsə, nəticə də aydın olmayacaq. Pilot üçün meyarlar sadə və yoxlanıla bilən olmalıdır:

1. 1Hər meyar bir sual«Operator ehtiyacı dəqiqləşdirdimi və təklifi ona uyğunlaşdırdımı?» iki suala bölünür.
2. 2Müşahidə edilən davranış«Nəzakətli idi» yox, «müştərinin adını soruşdu və zəngin sonunda başqa sualı olub-olmadığını soruşdu».
3. 3«Tətbiq olunmur» qaydasıHər meyar üçün hansı halda tətbiq olunmadığı yazılır: etiraz olmayıbsa, etirazla iş meyarı tətbiq olunmur.
4. 4Səs tonu meyarı yoxdurTranskript əsasında işləyən qiymətləndirmə tonu və intonasiyanı etibarlı ölçmür. Google-un Quality AI təlimatında da belə suallardan qaçmaq tövsiyə olunur.

Addım 3: təmsilçi zəng nümunəsi

Ən çox edilən səhv yalnız «yaxşı» və ya yalnız «problemli» zəngləri götürməkdir. Nümunə gündəlik reallığı əks etdirməlidir. Aşağıdakı bölgü illüstrativ nümunədir:

1. 1Zəng növüBir zəng növü seçin — məsələn, gələn satış zəngləri. Pilotda satış və dəstəyi qarışdırmayın.
2. 2OperatorlarMüxtəlif təcrübəli bir neçə operator; yalnız ən yaxşısı və ya ən zəifi yox.
3. 3DilKomandanızda işlənən dillər real paylarına yaxın nisbətdə; qarışıq dilli zənglər də daxil olmaqla.
4. 4Yazı keyfiyyətiYalnız təmiz yazılar yox — bir neçə səs-küylü, qısa və ya kəsik zəng də. Onların necə işləndiyini bilmək lazımdır.
5. 5NəticəSatışla bitən və bitməyən zənglər; şikayətli və şikayətsiz zənglər.

Nümunənin ölçüsü üçün universal rəqəm yoxdur. Google öz Quality AI modelinin tənzimlənməsi üçün hər sual üzrə ən azı 100, hər cavab variantı üzrə ən azı 40 nümunə tələb edir — bu, onların məhsulunun tələbidir, başqa alətlərə aid norma deyil. Pilot üçün praktik yanaşma: hər vacib meyar üzrə həm «bəli», həm «xeyr» nümunələri kifayət qədər olsun.

Addım 4: insan etalonu

AI nəticəsini nə ilə müqayisə edəcəyinizi bilmədən pilotu qiymətləndirmək mümkün deyil. Etalon — eyni zənglərin eyni meyarlarla insanlar tərəfindən qiymətləndirilməsidir.

• Hər zəngi iki nəfər müstəqil qiymətləndirir — bir-birinin cavabını görmədən
• İki insan arasında fərq olan meyarlar ayrıca qeyd olunur; bu meyarlar çox vaxt pis yazılmış meyarlardır
• Fərqlər müzakirə olunub razılaşdırılmış cavab yazılır — etalon budur
• İnsan cavabı da avtomatik qüsursuz sayılmır; razılaşma prosesi elə buna görədir

Addım 5: uğur meyarlarını əvvəlcədən yazın

Uğur meyarları pilot başlamazdan əvvəl yazılmalıdır, nəticəni görəndən sonra yox. Aşağıdakılar illüstrativ nümunədir; hədləri öz məqsədinizə görə qoyun:

1. 1Meyar üzrə uyğunluqHər meyar üçün AI cavabı ilə etalonun eyni olduğu zənglərin payı. Ümumi orta rəqəm yox — meyar-meyar, çünki biri çox yaxşı, digəri zəif ola bilər.
2. 2Kritik meyarlarda səhv növüKritik meyarda AI «yerinə yetirilib» deyib, insan «xeyr» deyibsə, bu, ən təhlükəli səhvdir və ayrıca sayılır.
3. 3Analiz edilə bilməyən zənglərin payıNeçə zəng səs keyfiyyətinə, dilə və ya danışanların ayrılmasına görə etibarlı qiymətləndirilə bilmədi.
4. 4Mütəxəssisin vaxtıBir zəngin yoxlanmasına AI nəticəsi ilə və onsuz nə qədər vaxt gedir.

Addım 6: pilotu keçirin

1. 1Yazıları hazırlayınSeçilmiş zəngləri telefoniyadan ixrac edin, fayl adlarını anlaşılan edin — tarix, zəng növü, qeyri-şəxsi identifikator.
2. 2Analiz edinZəngləri yükləyin, zəng standartını seçin, nəticələri gözləyin. Uğursuz faylları səbəbi ilə qeyd edin.
3. 3Müqayisə edinHər zəng üçün AI nəticəsini etalonla meyar-meyar tutuşdurun. Fərq olan hallarda transkripti oxuyun: səbəb meyarın yazılışıdır, transkript xətasıdır, yoxsa AI-ın şərhi?
4. 4Meyarları düzəldinPis yazılmış meyarları dəqiqləşdirin və eyni zəngləri yenidən analiz edin. Bu dövrə adətən bir neçə dəfə təkrarlanır.

Addım 7: qərar

1. 1GenişləndirməkUğur meyarları ödənib. Növbəti addım: ikinci zəng növü və ya daha çox operator, insan yoxlamasının seçmə şəklində davam etməsi ilə.
2. 2Məhdud istifadəBəzi meyarlar etibarlıdır, bəziləri yox. Etibarlı meyarlar istifadə olunur, qalanı insanda qalır və ya yenidən yazılır.
3. 3DayandırmaqƏsas meyarlarda uyğunluq zəifdir və ya zənglərin böyük hissəsi analiz edilə bilmir — məsələn, yazı keyfiyyətinə görə. Səbəb düzəldilməmiş genişləndirmək mənasızdır.

Tipik səhvlər

• Uğur meyarını pilotdan sonra yazmaq
• Etalonsuz pilot: «nəticələr məntiqli görünür» qiymətləndirmə deyil
• Yalnız təmiz, yaxşı yazıları seçmək — real istifadədə sürpriz yaranır
• Pilotun nəticəsini operatorların qiymətləndirməsi üçün dərhal istifadə etmək
• Pilotu çox geniş başlamaq: beş zəng növü, iyirmi meyar, üç dil birdən

Hüdudlar

• Pilotda alınan uyğunluq yalnız həmin zəng növü, dil və yazı keyfiyyəti üçün keçərlidir
• Zəng yazılarının istifadəsi üçün razılıq və məxfilik tələbləri ölkədən asılıdır və pilotdan əvvəl yoxlanmalıdır
• Zəif və ya natamam yazı operatorun əleyhinə nəticə kimi sayılmamalıdır
• Pilot dövründə AI balı operator haqqında qərar üçün istifadə olunmamalıdır

Vexvon Audio Analyzer ilə pilot

• Mövcud zəng yazıları fayl kimi yüklənir — mp3, wav, m4a, ogg, opus, flac, amr, wma və digər formatlarda; bir yükləmədə 10-a qədər fayl, hər biri 200 MB-a qədər
• Eyni faylın təkrar yüklənməsi aşkarlanır və xəbərdarlıq verilir
• Zəng standartınızı mətn kimi yazırsınız; hər zəngdə hər addım «yerinə yetirilib», «qismən», «buraxılıb» və ya «tətbiq olunmur» kimi qiymətləndirilir, yanında şərh və transkript sətirləri
• Meyarları düzəltdikdən sonra eyni zənglər mövcud transkript üzərindən yenidən analiz edilir — səs yenidən mətnə çevrilmədən
• Uğursuz fayl səbəbi ilə göstərilir və yenidən yükləmədən təkrar növbəyə qoyula bilər

Ətraflı: Vexvon Audio Analyzer. Pilotda analiz edilə bilməyən zənglərin payı yüksək çıxarsa, ilk baxılmalı yer yazı keyfiyyəti və danışanların ayrılmasıdır — bu mövzuları eyni bölmədəki növbəti yazılarda açırıq.

İlk addım

Bir səhifəlik pilot planı yazın: məqsəd, zəng növü, nümunənin bölgüsü, etalonu kim hazırlayır və uğur meyarları. Sonra 30–50 zəngi seçib iki nəfərə müstəqil qiymətləndirməyə verin. Bu yazı audio analizinin tətbiqi və etibarlılığı bölməsinin bir hissəsidir. Öz zəng yazılarınızla pilot üçün bizimlə əlaqə saxlayın.

Mövzunun davamı: zəng analizi proqramı, zəng analizinin dəqiqliyi, zəng yazısının keyfiyyəti.