Speaker diarization: operator və müştəri səsi niyə qarışır

Qısa cavab

Speaker diarization (diarizasiya) bir audio kanalda danışan səsləri ayırıb hər cümləni müəyyən danışana aid etmək prosesidir. Operator balı üçün bu, həlledici addımdır: sistem müştərinin cümləsini operatora aid edərsə, operator heç demədiyi sözə görə qiymətləndirilir. «Bu, qanunsuzdur» cümləsini müştəri deyib, amma transkriptdə operatorun adına yazılıbsa, operator kobud səhv etmiş kimi görünür.

Bu riski azaltmağın ən etibarlı yolu operatoru və müştərini ayrı audio kanallarında yazmaqdır. Mümkün olmayanda — mono yazılarda — diarizasiyanın keyfiyyəti ayrıca yoxlanmalı və əmin olunmayan sətirlər təxmin edilməməlidir.

Stereo və mono: iki fərqli vəziyyət

1. 1Stereo — ayrı kanallarOperatorun mikrofonu bir kanala, müştərinin xətti digər kanala yazılır. Kimin danışdığı fiziki olaraq bilinir. Xəta ehtimalı azdır; əsas risk kanalların səhv eşlənməsidir — məsələn, bir PBX-də sol kanal operator, digərində müştəridir.
2. 2Mono — bir kanalHər iki səs bir kanala qarışıq yazılır. Sistem danışanları səsin xüsusiyyətlərinə görə qruplaşdırır və sonra hansı qrupun operator olduğunu təyin edir. Hər iki addımda xəta mümkündür.
3. 3Üç və daha çox səsİsti ötürmə, konfrans, növbə rəhbərinin qoşulması. Mono yazıda üç səsi ayırmaq daha çətindir. AWS-in generativ qiymətləndirmə təlimatında da üst-üstə danışığın və çox tərəfli zənglərin dəqiqliyi aşağı saldığı qeyd olunur.

Səhv aid etmənin nəticələri

Danışanın səhv müəyyən edilməsi qiymətləndirmədə müxtəlif formalarda üzə çıxır. Aşağıdakı hallar illüstrativ nümunədir:

1. 1Yalançı pozuntuMüştəri «bunu mənə pulsuz verəcəksiniz» deyir, transkriptdə bu, operatorun cümləsi kimi görünür — «təsdiqlənməmiş vəd» meyarı pozulmuş sayılır.
2. 2Yalançı uğurMüştəri öz ehtiyacını ətraflı danışır, bu hissə operatora aid edilir — «ehtiyac dəqiqləşdirildi» meyarı yerinə yetirilmiş sayılır, halbuki operator heç sual verməyib.
3. 3İtən məcburi ifadəOperatorun dediyi məcburi açıqlama müştəriyə aid edilir və «deyilməyib» sayılır.
4. 4Təhrif olunmuş söz kəsməQısa təsdiq sözləri səhv tərəfə yazılır və söz kəsmə sayı mənasızlaşır.

Hansı meyarlar ən həssasdır

• Operatorun dediyi konkret ifadəyə bağlı meyarlar: məcburi açıqlama, qiymət, vəd, şərt
• Sual verməyə bağlı meyarlar: «operator ehtiyacı soruşdu» — sualı kimin verdiyi vacibdir
• Qadağan olunmuş ifadələr: müştərinin dediyi söz operatora aid edilərsə, yalançı pozuntu yaranır
• Söz kəsmə və danışıq payı — hər ikisi danışanın düzgün müəyyən edilməsindən asılıdır

Ümumi xarakterli meyarlar — məsələn, «zəngin sonunda növbəti addım aydındır» — adətən daha dayanıqlıdır, çünki bir-iki sətrin səhv aid edilməsi nəticəni dəyişmir.

İllüstrativ yoxlama: diarizasiyanı necə sınamaq

Aşağıdakı üsul illüstrativ nümunədir. Məqsəd ümumi faiz almaq yox, qiymətləndirmə üçün vacib anlarda xətanın olub-olmadığını görməkdir.

1. 1NümunəMono yazılardan müxtəlif operator və müştərilərlə 10–20 zəng seçin; bir-ikisi üç tərəfli olsun.
2. 2Vacib sətirlərHər zəngdə qiymətləndirmə üçün vacib 5–10 sətri işarələyin: salamlaşma, qiymət, vəd, məcburi ifadə, yekun.
3. 3Dinləyib yoxlamaqHər işarələnmiş sətir üçün səsi dinləyib danışanın düzgün müəyyən edildiyini qeyd edin.
4. 4NəticəVacib sətirlərdə səhv aid etmə payı və «naməlum» qalan sətirlərin payı. Hansı hallarda xəta olur: qısa cümlələr, üst-üstə danışma, oxşar səslər?

«Naməlum» danışanla necə işləmək

Sistem əmin olmayanda sətri «naməlum» kimi saxlamaq onu təxminən operatora və ya müştəriyə yazmaqdan daha dürüstdür. Amma bu sətirlər qiymətləndirmədə ayrıca qayda tələb edir:

• Kritik meyarın sübutu yalnız «naməlum» sətirdədirsə, qərarı insan səsə qulaq asaraq verir
• «Naməlum» sətirlərin payı yüksək olan zəng tam qiymətləndirmə üçün uyğun sayılmır
• Bir xətdə və ya bir operatorda «naməlum» payı davamlı yüksəkdirsə, səbəb yazı quruluşundadır
• «Naməlum» sətir operatorun əleyhinə sübut kimi istifadə edilmir

Diarizasiya xətasını azaltmaq

1. 1Ayrı kanallarda yazmaqPBX və yazı sistemi imkan verirsə, ən təsirli addımdır. Yaddaş həcmi və razılıq qaydaları ilə birlikdə yoxlanmalıdır.
2. 2Kanal eşləməsini yoxlamaqStereo yazıda hansı kanalın operator olduğunu bir neçə zənglə təsdiqləyin; xətlər və PBX-lər arasında fərq ola bilər.
3. 3Səs keyfiyyətiSəs-küy və kəsilmə diarizasiyanı da pisləşdirir. Qulaqlıq və mikrofon keyfiyyəti burada da vacibdir.
4. 4Üç tərəfli zənglərİsti ötürmə və konfrans zənglərini ayrıca işarələyin və onlara daha çox insan yoxlaması tətbiq edin.

İllüstrativ transkript parçası

Aşağıdakı parça illüstrativ nümunədir, real zəng deyil. Mono yazıda diarizasiya iki sətri səhv tərəfə yazıb. Sağdakı qeyd səsi dinləyəndən sonra düzgün danışanı göstərir.

1. 1Operator: «Tarif ayda 25 manatdır, ilk ay endirimlə.»Düzgündür — operator deyib.
2. 2Operator: «Yəni ilk ay ümumiyyətlə pulsuzdur?»Səhvdir — bu, müştərinin sualıdır. Sistem səsləri qarışdırıb.
3. 3Müştəri: «Xeyr, ilk ay 50% endirimlə, 12,5 manat.»Səhvdir — bu, operatorun cavabıdır.
4. 4Müştəri: «Aydındır, onda qoşulaq.»Düzgündür — müştəri deyib.

Bu parçaya transkript əsasında baxan qiymətləndirmə operatorun «ilk ay pulsuzdur» deyə təsdiqlənməmiş vəd verdiyini, dəqiq qiyməti isə müştərinin dediyini görəcək. Nəticə tam tərsinədir: operator düzgün iş görüb, amma bal itirir. Məhz buna görə kritik meyarların sübut sətirləri səsə qulaq asaraq yoxlanmalıdır.

Operatorla müzakirədən əvvəl dörd yoxlama

• Pozuntunu göstərən sətrin danışanı səsə qulaq asaraq təsdiqləndimi?
• Yazı stereodurmu? Monodursa, həmin anda üst-üstə danışma varmı?
• Sübut sətri «naməlum» deyil ki?
• Eyni zəngdə başqa sətirlərdə də danışan qarışıqlığı varmı — bütün zəng etibarlıdırmı?

Tipik səhvlər

• Transkriptin danışan etiketlərinə yoxlamadan etibar etmək
• Mono və stereo yazıların nəticələrini eyni etibarlılıqda müqayisə etmək
• Yalançı pozuntunu operatorla rəy söhbətində səsi dinləmədən müzakirə etmək
• «Naməlum» sətirləri sakitcə operatora və ya müştəriyə aid etmək

Hüdudlar

• Diarizasiyanın dəqiqliyi dilə, səs keyfiyyətinə, danışanların sayına və səslərin oxşarlığına görə dəyişir; bir mühitdə ölçülən nəticə başqasına keçmir
• Stereo yazı xətanı azaldır, amma kanal eşləməsi səhvdirsə, bütün zəng tərsinə yazılır
• Üst-üstə danışma zamanı hər iki tərəfin sözləri itə və ya qarışa bilər
• Danışanın səhv müəyyən edilməsindən qaynaqlanan nəticə operatorun əleyhinə istifadə edilməməlidir

Vexvon Audio Analyzer-də nə var

• Stereo yazıda operator və müştəri kanal üzrə, mono yazıda diarizasiya ilə ayrılır
• Sistem əmin olmayanda sətir «naməlum» kimi saxlanılır — təxmini olaraq operatora və ya müştəriyə yazılmır; transkriptdə hər sətrin danışanı görünür
• Diarizasiyanın ilkin etiketi saxlanılır — operator və müştəri eşləməsi səhv olarsa, bunun izini tapmaq mümkündür
• Zəng standartının hər addımının yanında onu göstərən transkript sətirləri var — sübut sətrinin kimə aid edildiyini birbaşa yoxlamaq olur

Ətraflı: Vexvon Audio Analyzer. Kanal quruluşunun metadata kimi niyə vacib olduğunu zəng yazısının metadata sahələri, ümumi yazı keyfiyyətini isə zəif səs yazısı və operator balı yazısında açmışıq.

İlk addım

Yazılarınızın stereo, yoxsa mono olduğunu yoxlayın. Monodursa, yuxarıdakı üsulla 10 zəngdə vacib sətirlərin danışanını səsə qulaq asaraq yoxlayın. Bu yazı audio analizinin tətbiqi və etibarlılığı bölməsinə aiddir. Öz yazılarınızla sınamaq üçün bizimlə əlaqə saxlayın.

Mövzunun davamı: sübutlu qiymətləndirmə, zəng analizinin dəqiqliyi.