Çoxdilli zənglərdə operator scoring necə yoxlanmalıdır

Qısa cavab

Çoxdilli call center-də operator scoring hər dil üçün ayrıca yoxlanmalıdır. Bir dildə yaxşı işləyən sistem digər dildə eyni nəticəni verməyə bilər: tanıma keyfiyyəti, danışanların ayrılması və meyarların şərhi dillər arasında fərqlənir. Bakıda gündəlik reallıq isə daha mürəkkəbdir — eyni zəngdə Azərbaycan və rus dili qarışır, məhsul adları ingiliscə səslənir.

Ona görə sual «sistem Azərbaycan dilini bilirmi?» deyil. Sual belədir: sizin zənglərinizdə, sizin terminlərinizlə və sizin meyarlarınızla hər dil və dil qarışığı üzrə nəticə insan qiymətləndirməsinə nə qədər uyğundur? Bunu yalnız ayrıca test dəsti göstərir.

Dillər arasında nə fərqlənir

1. 1Tanıma keyfiyyətiNitqin mətnə çevrilməsi dilə görə fərqli dəqiqlikdə olur. Bir dildə yaxşı tanınan rəqəm və ya ad digərində səhv yazıla bilər.
2. 2Ləhcə və aksentBakı, Gəncə və ya Naxçıvan tələffüzü, rus dilində danışan azərbaycanlının aksenti — hamısı tanımaya təsir edir.
3. 3Kod dəyişməsi«Sizə skidka edə bilərəm, amma dostavka ayrıca olacaq» kimi cümlələr çoxdilli bölgədə normaldır, amma avtomatik tanıma üçün çətindir.
4. 4Sahə terminləriTarif adları, məhsul kodları, bank terminləri. Tanıma sistemi onları bilmirsə, təxmini sözlə əvəz edir.
5. 5Nəzakət və üslubBir dildə nəzakətli sayılan ifadə digərində soyuq səslənə bilər. Üsluba aid meyarlar dildən asılı olaraq fərqli şərh olunur.

İllüstrativ test dəsti

Aşağıdakı dizayn illüstrativ nümunədir. Məqsəd hər dil və dil qarışığı üzrə nəticəni ayrıca görməkdir; rəqəmləri öz zəng axınınıza görə dəyişin.

1. 1Dil qruplarıYalnız Azərbaycan dilində, yalnız rus dilində, yalnız ingilis dilində və qarışıq dilli zənglər — hər qrup ayrıca.
2. 2Hər qrupda müxtəliflikMüxtəlif operatorlar, müştəri profilləri, zəng növləri; bir neçə səs-küylü yazı.
3. 3Terminlər siyahısıHər qrupda ən azı bir neçə zəngdə məhsul adları, qiymətlər və tarif adları olsun — tanıma xətası ən çox burada görünür.
4. 4İnsan etalonuHər zəngi həmin dili yaxşı bilən iki nəfər müstəqil qiymətləndirir. Qarışıq dilli zənglər üçün hər iki dili bilən qiymətləndirici lazımdır.
5. 5Nəticə cədvəliHər dil qrupu və hər meyar üçün AI ilə etalonun uyğunluğu ayrıca yazılır. Ümumi orta rəqəm çəkilmir.

Tərcümə edilmiş transkript sübut deyil

Rus dilində aparılan zəngin qiymətləndirməsini Azərbaycan dilində oxumaq rahatdır. Amma tərcümə əlavə xəta qatıdır: tərcüməçi sistem ifadəni yumşalda, sərtləşdirə və ya mənasını dəyişə bilər.

• Sübut kimi həmişə orijinal dildəki sətir istifadə olunur; tərcümə yalnız anlamaq üçündür
• Kritik meyar üzrə mübahisəli qərarda orijinal dili bilən insan son sözü deyir
• Nəzakət, vəd və qadağan olunmuş ifadə kimi meyarlar tərcümədə ən çox təhrif olunur
• Hesabat dilində yazılmış şərh ilə orijinal sətir arasında uyğunsuzluq varsa, orijinal əsasdır

Meyarları dildən asılı olmayan formada yazmaq

Meyar konkret ifadəyə bağlı olanda çoxdilli mühitdə problem yaranır. «Operator «Xoş gördük» dedi» meyarı rus dilində zəngdə heç vaxt yerinə yetirilməyəcək.

1. 1Ifadə yox, niyyət«Operator salamlaşdı və özünü təqdim etdi» — hansı dildə olursa olsun.
2. 2Məcburi mətn dilə görəHüquqi açıqlama kimi dəqiq mətn tələb olunan yerlərdə hər dil üçün təsdiqlənmiş variant yazılır.
3. 3Dil seçimi meyarıƏgər şirkət qaydası belədirsə: «operator müştərinin danışdığı dilə keçdi». Bu, ayrıca və aydın meyardır.
4. 4Nümunələr hər dildəMeyarın izahında hər dil üçün bir «bəli» və bir «xeyr» nümunəsi.

Dil qrupları üzrə ədalətli müqayisə

Əgər sistem rus dilində Azərbaycan dilinə nisbətən daha çox tanıma xətası edirsə, rus dilli müştərilərə xidmət edən operatorlar sistematik olaraq aşağı bal ala bilər. Bu, operatorun keyfiyyəti deyil, ölçmənin xətasıdır.

• Operatorları müqayisə edərkən onların zənglərinin dil bölgüsünü göstərin
• Test dəstində dillər arasında fərq tapılıbsa, həmin dildə daha çox insan yoxlaması tətbiq edin
• Qarışıq dilli zənglərdə «qiymətləndirmək mümkün deyil» statusunun payını ayrıca izləyin
• Dil qrupları üzrə fərq aradan qalxmayana qədər onları eyni reytinqdə birləşdirməyin

Termin lüğəti

Çoxdilli qiymətləndirmədə ən faydalı kiçik alət termin lüğətidir. O, həm tanıma xətalarını tapmağa, həm də meyarları yazmağa kömək edir. Lüğətdə hər termin üçün bunlar olur:

1. 1Termin və onun variantlarıTarifin, məhsulun və ya xidmətin rəsmi adı və zənglərdə deyilən variantları — Azərbaycan, rus və ingilis dilində.
2. 2Tipik tanıma xətasıTest dəstində sistemin bu termini necə səhv yazdığı. Bu, transkripti oxuyan mütəxəssisə «bu söz əslində nədir» sualına tez cavab verir.
3. 3Meyarla əlaqəTermin hansı meyarda vacibdir — məsələn, düzgün tarif adının deyilməsi.
4. 4Yenilənmə tarixiYeni məhsul və kampaniya ilə lüğət yenilənir; köhnə terminlər silinmir, arxivə keçir.

Lüğət böyük olmamalıdır: ən çox səhv yazılan 30–50 termin adətən problemin əsas hissəsini əhatə edir.

Tipik səhvlər

• Satıcının «Azərbaycan dilini dəstəkləyirik» cümləsini dəqiqliyin sübutu saymaq
• Test dəstini yalnız bir dildə qurub nəticəni bütün dillərə aid etmək
• Qarışıq dilli zəngləri testdən çıxarmaq — halbuki real axında onlar çoxdur
• Tərcümə edilmiş transkripti sübut kimi operatora göstərmək
• Meyarları konkret dildəki ifadələrə bağlamaq

Davamlı nəzarət

Test dəsti bir dəfəlik iş deyil. Yeni məhsul adları, yeni kampaniya, yeni operator qrupu və ya müştəri axınının dəyişməsi — hamısı dil üzrə nəticəyə təsir edir. Praktik ritm: hər ay hər dil qrupundan bir neçə zəngi insan yenidən qiymətləndirir və AI nəticəsi ilə müqayisə edir. Uyğunluq bir dildə düşürsə, səbəb axtarılır: yeni termin, yeni ləhcə, yazı keyfiyyəti. Nəticə qısa aylıq qeyd kimi yazılır — hansı dildə neçə zəng yoxlanıb, harada fərq tapılıb və nə düzəldilib. Bu qeyd həm də operatorların etirazına baxarkən faydalıdır: rus dilli zəngdə mübahisəli qərar varsa, həmin ay rus dilində uyğunluğun necə olduğu artıq məlumdur.

Hüdudlar

• Bir dildə ölçülən dəqiqlik digər dilə və ya dil qarışığına keçmir
• Qarışıq dilli zənglərdə həm tanıma, həm də danışanların ayrılması daha çox xəta verə bilər
• Tərcümə məna və ton itkisinə səbəb ola bilər; orijinal sətir əsasdır
• Heç bir dil üçün sübutsuz eyni dəqiqlik iddia edilməməlidir
• Operatorun aksenti və ya danışdığı dil onun şəxsiyyəti və ya keyfiyyəti haqqında nəticə üçün əsas deyil

Vexvon Audio Analyzer-də nə var

• Hər zəngin danışıq dili avtomatik müəyyən edilir və zəngin yanında göstərilir
• Transkript və xülasə seçdiyiniz dillərə tərcümə edilə bilər; orijinal sətir ayrıca saxlanılır
• Xülasənin və qiymətləndirmənin yazıldığı dil — hesabat dili — şirkət üzrə ayrıca seçilir; yəni rus dilində aparılan zəngin qiymətləndirməsini Azərbaycan dilində oxumaq olar
• Zəng standartının hər addımının yanında orijinal transkript sətirləri sübut kimi göstərilir

Ətraflı: Vexvon Audio Analyzer. Test dəstinin ümumi qurulma qaydasını pilot planı, danışanların ayrılmasını isə speaker diarization yazısında açmışıq.

İlk addım

Son ayın zənglərinin dil bölgüsünü çıxarın: neçəsi Azərbaycan, rus, ingilis dilində və neçəsi qarışıqdır. Sonra hər qrupdan 10 zəng seçib yuxarıdakı test dəsti ilə yoxlayın. Bu yazı audio analizinin tətbiqi və etibarlılığı bölməsinə aiddir. Öz yazılarınızla sınamaq üçün bizimlə əlaqə saxlayın.

Mövzunun davamı: zəng analizinin dəqiqliyi.