Operator təliminin nəticəsi necə ölçülür: əvvəl və sonra

Qısa cavab

Təlimin nəticəsini ölçmək üçün təlimdən əvvəlki və sonrakı zəngləri eyni meyarla, eyni qiymətləndirmə versiyası ilə və müqayisə edilə bilən zəng qruplarında yoxlamaq lazımdır. Ən çox rast gəlinən səhv sonrakı dövrdə daha asan zənglərin düşməsidir: bal qalxır, amma səbəb təlim yox, zənglərin tərkibidir.

Başqa sözlə, «təlimdən sonra orta bal 62-dən 78-ə qalxdı» cümləsi tək başına heç nə sübut etmir. Hansı meyarda, hansı zəng növündə, neçə zəngdə və hansı forma versiyası ilə — bu suallar cavablanmayınca nəticə təsadüf də ola bilər, ölçmə xətası da.

Nəyi ölçmək: bal yox, hədəf davranış

Təlim planı bir-iki konkret davranışa yönəlir. Ölçmə də həmin davranışa yönəlməlidir, ümumi bala yox. Ümumi bal on meyarın cəmidir və hədəf davranışdakı dəyişikliyi başqa meyarlardakı təsadüfi dəyişikliklər örtə bilər.

1. 1Hədəf meyarPlanda yazılan davranış: məsələn, «qiyməti deməzdən əvvəl ehtiyac dəqiqləşdirildi». Əsas ölçü bu meyarın «yerinə yetirilib» payıdır.
2. 2Tətbiq olunan zənglərPayın məxrəci yalnız həmin meyarın tətbiq olunduğu zənglərdir. Qiymət sualı olmayan zəngdə bu meyar «tətbiq olunmur» statusu alır və hesablamaya daxil edilmir.
3. 3Nəzarət meyarlarıTəlimdə toxunulmayan bir-iki meyar da izlənir. Onlar da eyni dərəcədə qalxıbsa, səbəb təlim yox, ümumi bir dəyişiklik ola bilər.
4. 4Ümumi balKontekst üçün göstərilir, amma təlimin nəticəsi kimi təqdim edilmir.

Müqayisə edilə bilən zəng qrupları

• Eyni zəng növü: satış zəngini dəstək zəngi ilə müqayisə etməyin
• Oxşar çətinlik: şikayət və sadə sorğu ayrıca hesablanır
• Eyni dil: bir dövrdə rus dilli zənglər çox, digərində az olarsa, nəticə təhrif olunur
• Oxşar yazı keyfiyyəti: «qiymətləndirmək mümkün deyil» statuslu zənglərin payı hər iki dövrdə ayrıca göstərilir
• Kifayət qədər zəng: hər dövrdə hədəf meyarın tətbiq olunduğu zənglərin sayı yazılır; bir neçə zəngdən çıxan faiz təsadüfdür

İllüstrativ nümunə: asan zəng tələsi

Aşağıdakı rəqəmlər illüstrativ nümunədir, real operatorun datası deyil. Hədəf meyar: «qiyməti deməzdən əvvəl ehtiyac dəqiqləşdirildi». Hər dövrdə 20 zəng var.

1. 1Təlimdən əvvəlMürəkkəb zəng 12, meyar 3-də yerinə yetirilib. Sadə zəng 8, onlardan 2-sində qiymət sualı olmayıb (tətbiq olunmur), qalan 6-nın 3-ündə yerinə yetirilib. Cəmi: 6 / 18 = 33%.
2. 2Təlimdən sonraMürəkkəb zəng 4, meyar 2-də yerinə yetirilib. Sadə zəng 16, 4-ü tətbiq olunmur, qalan 12-nin 11-ində yerinə yetirilib. Cəmi: 13 / 16 = 81%.

Təkmilləşmə realdır — hər iki zəng növündə pay artıb. Amma 33%-dən 81%-ə sıçrayışın bir hissəsi ondan gəlir ki, ikinci dövrdə mürəkkəb zənglər 12-dən 4-ə düşüb. Sonrakı nəticəni əvvəlki dövrün tərkibinə gətirəndə (12 mürəkkəb × 50% + 6 sadə × 92%) / 18 təxminən 64% alınır. Hesabata düşməli olan rəqəm budur, 81% yox.

Forma dəyişəndə nəticələr müqayisə olunmur

Təlimlə eyni vaxtda qiymətləndirmə meyarı da dəyişə bilər: meyar dəqiqləşdirilir, yeni addım əlavə olunur, cavab variantlarının tərifi dəyişir. Belə halda əvvəlki və sonrakı ballar fərqli ölçü ilə ölçülüb.

• Hər qiymətləndirmənin hansı forma versiyası ilə edildiyi qeyd olunmalıdır
• Təlimin ölçüldüyü dövrdə forma dəyişməməlidir; dəyişməlidirsə, əvvəlki zənglər də yeni versiya ilə yenidən qiymətləndirilməlidir
• AWS-in qiymətləndirmə forması sənədlərində də qeyd olunur ki, fərqli qiymətləndirmə rejimi ilə edilmiş tarixi qiymətləndirmələr birbaşa müqayisə edilə bilməz

Dövr seçimi və gözləmə müddəti

1. 1Əvvəlki dövrTəlimdən dərhal əvvəlki iki-dörd həftə. Çox köhnə dövr götürmək başqa dəyişiklikləri də daxil edir — mövsüm, yeni məhsul, yeni qiymət.
2. 2Keçid dövrüTəlimdən sonrakı ilk bir neçə gün adətən sayılmır: operator yeni davranışı yenicə sınayır və nəticə qeyri-sabitdir.
3. 3Sonrakı dövrKeçiddən sonra əvvəlki dövrlə eyni uzunluqda. Mümkünsə, bir ay sonra ikinci ölçmə — davranış vərdişə çevrilibmi, yoxsa geri qayıdıb?

Müqayisə qrupu

Ən etibarlı yoxlama təlim keçməyən oxşar operatorlar qrupu ilə müqayisədir. Əgər eyni dövrdə onların da hədəf meyarı eyni dərəcədə yaxşılaşıbsa, səbəb təlim deyil — ola bilər ki, müştəri axını dəyişib və ya yeni kampaniya başlayıb.

Kiçik komandada bu həmişə mümkün olmur. Onda ən azı nəzarət meyarlarına baxmaq və başqa dəyişiklikləri — yeni skript, yeni məhsul, növbə dəyişikliyi — hesabatda qeyd etmək lazımdır.

Nəticə yoxdursa: dörd səbəb

Bəzən düzgün ölçmə «dəyişiklik yoxdur» göstərir. Bu, təlimin boşuna olduğu demək deyil — səbəbi tapmaq növbəti planı yaxşılaşdırır.

1. 1Davranış çox ümumi yazılıb«Müştəriyə daha diqqətli olmaq» ölçülə bilmir və məşq edilə bilmir. Davranışı bir cümlə ilə, müşahidə ediləcək formada yenidən yazın.
2. 2Məşq real zəngə bənzəmirRol oyununda asan müştəri oynanılıb, real zənglərdə isə etiraz edən müştəri gəlir. Məşqi ən çox rast gəlinən çətin situasiyaya uyğunlaşdırın.
3. 3Şərait dəyişməyibOperator yeni davranışı bilir, amma sistem ona vaxt vermir və ya skript başqa şey tələb edir. Bu, təlim yox, proses məsələsidir.
4. 4Ölçü həssas deyilMeyarın tərifi o qədər genişdir ki, həm yaxşı, həm pis cavab «yerinə yetirilib» alır. Meyarı dəqiqləşdirin və əvvəlki zəngləri də yeni versiya ilə yenidən qiymətləndirin.

Nəticəni necə yazmaq

• Hədəf meyar və onun tərifi
• Hər dövrdə tətbiq olunan zəng sayı və «qiymətləndirmək mümkün deyil» sayı
• Zəng növünə görə bölünmüş nəticə
• Forma versiyası və dövr ərzində dəyişib-dəyişmədiyi
• Eyni dövrdə baş verən başqa dəyişikliklər
• Nəticə: «təkmilləşmə var», «dəyişiklik yoxdur» və ya «nəticə qeyri-müəyyəndir» — sonuncu da dürüst və faydalı cavabdır

Hüdudlar

• Az sayda zəngdən çıxan dəyişiklik təsadüf ola bilər; kəskin faizlər xüsusilə ehtiyatla oxunur
• Satışın artması təlimin uğurunu tək başına sübut etmir — satış məhsuldan, qiymətdən və lead-in keyfiyyətindən də asılıdır
• AI qiymətləndirməsinin öz xətası var; hədəf meyar üzrə bir neçə zəngi insan da yoxlamalıdır
• Təlimin nəticəsi operatorun mükafatı və ya intizamı üçün tək əsas olmamalıdır

Vexvon Audio Analyzer-də nə var

• Hər zəngdə zəng standartınızın hər addımı «yerinə yetirilib», «qismən», «buraxılıb» və ya «tətbiq olunmur» kimi qiymətləndirilir — hədəf meyarın payını məxrəci düzgün hesablamaq üçün lazım olan status elə buradır
• Zəng standartının versiyası var: hər zəng hansı mətn və hansı versiya ilə qiymətləndirildiyini saxlayır, ballar yalnız eyni versiya daxilində müqayisə olunur
• Standart dəyişəndə köhnə zənglərin mövcud transkripti yeni standartla yenidən analiz edilə bilər — səs yenidən mətnə çevrilmədən
• Hər qərarın yanında transkript sətirləri var — insanın seçmə yoxlaması asanlaşır

Ətraflı: Vexvon Audio Analyzer. Təlim planının necə yazılacağını aşağı baldan təlim planına yazısında açmışıq.

İlk addım

Növbəti təlimdən əvvəl hədəf meyarı, müqayisə ediləcək zəng növünü və iki dövrü yazın. Təlimdən sonra nəticəni ümumi pay kimi yox, zəng növünə görə göstərin. Bu yazı müştəri dəstəyi keyfiyyəti və operator inkişafı bölməsinə aiddir. Öz yazılarınızla sınamaq üçün bizimlə əlaqə saxlayın.

Mövzunun davamı: operatorların ədalətli müqayisəsi, scorecard versiyası.