Qiymətləndirmə meyarları dəyişəndə köhnə və yeni balları necə müqayisə etmək olar

Qısa cavab

Qiymətləndirmə meyarları dəyişəndə yeni və köhnə ballar birbaşa müqayisə olunmur, çünki onlar fərqli ölçü ilə ölçülüb. Düzgün yanaşma scorecard versiyasını idarə etməkdir: hər dəyişiklik yeni versiya nömrəsi alır, hər zəng hansı versiya ilə qiymətləndirildiyini saxlayır, keçid dövründə eyni test zəngləri hər iki versiya ilə qiymətləndirilir və hesabatda müqayisə edilə bilməyən nəticələr açıq işarələnir. Beləliklə, «keyfiyyət düşdü» ilə «ölçü dəyişdi» bir-birindən ayrılır.

Nə dəyişəndə yeni versiya lazımdır

• Meyarın mətni və ya «bəli», «qismən», «xeyr» tərifləri
• «Tətbiq olunmur» şərti
• Meyar əlavə edilməsi və ya çıxarılması
• Çəkilər və ya hesablama qaydası
• Formanın aid olduğu zəng növləri
• Qiymətləndirməni aparan AI modeli və ya onun təlimatı — forma eyni qalsa belə

Kiçik orfoqrafik düzəliş versiya tələb etmir. Amma «növbəti addım» meyarına «vaxt da deyilməlidir» şərtini əlavə etmək artıq başqa ölçüdür.

Niyə köhnə və yeni bal müqayisə olunmur

İllüstrativ nümunə. Komanda «növbəti addım» meyarını sərtləşdirir: əvvəl «geri zəng edərik» də «bəli» sayılırdı, indi konkret vaxt və ya məsul şəxs tələb olunur. Növbəti ay orta bal beş bal düşür. Rəhbərlik «keyfiyyət pisləşdi» qənaətinə gəlir və təlim planlaşdırır. Halbuki operatorlar əvvəlki kimi danışır — dəyişən yalnız ölçüdür.

AWS-in qiymətləndirmə formaları sənədi eyni problemi qiymətləndirmə rejimi üçün qeyd edir: mövcud formada hesablama rejimini dəyişməyi yox, yeni forma yaratmağı tövsiyə edir, çünki əvvəlki rejimlə tamamlanmış qiymətləndirmələr yenisi ilə birbaşa müqayisə edilə bilmir.

Versiya qeydi: şablon

• Versiya nömrəsi və qüvvəyə minmə tarixi
• Nə dəyişdi — meyar və köhnə, yeni mətn yan-yana
• Niyə dəyişdi — kalibrasiya qərarı, etiraz, yeni məhsul, hüquqi tələb
• Gözlənilən təsir — hansı meyarda bal artacaq və ya azalacaq
• Test zənglərində ölçülmüş faktiki təsir
• Köhnə dövr üçün qərar — yenidən qiymətləndirilir, yoxsa ayrıca göstərilir
• Kim təsdiqlədi və operatorlara nə vaxt elan edildi

«Qızıl dəst»: eyni test zəngləri

20–30 zəngdən ibarət sabit dəst saxlayın: müxtəlif növdə, nəticələri insanlar tərəfindən razılaşdırılmış zənglər. Hər yeni versiya əvvəlcə bu dəstdə yoxlanılır. Bu, yeni versiyanın ölçünü nə qədər dəyişdiyini davranışdan asılı olmayaraq göstərir.

1. 1Qızıl dəst, v325 zəngin orta balı 74.
2. 2Qızıl dəst, v4Eyni 25 zəngin orta balı 69 — ölçü 5 bal sərtləşib.
3. 3Real ay, v3Keçən ayın orta balı 76.
4. 4Real ay, v4Bu ayın orta balı 71 — fərq −5.
5. 5Davranış dəyişikliyi(71 − 76) − (69 − 74) = −5 − (−5) = 0. Operatorların davranışı dəyişməyib; düşüş tamamilə yeni ölçüdəndir.

Keçid dövrü addım-addım

1. 1Paralel qiymətləndirməYeni versiya qüvvəyə minməzdən əvvəl qızıl dəst və son iki həftənin bir neçə zəngi hər iki versiya ilə qiymətləndirilir.
2. 2Təsiri ölçünMeyar üzrə fərq hesablanır və versiya qeydinə yazılır.
3. 3Elan edinOperatorlara tarix, dəyişən meyar və onun nümunəsi göstərilir.
4. 4Hesabatda sərhəd qoyunQrafikdə versiya dəyişikliyi xətt və ya qeyd ilə işarələnir; köhnə və yeni ortalama bir xəttə birləşdirilmir.
5. 5Köhnə dövr barədə qərarTrend lazımdırsa, köhnə zənglərin bir hissəsi yeni versiya ilə yenidən qiymətləndirilir; lazım deyilsə, dövrlər ayrıca göstərilir.

Model dəyişikliyi də versiyadır

Forma eyni qalsa belə, qiymətləndirməni aparan AI modeli və ya onun təlimatı dəyişə bilər və nəticələr dəyişər. AWS bu məsələni ayrıca həll edir: onların formalarında generativ AI versiyası forma versiyası ilə birlikdə saxlanılır, konkret versiyanı sabit saxlamaq və yenisini əvvəlcədən sınamaq mümkündür. Hansı alətdən istifadə etsəniz də, prinsip eynidir: model dəyişikliyini də versiya kimi qeyd edin və qızıl dəstdə yoxlayın.

Operatorlara elan: nümunə mətn

Versiya dəyişikliyini operatorlar hesabatdan yox, əvvəlcədən öyrənməlidir. İllüstrativ elan: «1 noyabrdan «Növbəti addım» meyarı dəyişir. Bundan sonra «geri zəng edərik» cümləsi kifayət deyil — konkret gün və ya saat, yaxud məsul şəxsin adı deyilməlidir. Nümunə: «Sabah saat 11-də menecerimiz Rauf sizə zəng edəcək». Bu dəyişiklikdən sonra bu meyar üzrə ballarınız bir müddət aşağı görünə bilər; oktyabrın nəticələri ilə birbaşa müqayisə edilməyəcək.»

Elanın son cümləsi vacibdir: o, operatorlara balın düşməsinin onların işinin pisləşməsi kimi oxunmayacağını əvvəlcədən deyir.

Kiçik komandada versiyalar

On-on beş operatorlu komanda üçün bütün proses ağır görünə bilər. Minimal variant belədir: meyar sənədinin başında versiya nömrəsi və tarix, bir səhifəlik dəyişiklik siyahısı və on zənglik qızıl dəst. Qızıl dəst kiçik olduqca onun nəticəsinə ehtiyatla baxın, amma hətta on zəng də ölçünün nə qədər dəyişdiyini təxminən göstərir və «keyfiyyət düşdü» panikasının qarşısını alır.

Hüdudlar

Qızıl dəst kiçikdir və bütün zəng növlərini əhatə etməyə bilər — ölçünün təsiri real ayda bir qədər fərqli ola bilər. Davranış dəyişikliyinin hesabı təxminidir, xüsusən zəng axını da eyni vaxtda dəyişibsə. Çox tez-tez versiya dəyişikliyi trendi tamamilə oxunmaz edir: meyarları toplayın və rübdə bir-iki dəfə dəyişin, təcili hüquqi tələblər istisna olmaqla.

Vexvon Audio Analyzer-də versiyalar

Vexvon Audio Analyzer bu yanaşma üçün qurulub. Standartın mətni hər dəfə dəyişəndə versiya nömrəsi artır. Hər zəng hansı standartın hansı versiyası ilə qiymətləndirildiyini və o anki mətnin surətini saxlayır — standartı sonradan redaktə etmək və ya silmək köhnə balın mənasını dəyişmir. Mövcud transkript audioya yenidən müraciət etmədən yeni versiya ilə təkrar qiymətləndirilə bilir, buna görə qızıl dəsti hər versiyada yenidən qiymətləndirmək bahalı deyil.

Versiyanın səbəbi adətən kalibrasiya qərarıdır; müqayisə qaydaları üçün operatorların ədalətli müqayisəsi yazısına baxın.

İlk addım

İnsanlar tərəfindən razılaşdırılmış nəticələri olan 20–30 zəngdən qızıl dəst yaradın və hazırkı formanızın nəticəsini qeyd edin. Növbəti meyar dəyişikliyindən əvvəl eyni dəsti yeni mətnlə qiymətləndirin. Digər yazılar operator qiymətləndirməsi bölməsindədir; bizimlə əlaqə saxlayın.

Mövzunun davamı: operator qiymətləndirmə forması.