Sentiment analizinin sərhədləri: nəyi göstərmir

Qısa cavab

Sentiment analizi mətnin müəyyən bir obyektə — məsələn, brendinizə — qarşı tonunun avtomatik təxminidir: müsbət, neytral, mənfi və ya qarışıq. O, istiqaməti göstərə bilir: mənfi yazıların payı artırmı, hansı mövzular mənfi tonla gəlir, kampaniyadan sonra nə dəyişdi. Amma o, yazanın həqiqi hissini ölçmür, istehzanı və ironiyanı tez-tez səhv oxuyur, qısa və qarışıq dilli mətnlərdə zəifləyir və kontekstdən kənar məlumatı bilmir. Ona görə sentiment etiketi qərar deyil, insan yoxlaması üçün siqnaldır; tək yazı üzrə qərarı mətni oxuyan insan verir.

Sentiment etiketi əslində nədir

Sentiment etiketi bir modelin mətni oxuyub verdiyi qiymətdir. O, «müəllif əsəbidir» demir — «bu mətn brendə qarşı mənfi səslənir» deyir. Bu fərq vacibdir. Mətndə «nəhayət gəldi, amma qutu əzilmişdi» yazılıbsa, müəllif həm sevinir, həm də narazıdır; etiket bunu «qarışıq» kimi qeyd edə bilər, amma müəllifin həqiqi hissini və növbəti davranışını bilmir. Ona görə sentiment-i emosiyanın ölçüsü kimi yox, mətnin tonu haqqında təxmin kimi təqdim etmək lazımdır.

Nəyi göstərə bilir

• İstiqamət — mənfi və ya müsbət yazıların payı zamanla necə dəyişir.
• Mövzu ilə əlaqə — hansı mövzular (çatdırılma, qiymət, xidmət) daha çox mənfi tonla gəlir.
• Hadisənin təsiri — kampaniya, qiymət dəyişikliyi və ya problemdən sonra ton dəyişdimi.
• Çeşidləmə — gündəlik baxışda mənfi yazıları önə çıxarmaq, amma son qərar insanda qalmaq şərti ilə.

Yeddi zəif nöqtə

• İstehza və ironiya — «əla xidmət, cəmi üç saat gözlədim» müsbət sözlərlə mənfi fikirdir.
• Qarışıq dil və jarqon — Azərbaycan, rus və ingilis sözləri bir cümlədə, yerli ifadələr, hərfsiz yazılış.
• Çox qısa mətn — «hmm», «yenə», bir emoji: kontekstsiz demək olar ki, oxunmur.
• Hədəf qarışıqlığı — «X yaxşıdır, Y isə dəhşətdir»: mənfi ton kimə aiddir?
• Qarışıq ton — bir yazıda həm tərif, həm şikayət; bir etiket hər ikisini əks etdirmir.
• Sektor sözləri — «ağır» (çəki), «kəskin» (dad), «soyuq» (içki) neytral və ya müsbət ola bilər.
• Mətndən kənar kontekst — yazı əvvəlki mübahisəyə cavabdır və ya şəkillə birlikdə başqa məna daşıyır.

Toplamada tələlər

Tək yazıda səhv etiket kiçik problemdir. Çox yazını toplayanda isə səhvlər sistemli ola bilər. Birincisi, mənbə qarışığı: xəbər təkrarları çox olan həftədə neytral pay qalxır və «vəziyyət yaxşılaşdı» kimi görünür. İkincisi, təkrarlar: bir mənfi yazı on yerdə paylaşılanda mənfi pay on dəfə artır. Üçüncüsü, həcm: mənfi yazıların payı azalıb, amma sayı artıb — hansı vacibdir? Ona görə ton faizini həmişə unikal yazılar və mənbə tərkibi ilə birlikdə verin.

Etibarlılığı necə yoxlamaq

1. 1Kor seçməTəsadüfi 50 yazı seçin, etiketlərini gizlədin.
2. 2İnsan etiketiİki nəfər ayrıca etiket versin; razılaşmadıqları yazıları müzakirə etsinlər.
3. 3MüqayisəAvtomatik etiket insan etiketi ilə neçə yazıda üst-üstə düşür?
4. 4Səhv siyahısıUyğunsuzluqların növlərini yazın: istehza, qarışıq dil, hədəf; ən çox hansı səhv olur?

Bu yoxlamanı rübdə bir dəfə və mənbə siyahısı dəyişəndə təkrarlayın. Nəticə ümumi «dəqiqlik» rəqəmi deyil — sizin mənbələriniz və mövzularınız üçün nəyin işlədiyi, nəyin işləmədiyi haqqında biliyidir.

Necə hesabat vermək

• Ton faizini unikal yazılar üzrə verin, ümumi mention üzrə yox.
• Mənbə tərkibini qeyd edin — xəbər, forum, rəy saytı.
• Dəyişikliyi vurğulayın, tək rəqəmi yox: «mənfi pay 12%-dən 19%-ə qalxdı, əsasən çatdırılma mövzusunda».
• Hər rəqəmin yanında iki-üç tipik sitat verin ki, oxucu tonu özü görsün.
• Son yoxlamada aşkarlanan zəif nöqtələri qeyd edin.

Sentiment harada istifadə olunmamalıdır

Sentiment etiketi fərdi insanlar haqqında qərar üçün əsas olmamalıdır — nə müştəri, nə əməkdaş, nə də yazının müəllifi barədə. Müştərinin yazısının «mənfi» etiketi onu «problemli müştəri» etmir; əməkdaşın adı keçən mənfi yazı onun qiymətləndirilməsi, mükafatı və ya intizam tədbiri üçün tək əsas ola bilməz. Hüquqi, maliyyə və təhlükəsizlik məsələlərində də ton etiketi yalnız yazını insana göstərmək üçün istifadə olunur.

İllüstrativ nümunə

Bu, illüstrativ nümunədir. Restoran şəbəkəsinin həftəlik hesabatında mənfi pay birdən 8%-dən 3%-ə enir. Komanda sevinir, amma unikal yazılara baxanda görür ki, həftə ərzində bir yerli xəbər portalı şəbəkənin yeni filialı haqqında xəbəri 30 dəfə müxtəlif bölmələrdə təkrarlayıb — neytral pay şişib. Unikal müştəri yazıları üzrə mənfi pay əslində 8%-dən 11%-ə qalxıb, əsasən «sifariş gec gəldi» mövzusunda. Kor seçmə yoxlaması da göstərir ki, «soyuq» sözü olan bir neçə yazı («soyuq limonad əla idi») səhvən mənfi etiket alıb.

Öz danışıqlarınızla fərq

Açıq mətndə sentiment şirkətin öz zəng və çatlarındakı sentimentdən fərqli işləyir: açıq yazılar qısadır, kontekst azdır, dil daha sərbəstdir və hədəf çox vaxt aydın deyil. Öz danışıqlarınızda sentimentin müştəri məmnuniyyəti ilə necə əlaqələndiyini sentiment və müştəri məmnuniyyəti yazısında izah etmişik.

Məhdudiyyətlər

Heç bir sentiment modeli bütün mətnlərdə düzgün işləmir və dəqiqlik mənbədən, dildən və mövzudan çox asılıdır. Bu yazıda dəqiqlik faizi verilmir, çünki o, sizin datanızda ölçülməlidir. Ton etiketi emosiyanı, niyyəti və ya gələcək davranışı dəqiq müəyyən etmir. Avtomatik etiketləri ölçülmədən hesabatın əsas göstəricisi etməyin.

Tez-tez edilən səhvlər

• Ton faizini ümumi mention üzrə hesablamaq.
• Tək rəqəmi kontekstsiz vermək.
• Etiketi heç vaxt insan seçməsi ilə yoxlamamaq.
• Sentiment-i emosiya ölçüsü kimi təqdim etmək.
• Fərdi insanlar haqqında qərarı tona əsaslandırmaq.

Vexvon Monitoring-də ton

Vexvon Monitoring hər tapılan yazının tonunu dörd dəyərdən biri ilə qeyd edir — müsbət, neytral, mənfi və ya qarışıq — və onu brendə qarşı ton kimi, şirkət profilinizlə birlikdə oxuyur. Ton prioritetdən ayrıdır: prioritet yazının nə qədər tez reaksiya tələb etdiyini göstərir, ton isə necə səsləndiyini. Hər nəticədə bir cümləlik səbəb və xülasə var ki, etiketi mətnlə tez yoxlamaq mümkün olsun. Dəqiqlik faizi iddia edilmir — onu öz seçmənizdə yoxlayın. Ətraflı: Vexvon Monitoring.

Növbəti addım

Bu ay 50 yazılıq kor seçmə yoxlaması aparın: iki nəfər ayrıca etiketləsin, avtomatik etiketlə müqayisə edin və səhv növlərini yazın. Növbəti hesabatdan ton faizini unikal yazılar üzrə və sitatlarla verin. Mənfi yazılara reaksiya protokolu mənfi rəyləri erkən aşkarlamaq yazısındadır; digər mövzular monitorinq: sorğu, data və etibarlılıq bölməsindədir.