Пределы анализа тональности в соцсетях

Короткий ответ

Анализ тональности — автоматическая оценка тона текста по отношению к определённому объекту, например вашему бренду: позитивный, нейтральный, негативный или смешанный. Он может показать направление: растёт ли доля негативных постов, какие темы идут с негативным тоном, что изменилось после кампании. Но он не измеряет, что на самом деле чувствует автор, часто неверно читает сарказм и иронию, слабеет на коротких и смешанных по языку текстах и ничего не знает вне текста. Поэтому метка тональности — не решение, а сигнал для проверки человеком; по отдельному посту решает тот, кто читает текст.

Что такое метка тональности

Метка тональности — суждение модели после чтения текста. Она не говорит «автор зол», она говорит «этот текст звучит негативно по отношению к бренду». Разница важна. Если в посте «наконец пришло, но коробка смята», автор и рад, и недоволен; метка может записать «смешанный», но не знает настоящих чувств автора и того, что он сделает дальше. Поэтому тональность нужно подавать как оценку тона текста, а не как измерение эмоций.

Что она может показать

• Направление — как меняется доля негативных или позитивных постов со временем.
• Связь с темами — какие темы (доставка, цена, сервис) идут с более негативным тоном.
• Эффект события — изменился ли тон после кампании, изменения цены или проблемы.
• Сортировку — поднять негативные посты наверх в ежедневной проверке, если окончательное решение остаётся за человеком.

Семь слабых мест

• Сарказм и ирония — «отличный сервис, всего три часа ждал» — негативная мысль позитивными словами.
• Смешанный язык и сленг — азербайджанские, русские и английские слова в одном предложении, местные выражения, написание без особых букв.
• Очень короткий текст — «хм», «опять», один эмодзи: без контекста почти не читается.
• Путаница объекта — «X хороший, а Y ужасный»: к кому относится негатив?
• Смешанный тон — похвала и жалоба в одном посте; одна метка не отражает оба.
• Отраслевые слова — «тяжёлый» (вес), «острый» (вкус), «холодный» (напиток) могут быть нейтральными или позитивными.
• Контекст вне текста — пост отвечает на прежний спор или с картинкой несёт другой смысл.

Ловушки агрегирования

Неверная метка на одном посте — мелкая проблема. При агрегировании многих постов ошибки могут стать системными. Первое — состав источников: в неделю, полную повторов новостей, растёт доля нейтрального, и всё выглядит «лучше». Второе — повторы: когда один негативный пост расшарен в десяти местах, доля негатива растёт в десять раз. Третье — объём: доля негатива упала, а число выросло — что важнее? Поэтому процент тональности всегда давайте вместе с уникальными постами и составом источников.

Как проверить надёжность

1. 1Слепая выборкаВыберите 50 случайных постов и скройте их метки.
2. 2Метки людейДва человека размечают отдельно; спорные посты обсуждают.
3. 3СравнениеНа скольких постах автоматическая метка совпала с человеческой?
4. 4Список ошибокЗапишите типы расхождений: сарказм, смешанный язык, объект; какая ошибка чаще всего?

Повторяйте проверку раз в квартал и при изменении списка источников. Результат — не общая цифра «точности», а знание о том, что работает и что нет на ваших источниках и темах.

Как отчитываться

• Давайте процент тональности по уникальным постам, а не по всем упоминаниям.
• Указывайте состав источников — новости, форумы, сайты отзывов.
• Подчёркивайте изменение, а не одну цифру: «доля негатива выросла с 12% до 19%, в основном по доставке».
• Рядом с каждой цифрой — две-три типичные цитаты, чтобы читатель сам увидел тон.
• Отмечайте слабые места, найденные в последней проверке.

Где тональность нельзя использовать

Метка тональности не должна быть основой решений об отдельных людях — ни о клиенте, ни о сотруднике, ни об авторе поста. «Негативная» метка на посте клиента не делает его «проблемным клиентом»; негативный пост с именем сотрудника не может быть единственным основанием для его оценки, премии или дисциплинарного взыскания. В юридических, финансовых вопросах и вопросах безопасности метка тона используется только для того, чтобы показать пост человеку.

Иллюстративный пример

Это иллюстративный пример. В еженедельном отчёте сети ресторанов доля негатива вдруг падает с 8% до 3%. Команда рада, но, посмотрев уникальные посты, видит, что за неделю местный новостной портал 30 раз повторил новость о новом филиале сети в разных разделах — доля нейтрального раздулась. По уникальным постам клиентов доля негатива на самом деле выросла с 8% до 11%, в основном по теме «заказ пришёл поздно». Слепая проверка показала и то, что несколько постов со словом «холодный» («холодный лимонад был отличный») ошибочно получили негативную метку.

Отличие от ваших разговоров

Тональность в открытом тексте работает иначе, чем в собственных звонках и чатах компании: публичные посты короткие, контекста мало, язык свободнее, объект часто неясен. Как тональность связана с удовлетворённостью клиентов в ваших собственных разговорах — в статье тональность и удовлетворённость.

Ограничения

Ни одна модель тональности не работает правильно на всех текстах, и точность сильно зависит от источника, языка и темы. В статье нет процента точности: его нужно измерять на ваших данных. Метка тона не определяет точно эмоцию, намерение или будущее поведение. Не делайте автоматические метки главным показателем отчёта, не измерив их.

Типичные ошибки

• Считать процент тональности по всем упоминаниям.
• Давать одну цифру без контекста.
• Никогда не сверять метки с выборкой людей.
• Выдавать тональность за измерение эмоций.
• Основывать решения об отдельных людях на тоне.

Тон в Vexvon Monitoring

Vexvon Monitoring фиксирует тон каждого найденного поста одним из четырёх значений — позитивный, нейтральный, негативный или смешанный — и читает его как тон по отношению к бренду с учётом профиля компании. Тон отделён от приоритета: приоритет показывает, насколько быстро нужна реакция, тон — как пост звучит. У каждого результата есть причина и краткое изложение в одно предложение, чтобы быстро сверить метку с текстом. Процент точности не заявляется — проверьте его на своей выборке. Подробнее — Vexvon Monitoring.

Следующий шаг

В этом месяце проведите слепую проверку на 50 постах: два человека размечают отдельно, сравните с автоматической меткой и запишите типы ошибок. Со следующего отчёта давайте процент тональности по уникальным постам и с цитатами. Протокол реакции на негатив — в статье раннее выявление негатива; другие темы — в разделе о запросах, данных и надёжности мониторинга.