Дубли упоминаний: как отделить повторы

Короткий ответ

Чтобы отделить одинаковые посты и повторные упоминания, сначала распознайте тип дубля: одна страница по разным адресам, новость, перепечатанная на других сайтах, один пост в нескольких местах, цитата или репост, отредактированный пост и почти одинаковые копии. Затем объединяйте их по одному из трёх ключей: идентификатор поста на платформе, канонический адрес или отпечаток текста. В отчётах считайте уникальные публикации и уникальных авторов, а не посты. Не удаляйте дубли — привязывайте их к одному результату: частота повторения тоже бывает сигналом.

Почему дубли — проблема

Дубли вредят трижды. Во-первых, время: команда десять раз читает одну новость на десяти сайтах. Во-вторых, цифры: когда пресс-релиз перепечатывают пятнадцать сайтов, число упоминаний растёт в пятнадцать раз, и отчёт лжёт. В-третьих, решения: когда жалобу одного клиента расшарили на трёх форумах, она выглядит как «три жалобы», и приоритеты ставятся неверно. Разделение дублей — самая незаметная, но самая полезная чистка в мониторинге.

Шесть типов дублей

• Одна страница, разные адреса — параметры отслеживания, мобильная версия, адрес с «www» и без.
• Перепечатанная новость — пресс-релиз или новость агентства на нескольких сайтах с тем же текстом.
• Кросс-пост — один автор размещает тот же текст в нескольких группах или форумах.
• Цитата и репост — чужой пост с комментарием или без.
• Отредактированный пост — тот же пост, но текст позже изменился или появились новые комментарии.
• Почти одинаковые копии — тексты с одним-двумя изменёнными словами, включая спам.

Три ключа дедупликации

1. 1Идентификатор платформыЕсли платформа даёт посту уникальный ID, это самый надёжный ключ: тот же ID — тот же пост.
2. 2Канонический адресЕсли ID нет, адрес нормализуется: убираются параметры отслеживания, «www», завершающий «/»; если у страницы есть свой канонический адрес, берётся он.
3. 3Отпечаток текстаДля одинакового текста на разных сайтах: текст нормализуется, по нему считается короткий отпечаток; одинаковый отпечаток — одинаковое содержание.

Внутри поиска и между поисками

Это два разных вопроса. Первый: нет ли среди сегодняшних результатов одного и того же дважды? Это дедупликация внутри поиска. Второй: не видели ли мы сегодняшний пост вчера? Это дедупликация между поисками, и для ежедневной работы она важнее. Пост, просмотренный вчера и не изменившийся, сегодня показываться не должен. Но если его текст изменился — например, в ветке форума появились новые комментарии, — он должен вернуться как «обновлён»: ситуация изменилась.

Как считать в отчётах

• Уникальные публикации — число после объединения дублей.
• Уникальные авторы — десять постов одного человека считаются одним автором.
• Число источников — на скольких сайтах появилась уникальная публикация; мера распространения.
• Общее число упоминаний — только с контекстом и рядом с «уникальной» цифрой; само по себе вводит в заблуждение.

Охват (сколько людей увидели) — не число упоминаний, и из открытых источников он точно не измеряется. В отчёт такая цифра попадает только при наличии официальных данных платформы.

Когда дубли — сигнал

Иногда само повторение — информация. Если жалобу за короткое время расшарили во многих форумах и группах, это сигнал распространения, и может понадобиться кризисная проверка. Один и тот же текст с разных аккаунтов в одно время — признак скоординированной кампании или спама: такие посты нельзя считать голосом клиентов, их нужно отмечать отдельно. Поэтому, объединяя дубли, сохраняйте сведения «в скольких источниках» и «за какое время».

Иллюстративный пример

Это иллюстративный пример. Банк выпускает пресс-релиз о новой карте, и за день появляется 42 упоминания. После дедупликации картина такая: пресс-релиз на 18 новостных сайтах с одинаковым текстом (одна уникальная публикация, 18 источников), собственный пост банка, расшаренный в 9 группах (одна уникальная публикация), 6 вопросов клиентов и 2 жалобы — одна из них кросс-постом на трёх форумах. Итог: не 42 упоминания, а 10 уникальных публикаций и 9 уникальных авторов-клиентов. В отчёте даются эти две цифры, а 42 — только в контексте распространения.

Отредактированные посты

При редактировании поста возможны две ошибки. Первая — посчитать его новым: число упоминаний искусственно растёт. Вторая — скрыть его как старый: текст изменился, и, возможно, автор усилил жалобу или написал «решено». Правильно: хранить его как тот же пост, но отмечать изменение. Если отпечаток считается только по части, касающейся бренда, изменения в других местах страницы — например, обновление ленты новостей — не создают ложного сигнала.

Ограничения

Ни одно правило дедупликации не ловит все случаи. Копии с одним-двумя изменёнными словами могут дать другой отпечаток; разные люди, случайно написавшие одну и ту же короткую фразу, могут быть ошибочно объединены. Комментарий, добавленный к цитате или репосту, — новая информация, и считать такой пост чистым дублем — ошибка. Важные результаты требуют взгляда человека.

Типичные ошибки

• Выдавать общее число упоминаний за главный показатель.
• Удалять дубли и терять сведения о распространении.
• Считать отредактированный пост новым.
• Каждый день перечитывать вчерашние посты.
• Считать скоординированный спам голосом клиентов.

Связь с отчётностью

Правила дедупликации определяют надёжность отчёта. Как использовать число уникальных публикаций и авторов в еженедельном отчёте — в статье еженедельный отчёт о репутации для CEO; как строить сами ключевые слова — в статье ключевые слова для мониторинга.

Дедупликация в Vexvon Monitoring

Vexvon Monitoring не записывает один и тот же результат дважды внутри поиска: объединяет по ID платформы, если он есть, иначе — по каноническому адресу и ключевому слову. Между поисками для каждого результата хранится отпечаток содержания: показанный раньше и не изменившийся пост помечается как повтор и по умолчанию скрывается, а пост с изменённым текстом снова показывается как «обновлён». На веб-страницах отпечаток считается по тексту вокруг ключевого слова, поэтому изменения в другом месте страницы не дают ложного «обновлён». Посты одного автора с одинаковым текстом за короткое время сводятся к одному результату. Подробнее — Vexvon Monitoring.

Следующий шаг

Возьмите результаты за прошлую неделю и посчитайте три числа: всего упоминаний, уникальных публикаций и уникальных авторов. Если разница большая, переведите отчёт на уникальные цифры уже с этой недели. Другие статьи — в разделе о запросах, данных и надёжности мониторинга.