Дубли новостей в дайджесте: почему одна тема приходит несколько раз

Обычно причина становится понятна, если сравнить сами публикации: повторяется статья, одно событие пересказывают разные редакции или несколько изданий разместили синдицированный материал.

Давайте разберёмся на пальцах, как проверить, почему одна тема приходит несколько раз. Для этого не нужны специальные инструменты: начните со ссылок и времени публикации, затем сравните заголовки и доступные фрагменты текста. Но не спешите считать каждый похожий пункт ошибкой. Иногда за двумя карточками скрываются две самостоятельные новости.

Сначала выясните, что именно повторяется

Одинаковая тема ещё не означает, что перед вами одна и та же публикация. Например, новость о крупном событии может быстро обрасти несколькими материалами: сначала коротким сообщением, затем объяснением последствий, комментарием участника или обновлением с новыми подробностями. В дайджесте эти заметки окажутся рядом, хотя каждая отвечает на свой вопрос.

Полезно разделить совпадения на три группы:

• Одна и та же страница показана повторно. Ссылки ведут на один URL, а заголовок и текст совпадают или почти совпадают. Это похоже на технический повтор записи.
• Один материал опубликован на разных сайтах. Текст в основном одинаковый, но заголовок, подпись автора или оформление страницы отличаются. Так часто выглядит синдикация.
• Разные публикации об одном событии. Тема и факты пересекаются, но у заметок разные акценты, дополнительные сведения или время выхода.

Эти различия важны, потому что внешне похожие карточки не всегда означают, что дайджест дважды добавил одну статью. Редакции могут выпускать собственные материалы по одному инфоповоду, а синдицированную публикацию — адаптировать под свою аудиторию. Сервис, который показывает заголовок и короткое описание, не всегда даёт достаточно данных, чтобы сразу понять, какой вариант перед вами.

Я бы начала с простого вопроса: совпадает ли сама ссылка? Если да, вероятность повторного показа одной страницы выше. Если URL разные, это ещё ничего не доказывает: разные сайты могут разместить одну статью, а один сайт — опубликовать несколько материалов об одном событии. Тогда пригодятся остальные признаки.

Сравните ссылку, заголовок и время

Проверка занимает пару минут, если идти по порядку. Откройте обе карточки и посмотрите, куда они ведут. URL можно сравнить целиком, включая адрес сайта и путь к странице. Иногда ссылки различаются только техническими параметрами после знака вопроса; иногда это действительно разные страницы.

Затем сравните заголовки и фрагменты текста. Заголовок сам по себе ненадёжен: редакция может заменить его, сократить или добавить уточнение, сохранив основную статью. Короткие описания тоже бывают разными, даже если текст публикации почти одинаковый. Лучше искать совпадающие формулировки в нескольких предложениях, имена, цифры и последовательность фактов.

Время особенно полезно, когда одна заметка появилась раньше другой. Если более поздняя публикация содержит новые сведения, уточнения или реакцию, это, скорее всего, обновление истории либо отдельный материал. Если же текст почти не изменился, а вторая версия вышла позже на другом сайте, возможна синдикация.

При этом отметка времени в дайджесте не всегда равна времени первоначальной публикации. Лента может передавать дату записи, сайт — дату обновления, а агрегатор — время, когда заметка попала в его систему. Поэтому время лучше рассматривать вместе со ссылкой, содержанием и источником, а не как единственное доказательство.

Совпадение темы показывает, что публикации говорят об одном событии. Совпадение текста помогает понять, одна ли это статья.

Зачем в RSS нужен GUID

В RSS у записи может быть поле GUID — строковый идентификатор, который помогает агрегатору понять, встречалась ли эта запись раньше. Спецификация RSS 2.0 делает поле необязательным, хотя рекомендует его использовать. За уникальность идентификатора отвечает источник ленты.

Здесь и прячется один из подводных камней: GUID полезен, но не работает как универсальный штамп «дубликатов не будет». Если источник не передаёт идентификатор, меняет его или присваивает отдельные идентификаторы версиям одного материала, агрегатору может быть сложнее сопоставить записи. И наоборот: редакционные изменения иногда не меняют GUID, помогая системе распознать ту же запись после обновления.

У разных издателей, которые публикуют синдицированную статью, будут разные RSS-ленты. Даже если текст почти одинаковый, каждая лента может дать записи собственный идентификатор. Для агрегатора это могут быть две новые записи от двух источников, хотя читателю они покажутся повтором.

Поэтому при ручной проверке GUID — дополнительная подсказка, а не окончательный ответ. Сравните его, если он доступен, но не делайте вывод только по нему. Ещё полезнее посмотреть, совпадают ли URL внутри ленты, заголовок и содержание, а затем проверить, действительно ли две карточки ведут на разные сайты.

Настройки и правила конкретного дайджеста тоже имеют значение. По одним только внешним карточкам нельзя надёжно установить, использует ли сервис GUID, сравнивает ли текст или объединяет близкие публикации. Если повторы продолжаются, сохраните примеры ссылок и заголовков: с ними проще описать проблему поддержке, не пытаясь угадать устройство сервиса.

Почему разные издания публикуют почти одинаковый текст

Синдикация — обычный способ распространения материалов между издателями. Статья может выходить на нескольких сайтах с очень похожим основным текстом. При этом редакции способны менять заголовок, подпись, оформление и отдельные детали: добавлять местный контекст или небольшое уточнение.

Из-за этого автоматическому суммаризатору бывает трудно определить, что считать одной публикацией. Совпадение заголовков не гарантирует полного совпадения текста, а разные заголовки не гарантируют, что перед вами разные статьи. Даже сравнение фрагментов может дать неоднозначный результат, если в них попали только первые общие строки.

Есть и другая ситуация: несколько редакций самостоятельно пишут об одном событии. Например, одна сообщает о решении, другая разбирает его последствия, третья приводит реакцию участников. В короткой выдаче все три заголовка могут выглядеть почти одинаково, особенно если важные подробности остались за пределами описания.

Я бы смотрела на то, что материал добавляет к уже прочитанному. Новая цитата, документ, цифра или объяснение меняют ценность публикации. Повторение общих фактов без нового контекста чаще похоже на близкий дубль. Это не всегда повод удалить карточку: возможно, вам важен сам источник или отдельная редакционная версия.

Отдельный нюанс возникает с обновлениями. Некоторые сайты дополняют страницу по мере развития события, сохраняя прежний адрес; другие выпускают новую заметку. В первом случае дайджест может показать обновлённую статью как прежнюю запись или как новую — всё зависит от того, какие данные передаёт лента и как их обрабатывает сервис. По одной карточке нельзя уверенно сказать, что именно произошло.

Когда короткого фрагмента недостаточно

Если дайджест показывает только заголовок и пару строк описания, этого может не хватить для надёжного сравнения. Платный доступ к материалу тоже ограничивает проверку: агрегатор может видеть меньше текста, чем читатель на странице издателя. Тогда система сравнивает неполные данные, а вам сложнее понять, отличается ли публикация по существу.

В такой ситуации не стоит выносить вердикт по одной похожей фразе. Проверьте доступную часть обеих страниц и обратите внимание на детали, которые обычно меняют смысл: дату, место события, участников, источник сведений, наличие обновления. Если ссылки ведут на разные сайты, посмотрите, совпадает ли основной текст после вводной части и есть ли у каждой версии собственные факты.

Google отдельно описывает, как издателям работать с несколькими версиями одной статьи: для синдицированных копий предусмотрены специальные robots meta tags, а для нескольких страниц с той же статьёй на одном сайте используют rel="canonical". Это рекомендации владельцам публикаций, а не универсальная настройка для читателя. Они объясняют, почему поисковые системы тоже сталкиваются с вопросом, какую версию считать основной, но не позволяют определить механизм конкретного дайджеста.

У новостной выдачи есть и ещё одна особенность: порядок материалов может зависеть от алгоритмов, а часть выдачи персонализируется с учётом настроек и активности пользователя. Поэтому у двух людей один и тот же сервис не обязательно покажет одинаковый набор и порядок публикаций. Это не доказывает наличие или отсутствие дедупликации; просто выдача может учитывать больше факторов, чем одна RSS-лента.

Если вы хотите понять, как проверить, почему одна тема приходит несколько раз именно у вас, сохраните две-три пары примеров. Для каждой запишите URL, заголовок, источник, время и короткое описание. Такая подборка покажет, повторяется ли одна страница, сходятся ли синдицированные версии или дайджест собирает самостоятельные материалы об одном событии.

В итоге удобнее считать повтором не всё, что похоже по теме, а публикации, у которых совпадают ссылка или существенная часть текста и нет заметных новых сведений. Если различия есть, откройте обе версии и сравните, что именно они добавляют. А когда фрагмента недостаточно, оставьте вывод предварительным: это честнее, чем объявлять ошибкой то, что может оказаться отдельной новостью.