Как обнаружить измененные и новые элементы в ленте RSS?

Question

Использование feedparser или другой библиотеки Python для загрузки и анализа RSS-каналов; как я могу надежно обнаруживать предметы new и modified?

До сих пор я видел новые элементы в фидах с датами публикации раньше, чем последний элемент. Также я видел, как читатели каналов отображали один и тот же элемент, опубликованный с немного другим контентом, как отдельные элементы. Я не внедряю приложение для чтения фидов, я просто хочу разумную стратегию для архивирования данных фида.

Answer 1

Это зависит от того, насколько вы доверяете источнику подачи. feedparser предоставляет атрибут .id для элементов фида - этот атрибут должен быть уникальным как для источников RSS, так и для ATOM. Например, см., Например, feedparser's ATOM docs. Хотя .id будет охватывать большинство случаев, вполне возможно, что источник может опубликовать несколько элементов с одним и тем же идентификатором. В этом случае у вас нет большого выбора, кроме как хэш содержимого элемента.