Crawling news articles

Question

Кто-нибудь знает, есть ли стандарты/api для обхода новостей из большинства крупнейших источников новостей.

Я использую rss для их индексации, но я бы хотел классифицировать их с большим количеством данных, чем только их названия.

Answer 1

Использование поиска новостей или потокового API:

http://www.daylife.com

http://spotlight.reuters.com

https://newsriver.io/

Answer 2

Если я правильно прочитал, вы имеете в виду Atom?

Там также RSS specifications

Answer 3

Если вы ищете API для обхода новостей из нескольких источников , вы можете рассмотреть Newsriver. Это новейший API для извлечения структурированных онлайн-новостей.

Newsriver охватывает большое количество онлайн-источников новостей, и это полностью настраивается.

Основное преимущество использования ползание в качестве сервиса API является то, что вам больше не придется управлять следующими аспектами:

1. Найти и сохранить RSS Новости издателей каналы и веб-сайты URL-адреса.
2. Корректировка по URL, вращение и канонизация.
3. Запросы дросселирования (во избежание злоупотреблений).
4. Обход сканирования и динамического сканирования (Ajax).
5. Содержание экстракция, первичный текст, встроенные объекты, такие как изображения, видео, карты, твиты и т.д.
6. извлечения метаданных (язык, местоположение, ключевые слова и т.д., например) обнаружения статей
7. Дублирование новостей.