Как настроить Apache Flume для получения данных из Twitter за определенный период?

Question

У меня есть кластер hadoop и apache flume для интеграции данных из твиттера в HDFS, он по умолчанию извлекает данные по хронологическому порядку, так как первый твит будет получен первым и аналогичным образом, и теперь у меня есть возможность получать определенные данные из твиттера для конкретных период, скажем, месяц февраль 2013 года. Пожалуйста, дайте мне знать, есть ли какая-либо конфигурация или свойство в лотерее или Twitter. Должна быть установлена ​​ручка.

Заранее спасибо.

Answer 1

Возможно, вы захотите использовать настроенный источник для лотка.

http://blog.cloudera.com/blog/2012/10/analyzing-twitter-data-with-hadoop-part-2-gathering-data-with-flume/

TwitterSource упоминается в приведенной выше ссылке поможет вам получить данные твиттера на основе ключевых слов.