twitter API ограничивает твиты до одного дня, tweepy

Question

Я пытаюсь извлечь данные из Twitter более месяца или около того для проекта. Есть < 10000 твитов за этот период времени с этим хэштегом, но я только, кажется, получаю все твиты с текущего дня. Вчера я получил 68 и 80 сегодня; оба были отмечены с сегодняшним днем.

api = tweepy.API(auth) 
igsjc_tweets = api.search(q="#igsjc", since='2014-12-31', count=100000) 

ipdb> len(igsjc_tweets) 
80 

Я точно знаю, что должно быть более 80 твитов. Я слышал, что ставки на Twitter превышают 1500 твитов за раз, но также ли это ограничение скорости до определенного дня? Обратите внимание, что я также попробовал Cursor подход с

igsjc_tweets = tweepy.Cursor(api.search, q="#igsjc", since='2015-12-31', count=10000) 

Это также только получает мне 80 твитов. Любые советы или предложения о том, как получить полные данные, будут оценены.

Answer 1

Вот official tweepy tutorial on Cursor. Примечание: вам необходимо выполнить итерацию через Cursor, как показано ниже. Кроме того, есть максимальное количество, которое вы можете пройти .items(), поэтому, вероятно, неплохо потянуть месяц за месяцем или что-то подобное и, вероятно, хорошая идея в sleep между звонками. НТН!

igsjc_tweets_jan = [tweet for tweet in tweepy.Cursor(
        api.search, q="#igsjc", since='2016-01-01', until='2016-01-31').items(1000)] 

Answer 2

Во-первых, tweepy не может принести слишком старые данные, используя свой поисковый API я не знаю точное ограничение, но, может быть, месяц или два назад только.

в любом случае, вы можете использовать этот кусок кода для получения твитов. Я запускаю его, чтобы получить твиты за последние несколько дней, и это работает для меня.

обратите внимание, что вы можете уточнить и добавить геокодирования информацию - я оставил пример закомментирована для вас

flag = True 
last_id = None 
while (flag): 
    flag = False 
    for status in tweepy.Cursor(api.search, 
          #q='geocode:"37.781157,-122.398720,1mi" since:'+since+' until:'+until+' include:retweets', 

          q="#igsjc", 
          since='2015-12-31', 

          max_id=last_id, 
          result_type='recent', 
          include_entities=True, 
          monitor_rate_limit=False, 
          wait_on_rate_limit=False).items(300): 
     tweet = status._json 
     print(Tweet) 

     flag = True # there still some more data to collect 
     last_id = status.id # for next time 

Успехов