Как создать надежное многопоточное приложение для twitter api, используя twitter4j?

Question

Я пытаюсь построить соединители для twitter поверх twitter4j с помощью java. Одна из проблем, с которой Twitte4j не справляется и ожидает, что вы будете иметь дело, - это проблема с ограничениями.

Мой подход, чтобы сделать все возможное из twitter api, используя Twitter4j, - это построить несколько потоков поверх него. У меня есть твиты дамп с ничего, кроме tweet id и пользователей с идентификаторами пользователя в моей базе данных. Мне нужны мои нити twitter для запроса twitter и обновления этих таблиц всякий раз, когда в них втекает новая информация. Итак, я построил два разных потока: один, который обновляет таблицу пользователей, и тот, который обновляет таблицу твитов. Поток пользовательского обновления довольно прост в использовании, coz twitter поддерживает запросы до 100 пользователей за один раз (пользователи/поиск). Тем не менее, твитовая нить поддерживает только по одному (твиты/показ). Итак, у меня есть поток «tweet update», запустите еще 5 потоков, в которых каждый поток идет и запрашивает твиттер и обновляет по одному сообщению за раз. Это место, где ratelimit вступает в картину. Итак, в любой момент у меня есть 6 потоков и запрос на TwitterService (мой класс обслуживания). Эти потоки перед запросом всегда проверяют, пострадал ли ratelimit, если да, они переходят в спящий режим. Поэтому метод обслуживания, что потоки вызов выглядит так:

private synchronized void checkRateLimitStatus() { 
     if (rateLimitHit) { 
      try { 
       logger.warn("RateLimit has been reached"); 
       wait(secondsUntilReset * 1000); 
       rateLimitHit = false; 
       secondsUntilReset = 0; 

      } catch (InterruptedException ie) { 
       ie.printStackTrace(); 
      } 
      notifyAll(); 
     } 
    } 

Булева rateLimitHit устанавливается Twitter4J слушателем, который проверяет количество запросов остались. Когда счетчик равен нулю, для этого bool установлено значение true. Код выглядит следующим образом:

public synchronized void onRateLimitStatus(RateLimitStatusEvent evt) { 
       RateLimitStatus status = evt.getRateLimitStatus(); 
       if (status.getRemainingHits() == 0) { 
        rateLimitHit = true; 
        secondsUntilReset = status.getSecondsUntilReset(); 
       } 

      } 

Проблема с этим, скажем, у меня есть еще 3 запросов, оставшихся в Twitter, а также метод checkRateLimitStatus() возвращает ложь для всех 6 запросов (сог это не было set, все же). Таким образом, все потоки начинаются с того, что счетчик еще не равен нулю. Но, когда первые 3 потока выполняются с помощью Twitter, счетчик достигнет нуля, а остальные три потока потерпят неудачу.

Как решить эту проблему? Как сделать эти потоки более надежными?

Answer 1

Предполагая, что получение предельного количества ставок основано на том же обмене сообщениями с Twitter, что и другие действия, всегда есть отставание, которое делает попытки повысить надежность, проверяя этот статус неудачно. Всегда есть шанс, когда статус будет выключен, если вы не будете работать синхронно. Я бы посоветовал вам проверить локальный уровень ограничения скорости передачи и сделать все самовосстанавливающиеся потоки случайными. Также использование механизма wait/notify является хорошей точкой для любых повторяемых действий с точки зрения потери времени CPU.