Как быстро получить запрос REST нескольких страниц

Question

Я работаю с API-интерфейсом github в python.

Github ограничивает большинство ответов GET на максимум 100 единиц/на страницу. Каждый запрос занимает пару секунд, поэтому 20-страничный запрос не является отличным пользовательским интерфейсом.

Что такое pythonic способ выполнения запросов одновременно.

Answer 1

Существует несколько способов сделать это. Проще всего, вероятно, использовать что-то вроде модуля concurrent.futures (или backported version для Python 2.x).

Однако очень важно помнить, что GitHub применяет ограничения скорости для своего API, и вы не можете просто делать столько запросов, сколько хотите, не рискуя этими ограничениями. Поэтому не забудьте проверить ошибки HTTP/429 и соответственно отступить.