Класс для создания асинхронных запросов API с Twisted

Question

Я работаю над разработкой системы, которая собирает данные с серверов отдыха и манипулирует им.

Одним из требований является множество и часто используемых запросов API. В настоящее время мы реализуем это несколько синхронно. Я могу легко реализовать это, используя потоки, но учитывая, что системе, возможно, потребуется тысяча запросов в секунду, я думаю, было бы разумно использовать способность Twisted эффективно реализовать вышеизложенное. Я видел this blog post, и вся идея отложенного списка, похоже, делает трюк. Но я как бы зациклился на том, как структурировать свой класс (не могу окунуться в то, как работает Twisted).

Можете ли вы попытаться описать структуру класса, который будет запускать цикл событий, и сможет получить список URL-адресов и заголовков и вернуть список результатов после асинхронного запроса?

Знаете ли вы, что лучший способ реализации этого в python?

Answer 1

Похоже, вы хотите использовать Twisted проект под названием treq, который позволяет отправлять запросы на конечные точки HTTP. Он работает так же, как requests. Недавно я помог другу here in this thread. Мой ответ может быть вам полезен. Если вам по-прежнему нужна дополнительная помощь, просто сделайте комментарий, и я постараюсь, чтобы обновить этот ответ.