Python, доступ к нескольким веб-страницам сразу

Question

У меня есть tkinter GUI, который загружает данные с нескольких сайтов одновременно. Я запускаю отдельный поток для каждой загрузки (около 28). Это слишком много потоков для одного процесса GUI? потому что он очень медленный, каждая отдельная страница должна занимать от 1 до 2 секунд, но когда все запускаются сразу, это занимает более 40 секунд. Есть ли способ сократить время, необходимое для загрузки всех страниц? Любая помощь приветствуется, спасибо.

Answer 1

Это, вероятно, GIL (глобальный шлюз интерпретатора), который мешает вам. У Python есть некоторые проблемы с производительностью со многими потоками.

Вы можете попробовать twisted.web.getPage (см. http://twistedmatrix.com/projects/core/documentation/howto/async.html немного вниз по странице). У меня нет ориентиров. Но, взяв пример на этой странице и добавив 28 отложенных сообщений, чтобы увидеть, как быстро это даст вам сопоставимый результат довольно быстро. Имейте в виду, что вам придется использовать реактор gtk и вникнуть в стиль программирования Twisteds.

Answer 2

Вы можете попробовать использовать процессы вместо потоков. Python имеет GIL, который может вызвать некоторые задержки в вашей ситуации.

Answer 3

Процесс может иметь сотни потоков на любой современной ОС без каких-либо проблем.

Если вы ограничены полосой пропускания, от 1 до 2 секунд 28 означает, что 40 секунд - это правильно. Если вы латентности ограничены, он должен быть быстрее, но без информации, все, что я могу предложить:

• добавить вход в свой код, чтобы убедиться, что он на самом деле работает параллельно, и что вы не случайно сериализация ваших потоков как-то;
• используйте сетевой монитор, чтобы убедиться, что сетевые запросы фактически выходят параллельно.

Трудно дать что-либо лучше без дополнительной информации.