Попытка обработки 100 запросов URL. Должен ли я использовать perl CPAN HTTP :: Async? Mojo?

Question

Я пытаюсь создать программу, которая может подключаться к 100 URL-адресам за раз, и в зависимости от вывода каждого соединения (т. Е. Успеха в HTTP-подключении), скрипт perl переходит к функции x, или что не , Лучшее, что я мог придумать, это этот сценарий. Но я хотел бы, чтобы он подключался к 100 URL-адресам одновременно или параллельно, каждый из которых возвращал ответ (так что я должен получить 100 или около того в конце тайм-аута LWP), чтобы выяснить, что я хочу сделать дальше. Тем не менее, большинство примеров, которые я видел, имеют тенденцию делать один URL вовремя. Он может проходить через 20-30 реальных быстрых, но если кто-то не работает, именно там начинается замедление.

use Mojo::Client; 
use Mojo::Transaction; 

my $client = Mojo::Client->new; 

my $tx = Mojo::Transaction->new_get('http://labs.kraih.com'); 
my $tx2 = Mojo::Transaction->new_get('http://mojolicious.org'); 
$tx2->req->headers->expect('100-continue'); 
$tx2->req->body('foo bar baz'); 

$client->process_all($tx, $tx2); 

print $tx->res->code; 
print $tx2->res->code; 
print $tx2->res->content->file->slurp; 

Однако он создает переменные для каждой транзакции. Если я собираюсь сделать 100 сайтов, создание $ tx1 - $ tx 100 будет болезненным.

Заранее благодарен.

Answer 1

Вот мое основное предложение: создать процесс для каждого URL-адреса и позволить процессу обрабатывать его независимо друг от друга. Обратите внимание, что если вам нужно регистрироваться, все процессы могут совместно использовать дескриптор файла.

#!/usr/bin/perl 

use strict;use warnings; 

my @url = ('url1','url2','url3'); 

my $pid; 
my $url_to_process; 

foreach my $url (@url) { 
    $pid = fork; #create new process. 
    unless ($pid) { 
     $url_to_process = $url; 
     last; 
    } #end loop if we are a child 
} 

unless ($pid) { 
    print "$$: $url_to_process\n"; # or do anything you like with the url 
}