Каков наилучший способ подключения к нескольким URL-адресам одновременно с perl

Question

У меня есть скрипт perl, который проверяет базу данных для внутренних запросов на вызов API.

Когда он видит один, он использует LWP для вызова API по запросу.

Проблема в том, что иногда запросы могут занять некоторое время, а остальные запросы находятся в очереди за ними. Я пытаюсь разработать лучший способ предотвратить эту ситуацию.

Сценарий относительно прост. Я кратко рассмотрел POE и AnyEvent, но не смог найти никаких учебников, которые помогут мне понять, как они будут использоваться в этом контексте. Похоже, что они предназначены в первую очередь для более сложных ситуаций.

Более упрощены, моя половинка-псевдо-код:

while (1) { 
    $url=getNextRequestFromDB(); 
    if ($url ne "") { 
     $request = new HTTP::Request('GET', $url); 
     my $response = $ua->request($request); 
     logResponse($response); 
    } 
    else { 
     sleep(5); 
    } 
} 

Я не возражаю, если ответ не зарегистрирован, или (предпочтительно), если он регистрируется отдельно.

Answer 1

LWP::Parallel Модуль CPAN соответствует требованиям, которые вы ищете. Он принимает список URL-адресов (поддерживает HTTP, ftp и URL-адреса файлов), подключает их параллельно, а затем ждет результатов.

Answer 2

Чтобы распараллелить длительные операции в программах perl, используйте fork() или библиотеку потоков.

Вилка - это подпроцесс, который первоначально наследует собственную копию всего состояния программы, а затем является независимым. Для каждой вилки требуется собственное соединение с БД.

fork() возвращает вновь созданный идентификатор дочерних процессов, когда вы находитесь в копии программы PARENT и false, когда находитесь в дочернем.

# create 10 children 

my @children; 

for (my $count = 1; $count <= 10; $count++) { 
     my $pid = fork(); 
     if ($pid) { 
     # you are in the parent process 
     # print "child has $pid, parent $$\n"; 
     push(@children, $pid); 
     } elsif ($pid == 0) { 
        # You are in the child 
       while (1) { 
        ## Connect to the DB 
        ## fetch an api request 
        ## last if $no_request_left 
        ## run an api request 
       } 
       ## disconnect from DB 
       ## cleanup whatever needs to be done, then exit 
       exit 0; 
     } else { 
       die "couldnt fork: $!\n"; 
     } 



} 

foreach (@children) { 
     my $tmp = waitpid($_, 0); 
     print "pid $tmp found no more requests and exited\n"; 

} 

print "Main ends here\n"; 

Answer 3

Посмотрите на Mojo::UserAgent. У них есть примеры параллельных запросов внутри связанной документации.