Невозможно вызвать rest api с foreach(), используя распараллеливание

Question

Я загружаю данные из онлайн-API. Данные разбиты на страницы, поэтому мне нужно совершать последовательные звонки.

Поэтому я настроил параллельный цикл foreach(), который в конечном итоге rbind() выводит.

Вот код:

library('foreach') 
    library('parallel') 
    library('jsonlite') 

    registerDoMC(cores = parallel::detectCores()) 

    data <- foreach(page = 1:10, .combine = rbind) %dopar% { 

     raw.data <- fromJSON(paste(endpoint, '&page=', page, sep ='')) 

     raw.data <- raw.data$results 

     data.piece <- raw.data[c('id', 'scraper', 'title', 'text', 'ts', 'url', 'pertinence', 'source')] 

     data.piece 
    } 

конечная точка URL-адрес REST.

Цикл возвращает NULL, и, кроме того, он запускается немедленно (каждый вызов действительно должен за пару секунд).

Так что кажется, что вызовы пропускаются. Если я запускаю один и тот же код не параллельно, он работает без проблем.

Answer 1

я столкнулся с подобной ситуацией и адаптировать свой код к вашей ситуации, получаем следующее:

library(jsonlite) 
library(dplyr) 
library(foreach) 
library(doParallel) 

fetch.data <- function(page) { 
    # confirm the url you are fetching data from ... 
    url = 'http://api.paginated/?page=' 
    endpoint = paste0(url, page) 
    print(paste0('fetching data for => ', endpoint)) 
    raw.data <- fromJSON(endpoint, flatten = TRUE) 
    raw.data 
} 


no_cores <- detectCores() 
cluster <- makeCluster(no_cores) 
registerDoParallel(cluster) 
t.start <- Sys.time() 
data <- foreach(page=1:10, .combine=bind_rows, .packages=c('jsonlite')) %dopar% { 
    if (page %% 4 == 0) Sys.sleep(1) 
    page_data <- fetch.data(page) 
    page_data <- page_data$results 
    data.piece <- page_data[c('id', 'scraper', 'title', 'text', 'ts', 'url', 'pertinence', 'source')] 
    data.piece 
} 
t.end <- Sys.time() 
stopImplicitCluster() 
print(t.end - t.start) 

Этот код работает для меня в последнее время. Единственное, что вам нужно позаботиться, это то, что вы играете в пределах ограничений демпфирования api. Это может означать, что вам приходится замедлять ваш скрипт - например, на каждую четвертую страницу ждать 1 сек.