URL-адрес запроса/неудача URL-адреса в R

Question

Я пытаюсь получить файл csv с URL-адреса, но, похоже, он отключается через одну минуту. Файл csv создается во время запроса, поэтому ему требуется чуть больше минуты. Я попытался увеличить таймаут, но он не сработал, он по-прежнему терпит неудачу через минуту.

Я использую url и read.csv следующим образом:

# Start the timer 
ptm <- proc.time() 
urlCSV <- getURL("http://someurl.com/getcsv", timeout = 200) 
txtCSV <- textConnection(urlCSV) 
csvFile <- read.csv(txtCSV) 
close(txtCSV) 
# Stop the timer 
proc.time() - ptm 

в результате журнал:

Error in open.connection(file, "rt") : cannot open the connection 
In addition: Warning message: 
In open.connection(file, "rt") : 
cannot open: HTTP status was '500 Internal Server Error' 

user system elapsed 
0.225 0.353 60.445 

Он держит неудачу, когда она достигнет одной минуты, что может быть проблема? Или как увеличить таймаут?

Я попробовал URL в браузере и работает нормально, но это займет больше минуты, чтобы загрузить CSV-

Answer 1

Libcurl имеет ConnectTimeout настройки http://curl.haxx.se/libcurl/c/CURLOPT_CONNECTTIMEOUT.html. Вы можете установить это в RCurl:

library(RCurl) 
> getCurlOptionsConstants()[["connecttimeout"]] 
[1] 78 
myOpts <- curlOptions(connecttimeout = 200) 
urlCSV <- getURL("http://someurl.com/getcsv", .opts = myOpts) 

Answer 2

Вы получаете ошибку 500 от сервера, который наводит на мысль тайм-аут происходит там, и для них вне вашего контроля (если вы не можете попросить меньше данные)