Как загрузить задержанный файл через HTTP в Ruby?

Question

Я использую следующую функцию на Ruby для загрузки различных файлов через HTTP:

def http_download(uri, filename) 
    bytes_total = nil 
    begin 
    uri.open(
     read_timeout: 500, 
     content_length_proc: lambda { |content_length| 
     bytes_total = content_length 
     }, 
     progress_proc: lambda { |bytes_transferred| 
     if bytes_total 
      print("\r#{bytes_transferred} of #{bytes_total} bytes") 
     else 
      print("\r#{bytes_transferred} bytes (total size unknown)") 
     end 
     } 
    ) do |file| 
     open filename, 'w' do |io| 
     file.each_line do |line| 
      io.write line 
     end 
     end 
    end 
    rescue => e 
    puts e 
    end 
end 

Я также хочу, чтобы загрузить файлы (csv, kml, zip, geojson) от this website. Однако есть какая-то задержка настроена. Когда я нажимаю ссылку загрузки в браузере, она занимает немного, пока не появится окно загрузки. Я полагаю, что файл должен быть обработан на сервере, прежде чем он сможет обслуживаться.

Как я могу изменить свой сценарий, чтобы учесть задержку?

Я бегу Ruby 2.2.2.

Answer 1

Вот модификация согласно сообщению и комментарий:

require 'open-uri' 

def http_download(uri, filename) 
    bytes_total = nil 
    index = 1 
    begin 
    open(
     uri, 
     read_timeout: 500, 
     content_length_proc: lambda { |content_length| 
     bytes_total = content_length 
     }, 
     progress_proc: lambda { |bytes_transferred| 
     if bytes_total 
      print("\r#{bytes_transferred} of #{bytes_total} bytes") 
     else 
      print("\r#{bytes_transferred} bytes (total size unknown)") 
     end 
     } 
    ) do |io| 
     # if "application/json" == io.content_type 
     if io.is_a? StringIO 
     raise " --> Failed, server is processing. Retry the request ##{index}" 
     else # Tempfile 
     puts "\n--> Succeed, writing to #{filename}" 
     File.open(filename, 'w'){|wf| wf.write io.read} 
     end 
    end 
    rescue => e 
    puts e 
    return if e.is_a? OpenURI::HTTPError # Processing error 

    index += 1 
    return if index > 10 

    sleep index and retry 
    end 
end