urllib2.URLError: сбой рукопожатия

Question

Я делаю большой цикл http-запросов к нашей службе базы данных. Все работает нормально, но всякий раз, когда я запускаю его, после (казалось бы, случайного) числа успешных запросов, я получаю следующую ошибку: urllib2.URLError: <urlopen error [Errno 1] _ssl.c:504: error:14094410:SSL routines:SSL3_READ_BYTES:sslv3 alert handshake failure>.

Я использую python, urllib2, чтобы отправить запрос, urllib, чтобы закодировать некоторые вещи в моем URL-адресе, и все. Как я уже сказал, это выглядит совершенно случайным. Я просто запустил его, и он провалился после 6 запросов. Раньше он разбился после 49 успешных попыток. Кто-нибудь имел эту проблему раньше?

Благодаря

Answer 1

Серьезно, вы должны попробовать Python Requests вместо urllib2, если вы не ограничены базовых пакетов.

Answer 2

Стэн Я думаю, что Scrapy работает быстрее и может иметь дело со всеми типами ошибок соединения.

Eric Я предлагаю вам проверить scrapy вы будете поражены его скорость и особенности

Shlomy

Answer 3

Это больше касается к сети, но не ваш код.

Я предлагаю вам использовать модуль запросов с повторением внутри модуля.

Или вы можете добавить повтор в свой код.

Например, вы могли бы написать так:

for i in range(reties): 
    try: 
     resp = xx.get(url) 
     result = resp.get_result 
    except (ConnectionError, SocketError or whatever else): 
     pass 
else: 
    arise Exception('Retry Error')