`внутренняя ошибка в evhttp` использовании GEvent

Question

У меня есть файл с миллиона URLs, как: файл данных, как:

http://wonderland.cjfallon.ie/ 
http://www.youtube.com/ 
http://www.starfall.com/ 
http://education.scholastic.co.uk/ 
http://www.scoilnet.ie/ 
http://www.nessy.com/ 
http://www.senteacher.org/ 
http://scoop.it/ 
http://www.moviemaker.com/ 
http://learni.st/ 
http://www.twitter.com/ 
http://www.facebook.com/ 
http://www.gutenberg.org/ 
http://www.gutenberg.org/cache/epub/42361/pg42361.txt 

Я хочу, чтобы сканировать их, так что граница сети IO, так что я хочу использовать несколько потоков или gevent для его решения.

мои несколько потоков код хорошо работает: https://gist.github.com/young001/5449751

, но при использовании GEvent, код: https://gist.github.com/young001/baa3eebbf7342c5ac077 всегда идет не так:

status is 200 
status is 200 
Internal error in evhttp 
the url is down http://web2.socialcomputingmagazine.com/the_social_graph_issues_and_strategies_in_2008.htm 

the reason 
status is 200 
status is 200 
status is 200 
status is 200 
status is 200 
status is 200 
status is 301 
status is 200 
status is 301 
status is 200 
status is 200 
Internal error in evhttp 

, а затем он остановился. Я не знаю, почему так получилось?

любая помощь?

кажется, все должно идти хорошо, но это не так, это заставляет меня сходить с ума.

Answer 1

Я могу воспроизвести его здесь после исправления вашего образца.

В основном this seems to be a gevent bug, что он иногда дает Internal error in evhttp.

source code says:

# sometimes this happens, don't know why 
sys.stderr.write("Internal error in evhttp\n") 

Вам придется либо отлаживать, что или использовать что-то другое, или просто повторной попытки, когда он выходит из строя.