Как написать простой паук в Python?

Question

Я пытался написать этот паук неделями, но безуспешно. Что это лучший способ для меня, чтобы закодировать это в Python:

1) Начальный URL: http://www.whitecase.com/Attorneys/List.aspx?LastName=A

2) из ​​исходного URL забрать эти адреса с этим регулярным выражением:

hxs.select('//td[@class="altRow"][1]/a/@href').re('/.a\w+')

[u'/cabel', u'/jacevedo', u'/jacuna', u'/aadler', u'/zahmedani', u'/tairisto', u 
/zalbert', u'/salberts', u'/aaleksandrova', u'/malhadeff', u'/nalivojvodic', u' 
.... 

3) Перейти к каждому из этих URL-адресов и очистить информацию о школе с помощью этого регулярного выражения

hxs.select('//td[@class="mainColumnTDa"]').re('(?<=(JD,\s))(.*?)(\d+)'

[u'JD, ', u'University of Florida Levin College of Law, <em>magna cum laude</em> , Order of the Coif, Symposium Editor, Florida Law Review, Awards for highest grades in Comparative Constitutional History, Legal Drafting, Real Property and Sales, ', u'2007']

4) Написать Царапины Информация о школе в schools.csv файл

Можете ли вы помочь мне написать этот паук в Python? Я пытался написать его в Scrapy, но безуспешно. См. Мои предыдущие question.

спасибо.

Answer 1

http://www.ibm.com/developerworks/linux/library/l-spider/ статье IBM с хорошим описанием

или

http://code.activestate.com/recipes/576551/ Python Cookbook, лучший код, но менее объяснение

Answer 2

Кроме того, я предлагаю вам прочитать:

RegEx match open tags except XHTML self-contained tags

Перед вами попробуйте проанализировать HTML с регулярным выражением. Затем подумайте о том, что происходит в первый раз, когда чье-то имя заставляет страницу быть unicode вместо latin-1.

EDIT: Чтобы ответить на вопрос о библиотеке, используемой в Python, я бы предложил Beautiful Soup,, который является отличным парсером HTML и поддерживает unicode во всем (и делает действительно хорошую работу с искаженным HTML, который вы собираетесь найти повсюду).