2013-03-13 1 views
0

Есть ли у YQl хороший способ соскабливания веб-страницы, но также по ссылкам этой веб-страницы, чтобы получить более подробную информацию?YQL Скребок: следуйте ссылкам на один уровень вниз?

Примером может быть что-то вроде блога, где на индексной странице отображается название каждой записи новостей, но вам нужно щелкнуть по этой ссылке для получения новостей и связанных с ними изображений и т. Д. Мне нужно захватить данные от каждого на странице с новостями и также обрабатывать разбитые на странице результаты.

Если YQL способен на это, кто-нибудь может предоставить какие-либо примеры? Если это не может кто-нибудь предложить хорошую альтернативу?

ответ

0

Мы решили аналогичную проблему, разместив службу в AppEngine, которая сначала вызовет YQL, чтобы получить ссылки. Затем переместите ссылки для получения содержимого URL-адреса.