2013-05-01 3 views
0

Я планирую провести сетевой анализ сети подключения шины bmtc ... Поэтому мне нужно получить данные о маршрутах автобусов. Лучший веб-сайт, насколько я знаю, http://www.narasimhadatta.info/bmtc_query.html В опции «поиск по маршруту» указан весь список маршрутов, и один может выбрать любой из них, а при нажатии «отправить» он отображает подробный маршрут. Раньше, когда я получал данные онлайн, я использовал, чтобы подчеркнуть тот факт, что каждый элемент (в данном случае номер маршрута) приводит к разному URL-адресу, и я использовал для получения данных с исходной страницы с помощью Python. Но здесь, независимо от маршрута автобуса, на последней странице всегда есть URL-адрес http://www.narasimhadatta.info/cgi-bin/find.cgi и его исходная страница не содержит деталей маршрута!Сценарий для сканирования по различным страницам и получения данных

Мне комфортно только с Python и Matlab. Я не мог понять какие-либо средства для получения данных с этого веб-сайта. Если вы можете что-то увидеть, технически нужно иметь возможность загружать данные (по крайней мере, это то, что я считаю). Так можете ли вы, пожалуйста, помочь мне с кодом, который автоматически просканирует каждый номер маршрута автобуса и загрузит детали маршрута?

+0

Я хотел бы использовать [Scrapy] (https://scrapy.readthedocs.org/en/0.16/). – Blender

ответ

1

Я посмотрел на указанный вами URL. если у вас есть список номеров маршрутов, вы можете использовать следующую структуру URL для извлечения данных.

http://www.narasimhadatta.info/cgi-bin/find.cgi?route=270S

или

http://www.narasimhadatta.info/cgi-bin/find.cgi?route=[route номер от вас список]