2010-09-01 3 views
-4

Здравствуйте, я хочу, чтобы экран царапать сайт, как визг, чтобы получить номера телефонов итальянских ресторанов .. Я создал простую программу, чтобы сделать то, что я хотел, но они заблокировали мои сервера внутрибрюшинноэкрана царапать веб-сайт, который блокирует IP-адрес

Я использую php для этого. Как я могу пройти через ip-блок?

Я слышал о программах, как трафаретный скребок, но я до сих пор не использовал его еще

Что такое лучший способ сделать это? и можно ли использовать скрин-скребок с php?

Пожалуйста, обратите внимание * это для личного проекта я работаю, это не для создания бизнеса из него

+6

Если они заблокировали ваш IP-адрес, вы должны принять его как знак того, что ваш скребок не приветствуется. Этот сайт не существует, чтобы помочь вам проникнуть на чужой сайт, что именно вы пытаетесь сделать в этот момент. –

+5

** Это незаконная практика. ** – shamittomar

+0

@shamittomar: Это сильно зависит от законов страны и страны «пользователя» (но может быть и незаконным в некоторых местах, и до сих пор * сервер * похоже, имеет отношение к юрисдикции, поэтому, если вы настаиваете на своих действиях, не планируйте посещать целевую страну в ближайшие несколько десятилетий). Однако попытка обойти запрет означает: «Я знаю, что то, что я делаю, неверно, но мне все равно». – Piskvor

ответ

8

Если вы делаете это для коммерческой выгоды, остановить прямо там, где вы находитесь. Посмотрите, можете ли вы найти лицензионные средства для получения одних и тех же данных или самим фунтом тротуар. Некоторые компании намеренно вводят ошибки или идентифицируемые опечатки в свою информацию как способ поймать таких людей, как вы, и предпримут юридические шаги для защиты своей интеллектуальной собственности (хотя эта информация абсолютно бесплатна, если ее собирают любым другим способом). Быть дешевым иногда может оказаться очень дорогостоящим.

Если вы не делаете это для коммерческой выгоды (и вы просто очень любите итальянскую кухню), переместите серверы или подождите, пока блок IP-лифтов не будет (что может быть никогда). Перепишите свой код и поместите в свои запросы массивный ограничитель скорости (эмулируйте пользователя и получайте одну страницу каждые 5-10 секунд или около того). Скрестите сайт в течение нескольких дней на коротких сеансах. Если они видят слишком много запросов от одного IP-адреса слишком мало времени, они снова будут занесены в черный список. Если вы были ими, вы тоже.

+0

Спасибо за это предложение. да, это для личного проекта – rogerhp

0

Если вам нужны только номера телефонов, возможно, есть более простой способ получить эту информацию на одной странице.

Возможно, существует и другой сайт, на котором есть эта информация, доступная через API, так что у вас нет чтобы сломать любые условия обслуживания. Плохо написанные или агрессивные скрипты скремблирования могут временно повредить веб-серверы - есть причина сайты блокируют эти действия.