python http-страница без заголовков

Question

Мне нужно найти определенный URL-адрес, через большое количество ips. Я написал скрипт на python, который проверяет, открыт ли его порт, а затем проверяет, существует ли url с помощью httplib, и он отлично работает! Моя проблема в том, что я получаю слишком много ложных срабатываний, потому что некоторые сетевые устройства дают статус 200 при запросе моей страницы и возвращают страницу с ошибкой 400 на корпусе

Здесь его код:

def MyPage(self,ip): 
    try: 
     conn = httplib.HTTPConnection(ip) 
     conn.request("HEAD", "/path/to/mypage.php") 
     resp = conn.getresponse() 
     if (resp.status == 200): 
      return True 
     else : 
      return False 
    except : 
     return False 

Answer 1

я решил мою проблему проверки для тега заголовка на теле страницы

def Mypage(self,ip): 
    try: 
     conn = httplib.HTTPConnection(ip) 
     conn.request("GET", "/path/to/mypage.php") 
     resp = conn.getresponse() 
     if (resp.status == 200): 
      html = BeautifulSoup(resp.read()) 
      data = html.find('title') 
      titulo = str(data.contents[0]) 
      if titulo == "THE TITLE": 
       return True 
      else: 
       return False 
     else : 
      return False 
    except : 
     return False