Нечеткий сопоставление строки в большом тексте в Python (url)

Question

У меня есть список названий компаний, и у меня есть список названий компаний, упоминающих URL.

Конечная цель - заглянуть в URL-адрес и узнать, сколько компаний на URL-адресе в моем списке.

Пример URL: http://www.dmx.com/about/our-clients

Каждый URL будет структурирован по-другому, так что я не есть хороший способ сделать поиск регулярных выражений и создавать отдельные строки для каждого названия компании.

Я хотел бы построить цикл for для поиска каждой компании из списка на всем содержимом URL. Но похоже, что Левенштейн лучше для двух меньших строк, а также короткой струны и большого текста.

Где этот новичок должен выглядеть?

Answer 1

Это не звучит для меня, как будто вам нужно «нечеткое» совпадение. И я предполагаю, что когда вы говорите «url», вы имеете в виду «веб-страницу по адресу, на который указывает URL-адрес». Просто используйте Python, встроенный поиск подстроки функциональность:

>>> import urllib2 
>>> webpage = urllib2.urlopen('http://www.dmx.com/about/our-clients') 
>>> webpage_text = webpage.read() 
>>> webpage.close() 
>>> for name in ['Caribou Coffee', 'Express', 'Sears']: 
...  if name in webpage_text: 
...   print name, "found!" 
... 
Caribou Coffee found! 
Express found! 
>>> 

Если вы беспокоитесь о струна капитализации несовпадений, просто преобразовать все это в верхний регистр.

>>> webpage_text = webpage_text.upper() 
>>> for name in ['CARIBOU COFFEE', 'EXPRESS', 'SEARS']: 
...  if name in webpage_text: 
...   print name, 'found!' 
... 
CARIBOU COFFEE found! 
EXPRESS found! 

Answer 2

Я хотел бы добавить к senderle Ответим, что это может иметь смысл, чтобы нормализовать свои имена каким-то образом (например, удалить все специальные символы, а затем применить его к webpage_text и список строк.

def normalize_str(some_str): 
    some_str = some_str.lower() 
    for c in """-?'"/{}[]()&!,.`""": 
     some_str = some_str.replace(c,"") 
    return some_str 

Если это не достаточно хорошо, вы можете пойти в difflib и сделать что-то вроде:

for client in normalized_client_names: 
    closest_client = difflib.get_closest_match(client_name, webpage_text,1,0.8) 
    if len(closest_client) > 0: 
     print client_name, "found as", closest_client[0] 

произвольное обрезание я выбрал (Ratcliff/Obershelp) отношение 0,8 может быть слишком мягок, о жесткий; играйте с ним немного.