Удалить униграммы из списка биграмм

Question

Мне удалось создать 2 списка из текстовых документов. Первый мой список би-грамм:

keywords = ['nike shoes','nike clothing', 'nike black', 'nike white'] 

и список стоп-слов:

stops = ['clothing','black','white'] 

Я хочу, чтобы удалить Остановки из моего списка ключевых слов. Используя приведенный выше пример, выход я после должен выглядеть следующим образом:

new_keywords = ['nike shoes','nike', 'nike', 'nike'] --> eventually I'd like to remove those dupes. 

Это то, что я сделал до сих пор:

keywords = open("keywords.txt", "r") 
new_keywords = keywords.read().split(",") 
stops = open("stops.txt","r") 
new_stops = stops.read().split(",") 
[i for i in new_keywords if i not in new_stops] 

Проблема, которую я имею в том, что он ищет 2 слова комбо, а не одно слово останавливается ....

Answer 1

Вы можете сделать это в шагах. Сначала определим вспомогательную функцию:

def removeStop(bigram, stops): 
    return ' '.join(w for w in bigram.split() if not w in stops) 

И потом:

[removeStop(i,new_stops) for i in new_keywords] 

Answer 2

при условии, у вас есть 2 списка это будет делать то, что вы хотите:

new_keywords = [] 

for k in keywords: 
    temp = False 

    for s in stops: 
     if s in k: 
      new_keywords.append(k.replace(s,"")) 
      temp = True 

    if temp == False: 
     new_keywords.append(k) 

Это позволит создать список, как вы размещено:

['nike shoes', 'nike ', 'nike ', 'nike '] 

Чтобы устранить d oubles сделать это:

new_keywords = list(set(new_keywords)) 

Таким образом, окончательный список выглядит следующим образом:

['nike shoes', 'nike ']