Удалить дубликаты из нескольких текстовых списков слов python

Question

Я удалил весь код и добавил все файлы в один большой текстовый файл (3,89 ГБ) .. Но я все еще не могу удалить все повторяющиеся слова, потому что я не могу загрузить весь файл в ['list'] Я хочу удалить все повторяющиеся слова в файле dict.txt. Мой код на данный момент загружает 10 000000 слов ан список и удалить дубликаты в списке ....

count = 0 
strings = [] 
dict_o = open ('./dict/dict.txt','r') 
for line in dict_o: 
    strings.append(line) 
    count+=1 
    if count > 10000000: 
    strings_s =set(strings) 
    strings_so = sorted(strings_s) 
    out = open('./dict/dict1.txt','a').writelines(strings_so) 
    count = 0 
    strings= [] 

Answer 1

много способов сделать это, ленивым способом было бы создать экземпляр list-- затем разобрать через текст файл и проверьте, существует ли в списке каждое слово. если это так, то удалите его. Если это не так, добавьте его в список и продолжайте.

Есть много способов удалить его, а самое ленивое решение - создать финальную строку и объединить каждое слово, которое не является дубликатом. Затем в конце напишите эту строку в файл.

Как было отмечено в комментариях, пример текстового файла поможет много придумать лучшее решение