Имитатор файлов Python, выполняющийся несколько раз

Question

Я использую gensim для создания модели word2vec файла образца, который у меня есть в каталоге. Я последовал за учебником онлайн, который читает файлы в каталоге и обрабатывает его по строкам. Мой образец файла имеет 9 строк. Но этот код дает мои те же строки 9 раз. Может кто-нибудь объяснить, что происходит.

class MySentences(object): 
    def __init__(self, dirname): 
     self.dirname = dirname 

    def __iter__(self): 
     for fname in os.listdir(self.dirname): 
      for line in open(os.path.join(self.dirname, fname)): 
       print os.path.join(self.dirname, fname) 
       yield line.split() 

sentences = MySentences('/fakepath/Folder') 

Детали: Пусть имя файла содержит 3 строки, как

hi how are you. 
I am fine. 
I am good. 

line.split() должны дать мне: ['hi','how','are','you'] только один раз. Но это происходит 3 раза, поэтому я получаю список выше трижды, а не один раз. Если общее число предложений равно 5, оно возвращает строку 5 раз.

Answer 1

Сначала вы должны выяснить, что вы пытаетесь сделать. class MySentences берет каталог как параметр и создает объект sentences с генератором в нем. Таким образом, у sentences есть генератор, содержащий все строки во всех файлах в каталоге.

Например:

for line in sentences: 
    print(line) 

вы получите много списков со словами, как элемент (я снял оператор печати, который печатает путь). Что:

['hi', 'how', 'are', 'you.'] 

['I', 'am', 'fine.']

['I', 'am', 'good.']