Запись json поток в файл ограничения выходной размер

Question

Итак, я пишу простой прослушиватель потока python с помощью twython (EDIT: клиентская библиотека python Twitter), при запуске .py размер выходного файла колеблется от 1 до 5kb. Я хотел бы знать, что делать, чтобы файл продолжал писать. Ниже приведен код.

class MyStreamer(TwythonStreamer): 
def on_success(self, data): 
    with open(filename,'w')as outfile: 
     json.dump(data,outfile,indent=4) 
     outfile.flush() 
     outfile.close() 

    def on_error(self, status_code, data): 
    print(status_code) 

stream = MyStreamer(APP_KEY, APP_SECRET, 
       OAUTH_TOKEN, OAUTH_TOKEN_SECRET) 
stream.statuses.filter(track=input_string) 

Answer 1

Ваша проблема не очень четко объяснить, но, основываясь на комментариях выше, я думаю, что вы смущены о том, что выходной файл постоянно перезаписываются ... а не растет, как новые данные добавляются к нему ,

Проблема в том, что ваш open(filename,'w') переписывает файл каждый раз, когда он проходит. Попробуйте сделать это вместо:

# global outfile 
outfile = open(filename,'w') 

class MyStreamer(TwythonStreamer): 
    def on_success(self, data): 
     json.dump(data,outfile,indent=4) 
     outfile.flush() 

     def on_error(self, status_code, data): 
      print(status_code) 

stream = MyStreamer(APP_KEY, APP_SECRET, 
       OAUTH_TOKEN, OAUTH_TOKEN_SECRET) 
stream.statuses.filter(track=input_string) 

# when you are actually done writing output to it: 
# outfile.close() 

Обратите внимание, что этот подход не даст правильный JSON файл, потому что вы просто конкатенации вместе несколько кусков JSON. Но это отдельная проблема. JSON не должен быть «потоковым» форматом, в первую очередь, но see this thread for some discussion.