Использования тройника, чтобы получить в реальное время операторов печати из питона

Question

У меня есть сценарий питона, который выглядит примерно так:

for item in collection: 
    print "what up" 
    #do complicated stuff that takes a long time. 

В Баше, я запускаю этот скрипт, выполнив следующие действия:

$ python my.py | tee my_file.txt 

Однако , все, что я вижу в bash, - пустая строка, пока программа не завершится. Затем все печатные заявления появляются на одном.

Является ли это ожидаемой работой тройника? Могу ли я использовать тройник для просмотра вывода в режиме реального времени?

Answer 1

Python, как и многие программы, пытается свести к минимуму количество обращений к системному вызову write. Он делает это, собирая вывод нескольких операторов print, прежде чем он фактически записывает их в свой стандартный выходной файл. Этот процесс называется буферизацией вывода.

Когда Python подключен к терминалу, он не буферизует его вывод. Это имеет смысл, потому что человек в терминале хочет сразу увидеть выход.

Когда Python записывает файл (или канал), он выполняет буферизацию своего вывода. Это также имеет смысл, потому что никто не увидит выход до завершения процесса.

Вы можете победить эту оптимизацию, вызвав sys.stdout.flush() всякий раз, когда вы хотите заставить Python записывать свой буферный вывод в свой стандартный выходной файл.

В вашем случае, попробуйте следующее:

import sys 
... 
for item in collection: 
    print "what up" 
    sys.stdout.flush() 
    #do complicated stuff that takes a long time.