Напишите одну строку из одного процесса и потребляйте одну строку от другого

Question

У меня есть цикл из python, который записывает прокси-файлы в файл, по одному в каждой строке. Этот файл позже используется из сценария bash через curl -x $PROXY, строка за строкой, используя cat proxies.txt.

Можно ли улучшить этот подход, одновременно запустив два сценария и используя именованный канал, который может быть использован cat, только когда python записывает новую строку/новый прокси?

На мой взгляд, я бы написать что-то вроде

f = open('/tmp/proxies', 'w') # but this call is blocking! 
for proxy in ...: 
    f.write(proxy) 

и

for PROXY in $(cat /tmp/proxies); do curl -x $PROXY example.com; done 

Answer 1

Много комментариев по поводу блокирования FIFO; Я не буду повторять их, но основная проблема: когда процесс не читается, процесс записи блокируется.

Код, который вы могли бы искать что-то вроде этого:

#!/bin/bash 
python the_python_script.py & # start in the background 
tail -f /tmp/proxies| while read px; do 
    curl -x $px example.com 
done 

Там, вероятно, следует быть какая-то логика, чтобы закончить Баш скрипт, когда сценарий питона умирает.