Проблема параллельной обработки в Python

Question

У меня есть сценарий python A.py и он принимает аргументы с целевым файлом с некоторым list of IPs и выдает файл CSV с информацией, найденной относительно IP-адресов из некоторых источников. (Run Method : python A.py Input.txt -c Output.csv).

Потребовалось много времени, чтобы выполнить работу. Позже я разделить входной файл (split -l 1000 Input.txt) -> созданные каталоги (10 directories) -> выполняется скрипт с Input расщепляется в 10 каталогах параллельно в режиме screen

Как сделать этот вид работ эффективно? Любые предложения, пожалуйста?

Answer 1

Попробуйте это:

parallel --round --pipepart -a Input.txt --cat python A.py {} -c {#}.csv 

Если A.py может читать из FIFO, то это более эффективно:

parallel --round --pipepart -a Input.txt --fifo python A.py {} -c {#}.csv 

Если ваш диск долго искать раз, то это может быть быстрее использовать --pipe вместо от --pipepart.