Python - для фи в sys.argv [1]: список аргументов слишком долго

Question

Я пытаюсь выполнить питон скрипт на все текстовые файлы в папке:

for fi in sys.argv[1:]: 

И я получаю следующее сообщение об ошибке

-bash: /usr/bin/python: Argument list too long 

Так я называю эту функцию Python заключается в следующем:

python functionName.py *.txt 

папка имеет около 9000 файлов. Есть ли способ запустить эту функцию, не разбирая мои данные в других папках и т. Д.? Разделение файлов было бы не очень практичным, потому что в будущем мне придется выполнять эту функцию в еще большем количестве файлов ... Спасибо

EDIT: На основании выбранного правильного ответа и комментариев ответчика (Charles Duffy) что работает для меня заключается в следующем:

printf '%s\0' *.txt | xargs -0 python ./functionName.py 

, потому что у меня нет действительной хижины ..

Answer 1

Это я S проблема на уровне ОС (ограничение на длину командной строки), и обычно решается с помощью ОС-уровня (или, по крайней мере, снаружи вашего-Python-процесс) решение:

find . -maxdepth 1 -type f -name '*.txt' -exec ./your-python-program '{}' + 

... или ...

printf '%s\0' *.txt | xargs -0 ./your-python-program 

Обратите внимание, что это работает your-python-program один раз в партии найденных файлов, где размер пакета зависит от количества имен, которые могут поместиться в ARG_MAX; см. отличный ответ Маркуса Мюллера, если это непригодно.

Answer 2

не делать это таким образом. Передайте маску в свой скрипт python (например, назовите ее python functionName.py "*.txt") и разверните ее с помощью glob (https://docs.python.org/2/library/glob.html).

Answer 3

Я думаю об использовании glob модуля. С помощью этого модуля вы вызываете программу как:

python functionName.py "*.txt" 

тогда оболочка не будет расширяться *.txt в имена файлов. Вы программа Python получит *.txt в списке и Аргументы вы можете передать его в glob.glob():

for fi in glob.glob(sys.argv[1]): 
    ... 

Answer 4

Нет, это ограничение ядра для длины (в байтах) в командной строке.

Как правило, вы можете определить, что предел, делая

getconf ARG_MAX 

, который, по крайней мере для меня, дает 2097152 (байт), что означает около 2 Мб.

Я рекомендую использовать python для работы через папку самостоятельно, то есть предоставить вашей программе python возможность работать с каталогами вместо отдельных файлов или читать имена файлов из файла.

Первый может быть легко выполнен с использованием os.walk(...), тогда как второй вариант (на мой взгляд) более гибкий.Используйте модуль argparse, чтобы дать вашей программе python простой в использовании синтаксис командной строки, затем добавить аргумент типа файла (см. Справочную документацию), и python автоматически сможет распознавать специальные имена файлов, такие как -, что означает, что вы могли бы вместо этого из

for fi in sys.argv[1:] 

сделать

for fi in opts.file_to_read_filenames_from.read().split(chr(0)) 

который даже позволит вам сделать что-то вроде

find -iname '*.txt' -type f -print0|my_python_program.py -file-to-read-filenames-from -