Как объединить несколько исходных файлов Python в один файл?

Question

(Предположим, что: время запуска приложения абсолютно критично, мое приложение запущено много, мое приложение работает в среде, в которой импорт медленнее, чем обычно, необходимо импортировать много файлов, а компиляция в файлы .pyc - это недоступно.)

Я хотел бы объединить все исходные файлы Python, которые определяют набор модулей в один новый исходный файл Python.

Я бы хотел, чтобы результат импорта нового файла был таким, как если бы я импортировал один из исходных файлов (который затем импортировал бы еще несколько исходных файлов и т. Д.).

Возможно ли это?

Это грубое ручное моделирование того, что может произвести инструмент при подаче исходных файлов для модулей «bar» и «baz». Вы должны запустить такой инструмент до развертывания кода.

__file__ = 'foo.py' 

def _module(_name): 
    import types 
    mod = types.ModuleType(name) 
    mod.__file__ = __file__ 
    sys.modules[module_name] = mod 
    return mod 

def _bar_module(): 

    def hello(): 
     print 'Hello World! BAR' 

    mod = create_module('foo.bar') 
    mod.hello = hello 
    return mod 

bar = _bar_module() 
del _bar_module 

def _baz_module(): 

    def hello(): 
     print 'Hello World! BAZ' 

    mod = create_module('foo.bar.baz') 
    mod.hello = hello 
    return mod 

baz = _baz_module() 
del _baz_module 

И теперь вы можете:

from foo.bar import hello 
hello() 

Этот код не учитывают такие вещи, как операторы импорта и зависимости. Есть ли какой-либо существующий код, который будет собирать исходные файлы с помощью этого или какой-либо другой метод?

Это очень схожая идея с инструментами, используемыми для сборки и оптимизации файлов JavaScript перед отправкой в ​​браузер, где задержка нескольких HTTP-запросов вредит производительности. В этом случае Python это задержка импорта сотен исходных файлов Python при запуске, который болит.

Answer 1

Я думаю, что из-за предварительной компиляции файлов Python и некоторого системного кэширования скорость, которую вы в конечном итоге получите, не будет измерима.

Answer 2

Если это на Google App Engine, как теги показывают, убедитесь, что вы используете эту идиому

def main(): 
    #do stuff 
if __name__ == '__main__': 
    main() 

Поскольку GAE не перезапустить приложение каждый запрос, если .py не изменилось, она просто работает main().

Этот трюк позволяет писать CGI-приложения в стиле без троганий ударили

AppCaching

Если скрипт обработчика обеспечивает основную() рутины, среда выполнения также кэшей сценария. В противном случае скрипт обработчика загружается для каждого запроса .

Answer 3

Выполнение этого вряд ли даст какие-либо выгоды от производительности. Вы по-прежнему импортируете такое же количество кода на Python, как раз в меньшем количестве модулей, - и вы жертвуете всей его модульностью.

Лучшим подходом было бы изменить ваш код и/или библиотеки только для импорта вещей, когда это необходимо, чтобы минимальный требуемый код загружался для каждого запроса.

Answer 4

Не имея вопроса о том, будет ли эта техника повышаться в вашей среде, скажите, что вы правы, вот что я сделал бы.

Я бы сделал список всех моих модулей, например. my_files = ['foo', 'bar', 'baz']

Я бы затем использовать os.path утилиту, чтобы прочитать все строки во всех файлах в директории источника и записываю их все в новый файл, фильтруя все import foo|bar|baz линий, поскольку весь код теперь в пределах одного файла.

Проклятие, наконец, добавление main() от __init__.py (если есть) в хвосте файла.