Создание кластера EMR и завершение работы после запуска скрипта Python из S3 с помощью boto3

Question

Возможно ли использовать boto3 для создания кластера emr и чтения скрипта python в s3, а затем завершить работу. Я знаю, что это можно было бы сделать с созданием кластера, а затем вручную скопировать скрипт из s3 в master во время загрузки, но интересно, есть ли способ сделать это по-другому, что не связано с копированием файла. Другими словами, создание кластера и добавление шага, на котором вы читаете непосредственно из s3.

Answer 1

Использование boto3, можно программно добавить шаг к кластеру ЭМИ с использованием

add_job_flow_steps

http://boto3.readthedocs.org/en/latest/reference/services/emr.html#EMR.Client.add_job_flow_steps