2016-07-27 2 views
3

У нас есть несколько приложений, и мы хотим начать использовать воздушный поток. Из документации кажется, что единственный способ запустить DAG - над командной строкой. Это правда?Клиент python воздушного потока

Например, у нас работает фляжный сервер, и мы хотим запустить некоторый рабочий процесс, контролируемый воздушным потоком. Как мы можем достичь этого? Есть ли API для запуска, например: «Запустить DAG теперь с параметрами x, y, h»?

ответ

5

Существует несколько способов достижения этого с помощью воздушного потока. Это зависит от вашей ситуации, которая подходит вам или вам вообще подходит. Два предложения, которые приходят мне на ум:

  1. Использование триггерных ДАГ. Задания Python, запущенные в фоновом режиме, могут инициировать выполнение DAG в случае возникновения события. Посмотрите на example_trigger_controller_dag.py и example_trigger_target_dag.py в хранилище: GitHub Airflow

  2. Использование SensorTasks: Есть некоторые предопределенные датчики доступны, которые вы можете использовать для прослушивания определенных событий в F.E. источника данных Если существующее когда-то не удовлетворяют ваши потребностей, воздух должен быть достаточно гибким, чтобы позволить вам реализовать свой собственный датчик Airflow Sensor

0

После прочтения вашего вопроса я понимаю ваше USECASE как:
Что вы хотите запустить/триггер DAG с HTTP сервера

-> вы можете просто использовать при условии Airflow веб-сервер (локальный: 8080 /), из которого вы можете запустить/запустить даг вручную

Также вы можете пойти HERE, который до сих пор в экспериментах режиме и используйте api, как указано

Просьба уточнить, чтобы лучше понять вопрос.