airflow

2зной

1ответ

ETL vs Workflow Management и какие применять? Можно ли их использовать одинаково?

Я нахожусь в процессе создания конвейера данных для клиента. Я потратил много лет на анализ, но теперь я работаю с небольшим магазином, который действительно имеет производственную среду. Первое, что

8зной

1ответ

Airbnb Airflow vs Apache Nifi

Воздушный поток и Nifi выполняют ту же работу по рабочим процессам? Что такое pro/con для каждого? Мне нужно прочитать некоторые json-файлы, добавить к ним дополнительные пользовательские метаданные и

5зной

1ответ

Воздушный поток: как SSH и запустить BashOperator с другого сервера

Есть ли способ ssh на другой сервер и запустить BashOperator с помощью Airbnb's Airflow? Я пытаюсь запустить команду hive sql с Airflow, но мне нужно SSH в другую коробку, чтобы запустить оболочку уль

0зной

1ответ

Как избежать воздушного потока для обратной засыпки при использовании trigger_dag?

Я хочу создать DAG, который будет работать только на внешнем триггере (т. Е. С помощью команды «airflow trigger_dag»). Однако, когда я это делаю, я вижу несколько «запланированных_xxx» DagRuns в допол

6зной

2ответ

Установка воздушного потока для высокой доступности

Как развернуть планировщик воздушного потока apache (формально известный как воздушный поток airbnb) в высокой доступности? Я не спрашиваю о БД или RabbitMQ, которые, очевидно, должны быть развернуты

0зной

1ответ

ImportError: Нет модуль с именем mako.util при запуске воздушного потока

Я пытаюсь следовать учебник по здесь: http://pythonhosted.org/airflow/tutorial.html , но я использую макинтош, и поэтому я должен был установить питона через brew, который затем поставляется с pip, ко

0зной

1ответ

HttpIO - Потребление внешних ресурсов в преобразовании потока данных

Я пытаюсь написать пользовательский Source с использованием SDK Python Dataflow для чтения данных JSON параллельно с конечной точкой REST. E.g. для заданного набора идентификаторов, мне нужно, чтобы и

4зной

2ответ

Выполнение всей DAG с использованием Airflow UI

Я новичок в воздушном потоке, у нас есть DAG с 3 задачами. В настоящее время мы используем Celery Executor, поскольку нам нужна гибкость для выполнения отдельной задачи. Мы не хотим планировать рабочи