airflow

4зной

1ответ

У нас есть система с различными типами заданий. Назовем их, например: job_1 job_2 job_3 Все они требуют разных наборов параметров (и дополнительных параметров). То есть мы запускаем job_1(x) для р

3зной

1ответ

Настройка клиентов SnakeBite HDFS для работы с режимом высокой готовности

Я использую библиотеку snakebite для доступа к HDFS из своих затухающих потоков воздуха. Мой кластер HDFS был обновлен до режима высокой доступности. Теперь это означает, что клиенты, настроенные на т

3зной

3ответ

Воздушный поток HiveOperator не работает

Я пытаюсь использовать улей оператора в воздушном потоке. У меня установлены все зависимости (pyhs2, pyhive и run pip flow flow [hive]). Однако, когда я использую ниже код t1 = HiveOperator( task_

2зной

2ответ

airbnb airflow scheduler продолжает выполнение задач, даже если запланировано почасовое

Я использую воздушный поток airbnb, и я создаю простую задачу, показанную ниже. Однако планировщик продолжает выполнение задачи, хотя я устанавливаю интервал как ежечасно, так и любой другой интервал.

1зной

1ответ

Заполненность воздушного потока только 13 экземпляров запускаются с установкой по умолчанию

Я экспериментирую с airbnb airflow. Хотя я пытаюсь запустить его с опцией «обратной засыпки» на один день с timedelta 60 минут, выполняется только 13 экземпляров. Отдых отображается как ожидающий и ни

9зной

3ответ

Как запустить Airflow на Windows,

обычные инструкции для запуска Расход воздуха не применяются на среде Windows: # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional