Планировщик воздушного потока медленный на 1 интервал

Question

У меня есть пара графиков, которые медленны на один интервал. Моя конфигурация выглядит как

args = { 
    'owner' : 'test', 
    'start_date' : datetime.now(), 
    'email' : ['a@b.com'], 
    'email_on_failure': True, 
    'email_on_retry' : True, 
    'retries' : 3, 
    'retry_delay' : timedelta(seconds=30) 

} 
dag = DAG(
    dag_id='feed_response', default_args=args, 
    concurrency=4, 
    schedule_interval='0 2 * * 6', 
    dagrun_timeout=timedelta(minutes=20) 
) 

Это расписание должно было запустить экземпляр в прошлую субботу. Он прошёл в прошлую субботу. Я заметил это поведение в нескольких наших работах. Есть ли причина, по которой планировщик, кажется, отстает на один интервал?

Answer 1

Это поведение описано на скорости воздушного потока вики в разделе «Общие Ловушки» (https://cwiki.apache.org/confluence/display/AIRFLOW/Common+Pitfalls):

Понимание даты исполнения: Поток воздуха был разработан в качестве решения для нужд ETL. В мире ETL вы обычно суммируете данные. Итак, если я хочу обобщить данные за 2016-02-19, я бы сделал это в 2016-02-20 полуночи по Гринвичу, что было бы верно после того, как все данные за 2016-02-19 станут доступными.

Answer 2

Airflow документация не рекомендует использовать динамические значения для start_date специально datetime.now()
https://airflow.incubator.apache.org/faq.html#what-s-the-deal-with-start-date