대기 (회색) 상태의 첫 번째 작업과 함께 Airflow Backfill DAG 실행이 중단됨

Question

이 문제에 대한 stackoverflow에서 비슷한 답변을 보려고 시도했지만 제 경우는 약간 다릅니다.

Airflow CLI를 통해 백필 작업을 실행하고 있으며 백필 된 dag 실행이 실행 중 상태로 멈춰서 dag의 첫 번째 작업이 대기 (회색) 상태에 있습니다.

스케줄러는 첫 번째 작업을 시작하지 않는 것 같습니다.

depends_on_past=Truedag_defaults로 설정 하지 않았습니다.

dag_defaults = {
    "start_date": datetime.today() - timedelta(days=2),
    "on_failure_callback": on_failure_callback,
    "provide_context": True
}

모든 작업을 수동으로 실행해야합니다. :( 단순히 스케줄러가 코스를 수행하고 자동으로 실행하도록하는 대신.

참고 : K8S 클러스터에서 Airflow 작업자 포드를 통해 백필 cli 명령을 실행하고 있습니다.

다른 사람이 backfill cli 명령을 사용하여 비슷한 문제에 직면 했습니까?

업데이트 : 내 백필 실행이 총 dag 간격을 벗어난다는 것을 깨달았습니다. 즉 start_date, 차단 일정 의존성을 유발하는 dag 이전 입니다.

실행을 생성 할 수는 있지만 자동으로 실행되지는 않지만 각 작업을 수동으로 실행할 수 있습니다.

해결 방법으로를 start_date가장 오래된 백필 날짜 이전 또는 날짜 로 변경해야 합니다.

전체 간격에 묶이지 않고 특정 dag_run에 대해 start_date를 모의 할 수있는 --force 옵션을 제공하거나 백필 cmd를 재정의하는 방법이 있다면 좋을 것입니다.

Answer 1

업데이트 : 내 백필 실행이 총 dag 간격을 벗어난다는 것을 깨달았습니다. 즉, dag start_date 이전에 차단 일정 종속성이 발생합니다.

실행을 생성 할 수는 있지만 자동으로 실행되지는 않지만 각 작업을 수동으로 실행할 수 있습니다.

해결 방법으로를 start_date가장 오래된 백필 날짜 이전 또는 날짜 로 변경해야 합니다.

전체 간격에 묶이지 않고 특정 dag_run에 대해 start_date를 모의 할 수있는 --force 옵션을 제공하거나 백필 cmd를 재정의하는 방법이 있다면 좋을 것입니다.