airflow.example_dags.example_dataset_alias

用於示範 Airflow 中 DatasetAlias 功能行為的範例 DAG,包括條件式和基於資料集表達式的排程。

使用注意事項

開啟所有 DAG。

在執行任何 DAG 之前,「dataset_alias_example_alias_consumer」DAG 的排程將顯示為「Unresolved DatasetAlias」(未解析的 DatasetAlias)。這是預期的,因為資料集別名尚未解析為任何資料集。

一旦觸發「dataset_s3_bucket_producer」DAG,「dataset_s3_bucket_consumer」DAG 應在完成後被觸發。這是因為資料集別名「example-alias」用於在「produce_dataset_events_through_dataset_alias」任務期間,向資料集「s3://bucket/my-task」新增資料集事件。由於 DAG「dataset-alias-consumer」依賴先前未解析的資料集別名「example-alias」,DAG「dataset-alias-consumer」(以及同一檔案中的所有 DAG)將被重新解析,因此會將其排程更新為資料集「s3://bucket/my-task」,並且也會被觸發。

模組內容

函數

produce_dataset_events()

produce_dataset_events_through_dataset_alias(*[, ...])

consume_dataset_event()

consume_dataset_event_from_dataset_alias(*[, inlet_events])

airflow.example_dags.example_dataset_alias.produce_dataset_events()[原始碼]
airflow.example_dags.example_dataset_alias.produce_dataset_events_through_dataset_alias(*, outlet_events=None)[原始碼]
airflow.example_dags.example_dataset_alias.consume_dataset_event()[原始碼]
airflow.example_dags.example_dataset_alias.consume_dataset_event_from_dataset_alias(*, inlet_events=None)[原始碼]

此條目是否有幫助?