airflow.providers.dbt.cloud.utils.openlineage
¶
模組內容¶
函數¶
從 DBT Cloud 執行產生 OpenLineage 事件。 |
- airflow.providers.dbt.cloud.utils.openlineage.generate_openlineage_events_from_dbt_cloud_run(operator, task_instance)[原始碼]¶
從 DBT Cloud 執行產生 OpenLineage 事件。
此函數檢索關於 DBT Cloud 執行的資訊,包含相關聯的任務、專案和執行細節。它並行處理執行的產物,例如 manifest 和執行結果,以應對許多步驟。接著它會根據已執行的 DBT 任務產生並發射 OpenLineage 事件。
- 參數
operator (airflow.providers.dbt.cloud.operators.dbt.DbtCloudRunJobOperator | airflow.providers.dbt.cloud.sensors.dbt.DbtCloudJobRunSensor) – 執行 DBT 任務的 DBT Cloud 運算子實例。它應該已經有 run_id 和 dbt cloud hook。
task_instance (airflow.models.taskinstance.TaskInstance) – 目前執行的任務實例
- 回傳
一個空的 OperatorLineage 物件,表示事件產生已完成。
- 回傳類型
airflow.providers.openlineage.extractors.OperatorLineage