airflow.providers.openlineage.plugins.facets

模組內容

類別

AirflowMappedTaskRunFacet

包含關於映射任務資訊的執行 Facet。

AirflowJobFacet

複合 Airflow 工作 Facet。

AirflowStateRunFacet

提供狀態資訊的 Airflow Facet。

AirflowRunFacet

複合 Airflow 執行 Facet。

AirflowDagRunFacet

複合 Airflow DAG 執行 Facet。

AirflowDebugRunFacet

Airflow 除錯執行 Facet。

UnknownOperatorInstance

描述一個未知的運算子。

UnknownOperatorAttributeRunFacet

描述 Airflow DAG 中未知運算子的 RunFacet。

class airflow.providers.openlineage.plugins.facets.AirflowMappedTaskRunFacet[source]

基底類別: openlineage.client.facet_v2.RunFacet

包含關於映射任務資訊的執行 Facet。

mapIndex: int[source]
operatorClass: str[source]
classmethod from_task_instance(task_instance)[source]
class airflow.providers.openlineage.plugins.facets.AirflowJobFacet[source]

基底類別: openlineage.client.facet_v2.JobFacet

複合 Airflow 工作 Facet。

此 Facet 封裝了所有必要資訊,以重新建立 Airflow DAG 邏輯的完整範圍,從而能夠以全面的方式重建、視覺化和分析 DAG。它包括任務、任務群組及其層次關係的詳細表示,從而可以繪製一個視覺上表示整個 DAG 結構的圖形(如 Airflow UI 中所示)。它還指示任務是否應發出 OpenLineage (OL) 事件,使消費者能夠預期事件的數量並識別他們可以從哪些任務中期望這些事件。

屬性

taskTree:一個字典,表示 DAG 中任務的層次結構。 taskGroups:一個字典,包含有關 DAG 中任務群組的資訊。 tasks:一個字典,詳細說明 DAG 中的個別任務。

taskTree: dict[source]
taskGroups: dict[source]
tasks: dict[source]
class airflow.providers.openlineage.plugins.facets.AirflowStateRunFacet[source]

基底類別: openlineage.client.facet_v2.RunFacet

提供狀態資訊的 Airflow Facet。

此 Facet 旨在完成事件時發送,提供有關 DAG 執行和每個個別任務的狀態資訊。此資訊對於理解執行流程以及全面的執行後分析和除錯至關重要,包括某些任務為何未發出事件,這可能是由於使用了諸如 BranchOperator 之類的控制流程運算子而發生。

屬性

dagRunState:這表示整個 DAG 執行的最終狀態(例如,“成功”、“失敗”)。 tasksState:將任務 ID 映射到其各自狀態的字典。(例如,“失敗”、“跳過”)。

dagRunState: str[source]
tasksState: dict[str, str][source]
class airflow.providers.openlineage.plugins.facets.AirflowRunFacet[source]

基底類別: openlineage.client.facet_v2.RunFacet

複合 Airflow 執行 Facet。

dag: dict[source]
dagRun: dict[source]
task: dict[source]
taskInstance: dict[source]
taskUuid: str[source]
class airflow.providers.openlineage.plugins.facets.AirflowDagRunFacet[source]

基底類別: openlineage.client.facet_v2.RunFacet

複合 Airflow DAG 執行 Facet。

dag: dict[source]
dagRun: dict[source]
class airflow.providers.openlineage.plugins.facets.AirflowDebugRunFacet[source]

基底類別: openlineage.client.facet_v2.RunFacet

Airflow 除錯執行 Facet。

packages: dict[source]
class airflow.providers.openlineage.plugins.facets.UnknownOperatorInstance[source]

基底類別: openlineage.client.utils.RedactMixin

描述一個未知的運算子。

這指定了運算子的(類別)名稱及其屬性。

name: str[source]
properties: dict[str, object][source]
type: str = 'operator'[source]
class airflow.providers.openlineage.plugins.facets.UnknownOperatorAttributeRunFacet[source]

基底類別: openlineage.client.facet_v2.RunFacet

描述 Airflow DAG 中未知運算子的 RunFacet。

unknownItems: list[UnknownOperatorInstance][source]

此條目是否對您有幫助?