支援的類別

以下是支援 OpenLineage 提取的 Operators 和 Hooks 列表,以及與 SQLExecuteQueryOperator 相容的特定資料庫類型。

重要

儘管我們努力保持支援類別列表的最新狀態,但請注意我們的更新過程是自動化的,可能無法總是準確捕捉所有內容。偵測 Hook 層級的 lineage 具有挑戰性,因此請務必仔細檢查以下提供的資訊。

提示

您可以輕鬆地為任何 operator 實作 OpenLineage 支援。請參閱在 Operators 中實作 OpenLineage

核心 Operators

目前,有兩個核心 Operators 支援 OpenLineage。這些 Operators 作為「黑盒子」運作,能夠執行任何程式碼,這可能會限制 lineage 提取的範圍。為了增強 lineage 資訊的提取,Operators 可以使用以下列出的 hooks,這些 hooks 支援 OpenLineage。

  • PythonOperator (透過 airflow.providers.openlineage.extractors.python.PythonExtractor)

  • BashOperator (透過 airflow.providers.openlineage.extractors.bash.BashExtractor)

Spark Operators

當 OpenLineage 整合從 Airflow 提交時,可以自動將資訊注入到 Spark 應用程式屬性中。以下是支援的 Operators 列表,以及可以注入的相應資訊。

apache-airflow-providers-google

SQLExecuteQueryOperator

使用 SQL 解析進行 lineage 提取。為了從每種資料庫類型提取獨特的資料,需要一個實作 OpenLineage 方法的專用 Hook。目前,支援以下資料庫

這個條目是否有幫助?