支援的類別¶
以下是支援 OpenLineage 提取的 Operators 和 Hooks 列表,以及與 SQLExecuteQueryOperator 相容的特定資料庫類型。
重要
儘管我們努力保持支援類別列表的最新狀態,但請注意我們的更新過程是自動化的,可能無法總是準確捕捉所有內容。偵測 Hook 層級的 lineage 具有挑戰性,因此請務必仔細檢查以下提供的資訊。
提示
您可以輕鬆地為任何 operator 實作 OpenLineage 支援。請參閱在 Operators 中實作 OpenLineage。
核心 Operators¶
目前,有兩個核心 Operators 支援 OpenLineage。這些 Operators 作為「黑盒子」運作,能夠執行任何程式碼,這可能會限制 lineage 提取的範圍。為了增強 lineage 資訊的提取,Operators 可以使用以下列出的 hooks,這些 hooks 支援 OpenLineage。
PythonOperator
(透過airflow.providers.openlineage.extractors.python.PythonExtractor
)BashOperator
(透過airflow.providers.openlineage.extractors.bash.BashExtractor
)
Spark Operators¶
當 OpenLineage 整合從 Airflow 提交時,可以自動將資訊注入到 Spark 應用程式屬性中。以下是支援的 Operators 列表,以及可以注入的相應資訊。
apache-airflow-providers-google¶
SQLExecuteQueryOperator
¶
使用 SQL 解析進行 lineage 提取。為了從每種資料庫類型提取獨特的資料,需要一個實作 OpenLineage 方法的專用 Hook。目前,支援以下資料庫
MySql (透過
MySqlHook
)PgVector (透過
PgVectorHook
)Postgres (透過
PostgresHook
)RedshiftSQL (透過
RedshiftSQLHook
)Snowflake (透過
SnowflakeHook
)Trino (透過
TrinoHook
)
Providers¶
以下來自每個 provider 的 operators 和 hooks 原生配備 OpenLineage 支援。