連線與掛鉤

Airflow 通常用於將資料拉取和推送到其他系統,因此它具有一流的連線概念,用於儲存用於與外部系統通訊的憑證。

連線本質上是一組參數 - 例如使用者名稱、密碼和主機名稱 - 以及它連接到的系統類型,以及一個稱為 conn_id 的唯一名稱。

它們可以透過 UI 或 CLI 進行管理;有關建立、編輯和管理連線的更多資訊,請參閱 管理連線。有可自訂的連線儲存和後端選項。

您可以直接從自己的程式碼中使用連線,您可以透過掛鉤使用它們,或從 範本 中使用它們

echo {{ conn.<conn_id>.host }}

掛鉤

掛鉤是外部平台的高階介面,可讓您快速輕鬆地與它們對話,而無需編寫低階程式碼來調用其 API 或使用特殊程式庫。它們通常也是建構運算子的基礎組件。

它們與連線整合以收集憑證,並且許多都有預設的 conn_id;例如,如果您不傳入 conn_idPostgresHook 會自動尋找 conn_idpostgres_default 的連線。

您可以在我們的 API 文件中查看 airflow 掛鉤的完整列表

自訂連線

Airflow 允許定義自訂連線類型。這是在 供應商套件 中詳細描述的內容 - 供應商為您提供定義自己的連線的功能。連線自訂可以由任何供應商完成,但社群管理的許多供應商也定義了自訂連線類型。由 Apache Airflow 社群 管理的供應商 交付的所有供應商的完整列表可以在 連線 中找到。

這篇文章對您有幫助嗎?