Microsoft Azure Data Lake Storage Gen2 連線

Microsoft Azure Data Lake Storage Gen2 連線類型啟用 ADLS gen2 整合。

驗證 Azure Data Lake Storage Gen2

目前,有三種方法可以使用 Airflow 連接到 Azure Data Lake Storage Gen2。

  1. 使用權杖憑證,即將特定憑證 (client_id、secret、tenant) 和訂閱 ID 新增到 Airflow 連線。

  2. 使用連線字串,即將連線字串新增到 Airflow 連線中的 connection_string

  3. 回退到 DefaultAzureCredential。這包含嘗試不同驗證選項的機制:受控系統識別、環境變數、透過 Azure CLI 驗證等等。

一次只能使用一種授權方法。如果您需要管理多個憑證或金鑰,則應設定多個連線。

預設連線 ID

所有與 Microsoft Azure Blob Storage 相關的 Hook 和運算子預設使用 azure_data_lake_default

設定連線

登入 (選填)

指定用於 Azure Blob Storage 的登入名稱。用於共用金鑰憑證和 SAS 權杖驗證。可以省略以回退到 DefaultAzureCredential

密碼 (選填)

指定用於 Azure Blob Storage 的密碼。用於 Active Directory (權杖憑證) 和共用金鑰驗證。可以省略以回退到 DefaultAzureCredential

主機 (選填)

指定用於匿名公開讀取、Active Directory、共用存取金鑰驗證的帳戶 URL。可以省略以回退到 DefaultAzureCredential

額外 (選填)

指定可用於 Azure 連線的額外參數 (以 JSON 字典形式)。以下參數皆為選填

  • tenant_id: 指定要使用的租用戶。Active Directory (權杖) 驗證時需要。可以省略以回退到 DefaultAzureCredential

  • connection_string: 用於連線字串驗證的連線字串。可以省略以回退到 DefaultAzureCredential

當在環境變數中指定連線時,您應該使用 URI 語法來指定。

請注意,URI 的所有組件都應該經過 URL 編碼。

這篇文章是否有幫助?