Microsoft Azure Data Lake 連線¶
Microsoft Azure Data Lake 連線類型啟用 Azure Data Lake 整合。
驗證 Azure Data Lake¶
有一種方法可以使用 Airflow 連接到 Azure Data Lake。
使用令牌憑證，即將特定的憑證（client_id、secret、tenant）和帳戶名稱新增到 Airflow 連線。
回退到DefaultAzureCredential。這包括嘗試不同選項進行身份驗證的機制：受管理系統識別、環境變數、通過 Azure CLI 進行身份驗證……
預設連線 ID¶
所有與 Microsoft Azure Data Lake 相關的 hooks 和 operators 預設使用 azure_data_lake_default。
設定連線¶
- 登入 (選填)
指定用於初始連線的
client_id。這是令牌憑證身份驗證機制所必需的。可以省略以回退到DefaultAzureCredential。- 密碼 (選填)
指定用於初始連線的
secret。這僅是令牌憑證身份驗證機制所必需的。可以省略以回退到DefaultAzureCredential。- 額外 (選填)
指定可用於 Azure Data Lake 連線的額外參數（作為 json 字典）。以下參數都是選填的
tenant：（選填）指定要使用的 tenant。這是令牌憑證身份驗證機制所必需的。可以省略以回退到DefaultAzureCredential。account_name：指定 azure data lake 帳戶名稱。這有時稱為store_name
在環境變數中指定連線時，您應該使用 URI 語法指定它。
請注意，URI 的所有組件都應進行 URL 編碼。
例如
export AIRFLOW_CONN_AZURE_DATA_LAKE_DEFAULT='azure-data-lake://client%20id:secret@?tenant=tenant+id&account_name=store+name'