Microsoft Azure Data Factory¶
Microsoft Azure Data Factory 連線類型啟用 Azure Data Factory 整合。
驗證 Azure Data Factory¶
有三種方式可以使用 Airflow 連線到 Azure Data Factory。
使用 權杖認證，即將特定認證（client_id、secret、tenant）和訂閱 ID 新增到 Airflow 連線。
使用受控識別，透過設定
managed_identity_client_id、workload_identity_tenant_id（底層使用帶有這些引數的 DefaultAzureCredential）回退到 DefaultAzureCredential。這包含嘗試不同選項進行驗證的機制：受控系統識別、環境變數、透過 Azure CLI 驗證...
預設連線 ID¶
所有與 Microsoft Azure Data Factory 相關的 Hook 和運算子預設使用 azure_data_factory_default。
設定連線¶
- 用戶端 ID
指定用於初始連線的
client_id。這是權杖認證驗證機制所必需的。可以省略以回退到 DefaultAzureCredential。- 密碼
指定用於初始連線的
secret。這是權杖認證驗證機制所必需的。可以省略以回退到 DefaultAzureCredential。- 租用戶 ID
指定用於初始連線的 Azure 租用戶 ID。這是權杖認證驗證機制所必需的。可以省略以回退到 DefaultAzureCredential。使用額外參數
tenantId傳入租用戶 ID。- 訂閱 ID
指定用於初始連線的訂閱 ID。這是所有驗證機制所必需的。使用額外參數
subscriptionId傳入 Azure 訂閱 ID。- Factory 名稱 (選填)
指定要介接的 Azure Data Factory。如果未在連線中指定，則需要直接傳遞到 Hook、運算子和感測器。使用額外參數
factory_name傳入 Factory 名稱。- 資源群組名稱 (選填)
指定所需 Data Factory 所在的 Azure 資源群組名稱。如果未在連線中指定，則需要直接傳遞到 Hook、運算子和感測器。使用額外參數
resource_group_name傳入資源群組名稱。- 受控識別用戶端 ID (選填)
使用者指派受控識別的用戶端 ID。如果提供
workload_identity_tenant_id，它們將傳遞到 DefaultAzureCredential。- 工作負載身分租用戶 ID (選填)
應用程式 Microsoft Entra 租用戶的 ID。也稱為其「目錄」ID。如果提供
managed_identity_client_id，它們將傳遞到 DefaultAzureCredential。
當在環境變數中指定連線時，您應該使用 URI 語法指定它。
請注意，URI 的所有組件都應進行 URL 編碼。
範例¶
export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id&resource_group_name=group+name&factory_name=factory+name'
export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id'