apache-airflow-providers-microsoft-azure

更新日誌

12.0.0

注意

此供應商版本僅適用於 Airflow 2.9+，如 Apache Airflow 供應商支援政策中所述。

重大變更

警告

所有已棄用的類別、參數和功能都已從 microsoft azure 供應商套件中移除。引入了以下重大變更

  • 在 azure 連線額外設定中，移除已棄用的 extra__azure_data_explorer__foo。

  • 在 azure 連線額外設定中，移除已棄用的 extra__azure__tenantId。請改用 tenantId。

  • 移除已棄用的 get_state_exitcode_details 方法。請改用 get_state。

  • 移除已棄用的 get_messages 方法。請改用 get_state。

  • 在 azure 連線額外設定中，移除已棄用的 extra__azure_data_factory__foo。

  • 在 AzureSynapsePipelineHook 中，使用 default_conn_name=azure_synapse_connection 已被棄用。請改用 default_conn_name=azure_synapse_default。

  • 移除已棄用的方法 get_hook 以取得 AzureDataExplorerHook 的實例。請改用 hook 屬性。

  • 移除已棄用的方法 get_hook 以取得 AzureBatchHook 的實例。請改用 hook 屬性。

  • 移除已棄用的方法 AzureKeyVaultBackend.get_conn_uri。請改用 get_conn_value。

  • 移除已棄用的類別 WasbBlobAsyncSensor。請改用 WasbBlobSensor 並搭配 deferrable=True。

  • 移除已棄用的運算子 AzureBlobStorageToGCSOperator。請改用 airflow.providers.google.cloud.transfers.azure_blob_to_gcs.AzureBlobStorageToGCSOperator。

  • 移除 Microsoft-AZURE 中的 供應商 棄用 (#44763)

錯誤修正

  • 修正 MSGraphAsyncOperator 的路徑 和 查詢 參數中的 可調用 值 (#43799)

  • PowerBIDatasetRefreshOperator 在 重新整理 失敗時 應 失敗 (#44696)

其他

  • 將 供應商中的 最低 Airflow 版本 提升至 Airflow 2.9.0 (#44956)

  • 將 觸發器 移動到 標準 供應商 (#43608)

  • 移除 XCom 封存 (#43905)

  • 更新 多個 供應商 文件中的 DAG 範例 連結 (#44034)

  • 更新 文件中的 範例 dags 路徑 (#45069)

  • 避免 使用 msgraph-core 1.1.8 版本 (#45044)

  • 重構： 新增 MS Graph 連線 類型 (#45006)

11.1.0

功能

  • 為 wasbhook 新增 copy_object 功能 (#43037)

錯誤修正

  • 修正 Power BI 觸發器 擷取 狀態 (#43494)

其他

  • 為 ipykernel,scrapbook, pywinrm 新增 最低 版本 (#43603)

11.0.0

重大變更

警告

  • 我們變更了 Azure Service Bus 訊息的回呼，使其接受兩個參數：訊息和內容，而不僅僅是訊息。這樣可以將訊息資訊推送到 XComs 中。若要從僅接受訊息的先前版本升級，請更新您的回呼以接受內容作為第二個參數。

  • 將 內容 新增至 Azure Service Bus 訊息 回呼 (#43370)

功能

  • 功能： 在 MSGraphAsyncOperator 中新增 event_handler 參數 (#42539)

其他

  • 為 PowerBIDatasetRefresh 運算子 新增 文件。 (#42754)

  • 為 microsoft-kiota-abstractions 新增 上限 (#43021)

  • 限制 looker-sdk 版本 24.18.0 和 microsoft-kiota-http 1.3.4 (#42954)

10.5.1

錯誤修正

  • （錯誤修正）： MSGraphAsyncOperator 中的 分頁 結果 (#42414)

其他

  • 變通方法 釘選 azure kusto data (#42576)

  • 在 airflow 2.8.0 及更高版本中， 移除 任務 內容 記錄的 條件 檢查 (#42764)

10.5.0

功能

  • 允許 在 MSGraphAsyncOperator 中使用 自訂 api 版本 (#41331)

  • `` 新增回呼以處理 Azure Service Bus 訊息內容 (#41601)``

其他

  • 從 供應商中 移除 已棄用的 soft_fail (#41710)

  • 移除 已棄用的 日誌 處理常式 引數 filename_template (#41552)

10.4.0

注意

此供應商版本僅適用於 Airflow 2.8+，如 Apache Airflow 供應商支援政策中所述。

功能

  • Microsoft Power BI 運算子 用於 重新整理 資料集 (#40356)

  • 將 Azure 容器 執行個體 日誌 訊息 匯出到 XCOM (#41142)

錯誤修正

  • 修正 新 azure 程式庫的 mypy 檢查 (#41386)

其他

  • 將 供應商中的 最低 Airflow 版本 提升至 Airflow 2.8.0 (#41396)

10.3.0

功能

  • 為 Azure 容器 執行個體 新增 優先順序 (#40616)

其他

  • 提升 azure containerinstance 的 最低 版本。 (#40767)

10.2.0

功能

  • 新增 S3ToAzureBlobStorageOperator (#40511)

10.1.2

錯誤修正

  • 切換 AzureDataLakeStorageV2Hook 以 使用 DefaultAzureCredential 進行 受管理身分/工作負載 驗證 (#38497)

  • 錯誤修正： 確保 XComs 在 MSGraphAsyncOperator 中能正確運作，並搭配 分頁 結果 和 動態 任務 映射 (#40301)

其他

  • 使用 最低直接 依賴性 解析度 實作 每個供應商的 測試 (#39946)

10.1.1

其他

  • 移除 WasbTaskHandler 中未使用的 向後相容性 _read 函式 (#39827)

  • 更新 範例 AzureContainerInstancesOperator (#39466)

10.1.0

注意

此供應商版本僅適用於 Airflow 2.7+，如 Apache Airflow 供應商支援政策中所述。

功能

  • 將 dns_config 和 diagnostics 參數 新增至 AzureContainerInstancesOperator (#39156)

  • 將 stacklevel 新增到 'AzureSynapsePipelineHook' 棄用 警告中 (#39192)

  • 在 Microsoft Azure 供應商中 新增 MSGraphOperator (#38111)

  • 使 fs/adls.py 對連線的 處理 更接近 WasbHook 的處理方式，並 新增 單元 測試。 (#38747)

  • 在 KiotaRequestAdapterHook 上實作 run-method，並 將 邏輯 從 觸發器 移至 hook (#39237)

  • 將 MSGraphSensor 實作為 可延遲的 感測器 (#39304)

錯誤修正

  • 修正： 僅 引用 MSGraphOperator 中 query_parameters 的 索引鍵 (#39207)

其他

  • 將 供應商中的 最低 Airflow 版本 提升至 Airflow 2.7.0 (#39240)

  • 重新套用 所有 供應商的 範本 (#39554)

  • 更快速的 'airflow_version' 匯入 (#39552)

  • 簡化 'airflow_version' 匯入 (#39497)

10.0.0

警告

  • 我們將 azure-cosmos 的最低版本提升至 4.6.0，現在建立、取得或刪除容器以及取得文件時，必須提供分割區金鑰。

重大變更

警告

  • azure_synapse_pipeline 連線類型已變更為 azure_synapse。

  • 使用 default_conn_name=azure_synapse_connection 已被棄用，未來將會移除。 AzureSynapsePipelineHook 的新預設連線名稱為：default_conn_name=azure_synapse_default。

  • 功能/重構 azure synapse pipeline 類別 (#38723)

功能

  • 新增 'ADLSCreateObjectOperator' (#37821)

錯誤修正

  • fix(microsoft/azure): 在 觸發器中的 while 迴圈內，為 yield 新增 return 陳述式 (#38393)

  • 修正 cosmos hook 靜態 檢查，方法是 強制 提供 partition_key (#38199)

其他

  • 重構： 重構 BaseOperatorMeta 的 __new__ 魔術 方法，以 避免 不良的 混合 經典 和 裝飾器 運算子 (#37937)

  • 更新 至 最新的 service bus (#38384)

  • 限制 azure-cosmos (#38175)

9.0.1

錯誤修正

  • 修正： 在 AzureDataLakeStorageV2Hook 中使用 ClientSecretCredential 時，傳遞 proxies 設定 (#37103)

9.0.0

重大變更

警告

在此供應商版本中，已從 WasbPrefixSensorTrigger 中移除 include 和 delimiter 參數。這些參數現在需要透過 check_options 參數傳遞

  • 修正 WasbPrefixSensor 在 同步 和 非同步 模式下的 引數 不一致 (#36806)

  • 將 WasbPrefixSensorTrigger 參數 重大變更 新增至 azure 供應商 更新日誌 (#36940)

錯誤修正

  • 修正 在 'AzureBatchHook' 中未偵測到 失敗的 任務 (#36785)

  • 修正 'container_instances.py' 中 '__init__' 中 範本 欄位的 指派 (#36529)

其他

  • feat: 將 所有 類別、 函式、 方法 棄用 切換為 裝飾器 (#36876)

8.5.1

其他

  • 移除 未使用的 '_parse_version' 函式 (#36450)

  • 在將 最低 Airflow 版本 提升至 2.6.0 後，清理 WASB 任務 處理常式 程式碼 (#36421)

8.5.0

功能

  • 允許 傳遞 儲存體 選項 (#35820)

錯誤修正

  • azurefilesharehook 修正 連線 類型 azure (#36309)

  • 在子類別中，遵循 BaseHook 連線 欄位 方法 簽章 (#36086)

其他

  • 透過 Ruff 在 docstrings 中新增 程式碼 片段 格式設定 (#36262)

8.4.0

注意

此供應商版本僅適用於 Airflow 2.6+，如 Apache Airflow 供應商支援政策中所述。

錯誤修正

  • 修正 'AzureSynapsePipelineRunLink.get_fields_from_url' 中 try 區塊外的 reraise (#36009)

  • 請勿 在 'WasbHook.delete_container' 中捕捉 過於廣泛的 例外狀況 (#36034)

其他

  • 將 供應商中的 最低 Airflow 版本 提升至 Airflow 2.6.0 (#36017)

8.3.0

功能

  • 在 UI 中新增 Azure Synapse Pipeline 連線類型 (#35709)

  • 新增 任務 內容 記錄 功能，以 允許 將 訊息 轉發到 任務 日誌 (#32646)

  • 新增 運算子以 調用 Azure-Synapse pipeline (#35091)

  • 擴展 任務 內容 記錄 支援，以 使用 WASB (Azure Blob Storage) 進行 遠端 記錄 (#32972)

其他

  • 檢查 父項上的 attr 而非 self re TaskContextLogger set_context (#35780)

  • 移除 供應商中與 Airflow 2.3/2.4 的 向後相容性 (#35727)

8.2.0

功能

  • 為 AsyncDefaultAzureCredential 新增 受管理身分 支援 (#35394)

  • feat(provider/azure): 為 container_registry hook 新增 受管理身分 支援 (#35320)

  • feat(provider/azure): 為 wasb hook 新增 受管理身分 支援 (#35326)

  • feat(provider/azure): 為 asb hook 新增 受管理身分 支援 (#35324)

  • feat(provider/azure): 為 cosmos hook 新增 受管理身分 支援 (#35323)

  • feat(provider/azure): 為 container_volume hook 新增 受管理身分 支援 (#35321)

  • feat(provider/azure): 為 container_instance hook 新增 受管理身分 支援 (#35319)

  • feat(provider/azure): 為 adx hook 新增 受管理身分 支援 (#35325)

  • feat(provider/azure): 為 batch hook 新增 受管理身分 支援 (#35327)

  • feat(provider/azure): 為 data_factory hook 新增 受管理身分 支援 (#35328)

  • feat(provider/azure): 為 synapse hook 新增 受管理身分 支援 (#35329)

  • feat(provider/azure): 為 fileshare hook 新增 受管理身分 支援 (#35330)

錯誤修正

  • 修正 AzureContainerInstanceOperator remove_on_error (#35212)

  • fix(providers/microsoft): 為 get_async_default_azure_credential 設定 use_async=True (#35432)

其他

  • 移除 Azure 供應商中 空的 TYPE_CHECKING 區塊 (#35477)

  • 重構 azure 受管理身分 (#35367)

  • 重複使用 Azure utils 方法中的 get_default_azure_credential 方法 (#35318)

  • `` 使 AzureKeyVaultBackend 中的 DefaultAzureCredential 可配置 (#35052)``

  • 使 AzureBaseHook 中的 DefaultAzureCredential 可配置 (#35051)

8.1.0

功能

  • AIP-58: 新增 Airflow ObjectStore (AFS) (#34729)

8.0.0

注意

此供應商版本僅適用於 Airflow 2.5+，如 Apache Airflow 供應商支援政策中所述。

重大變更

警告

在此供應商版本中，我們已從 AzureContainerInstancesOperator 和 AzureDataFactoryHook 方法中移除 network_profile 參數，並且 AzureDataFactoryRunPipelineOperator 引數 resource_group_name 和 factory_name 現在為必要，而非 kwargs

  • resource_group_name 和 factory_name 現在是 AzureDataFactoryHook 方法 get_factory、update_factory、create_factory、delete_factory、get_linked_service、delete_linked_service、get_dataset、delete_dataset、get_dataflow、update_dataflow、create_dataflow、delete_dataflow、get_pipeline、delete_pipeline、run_pipeline、get_pipeline_run、get_trigger、get_pipeline_run_status、cancel_pipeline_run、create_trigger、delete_trigger、start_trigger、stop_trigger、get_adf_pipeline_run_status、cancel_pipeline_run 中的必要引數

  • resource_group_name 和 factory_name 現在是 AzureDataFactoryRunPipelineOperator 中的必要引數

  • 從 airflow.providers.microsoft.azure.hooks.data_factory 移除類別 PipelineRunInfo

  • 從 AzureContainerInstancesOperator 移除 network_profile 參數

  • 從 azure_container_instance 連線額外設定中移除已棄用的 extra__azure__tenantId

  • 從 azure_container_instance 連線額外設定中移除已棄用的 extra__azure__subscriptionId

  • 提升 azure-mgmt-containerinstance (#34738)

  • 升級 microsift azure 供應商中的 azure-mgmt-datafactory (#34040)

功能

  • 在 AzureContainerInstancesOperator 中新增 subnet_ids 參數 (#34850)

  • 允許 在 AzureKeyVaultBackend 中透過 關鍵字 引數 提供 認證 (#34706)

錯誤修正

  • 在 調用 ClientSecretCredential 時，命名 參數 (#34732)

  • fix(providers/microsoft-azure): 在 引發 例外狀況時，遵守 soft_fail 引數 (#34494)

  • 針對 Azure 容器 日誌 無法 正確讀取 時的 錯誤 處理。 (#34627)

  • 修正 Azure Blob Storage 的 遠端 記錄 選項中 硬編碼的 容器 名稱 (#32779)

其他

  • 提升 供應商的 最低 airflow 版本 (#34728)

  • 整合 AzureBatchOperator 中的 hook 管理 (#34437)

  • Consolidate hook management in AzureDataExplorerQueryOperator (#34436)

7.0.0

重大變更

警告

在此供應商版本中，我們已變更 AzureFileShareHook 以使用 azure-storage-file-share 程式庫，而非 azure-storage-file。此變更會影響現有的 hook 方法，詳細資訊請參閱下方說明，並從連線額外參數中移除已棄用的 extra__azure_fileshare__ 前綴，以及從連線額外參數中移除 protocol 參數

  • AzureFileShareHook 的 get_conn 傳回 None 而非 FileService

  • 從 Azure 檔案共用連線額外參數中移除 protocol 參數

  • 從 Azure 檔案共用連線額外參數 list_files 中移除已棄用的 extra__azure_fileshare__ 前綴

  • 從 AzureFileShareHook 方法 check_for_directory、list_directories_and_files、create_directory 中移除 share_name、directory_name 參數，改用 AzureFileShareHook share_name 和 directory_path 參數

  • AzureFileShareHook 方法 create_share 和 delete_share 接受來自 ShareServiceClient.create_share 和 ShareServiceClient.delete_share 的 kwargs

  • 從 AzureFileShareHook 方法 get_file、get_file_to_stream 和 load_file 中移除 share_name、directory_name、file_name 參數，改用 AzureFileShareHook share_name 和 file_path

  • 移除 AzureFileShareHook.check_for_file 方法

  • 移除 AzureFileShareHook.load_string、AzureFileShareHook.load_stream，改用 AzureFileShareHook.load_data

注意

LocalToAzureDataLakeStorageOperator 類別已移除，改用 LocalFilesystemToADLSOperator，AzureDataFactoryPipelineRunStatusAsyncSensor 類別已移除，改用 AzureDataFactoryPipelineRunStatusSensor

  • 更新 Azure 檔案共用 hook 以 使用 azure-storage-file-share 取代 azure-storage-file (#33904)

  • 移除 'AzureDataFactoryPipelineRunStatusAsyncSensor' 類別 (#34036)

  • 移除 'LocalToAzureDataLakeStorageOperator' 類別 (#34035)

新功能

  • feat(providers/microsoft): 新增 AzureContainerInstancesOperator.volume 作為 範本 欄位 (#34070)

  • 新增 DefaultAzureCredential 支援 至 AzureContainerRegistryHook (#33825)

  • feat(providers/microsoft): 新增 DefaultAzureCredential 支援 至 AzureContainerVolumeHook (#33822)

雜項

  • 重構 providers 中的 regex (#33898)

  • 改善 AzureBatchHook DefaultAzureCredential 支援 的文件 (#34098)

  • 從 microsoft azure providers 中 移除  azure-storage-common (#34038)

  • 從 providers 中 移除 無用的 string join (#33968)

  • 重構 providers 中 不必要的  jumps (#33833)

6.3.0

新功能

  • 新增 AzureBatchOperator 範例 (#33716)

  • feat(providers/microsoft): 新增 DefaultAzureCredential 支援 至 AzureContainerInstanceHook (#33467)

  • 新增 DefaultAzureCredential auth 以 用於 ADX 服務 (#33627)

  • feat(providers/microsoft): 新增 DefaultAzureCredential 至 data_lake (#33433)

  • 允許 傳遞 fully_qualified_namespace 和 credential 以 初始化 Azure Service Bus Client (#33493)

  • 新增 DefaultAzureCredential 支援 至 cosmos (#33436)

  • 新增 DefaultAzureCredential 支援 至 AzureBatchHook (#33469)

錯誤修正

  • 修正 更新 WasbHook 的 account url (#33457)

  • 修正 Azure Batch Hook 的 instantiation (#33731)

  • 如果 Wasb 儲存體 帳戶 名稱 超過 24 個 字元，則 截斷 Wasb 儲存體 帳戶 名稱 (#33851)

  • 移除 Azure MessageHook 中 重複的 message commit (#33776)

  • fix(providers/azure): 移除 查詢 AzureCosmosDBHook 時的 json.dumps (#33653)

雜項

  • 重構： 移除 無用的 str() 呼叫 (#33629)

  • Bump azure-kusto-data>=4.1.0 (#33598)

  • 簡化 providers/microsoft 中 len() 的 條件 (#33566)

  • 將 記錄 層級 設定為 WARNING (#33314)

  • 將 'X for X in Y' 簡化為 'Y' 在 適用的情況下 (#33453)

  • Bump azure-mgmt-containerinstance>=7.0.0,<9.0.0 (#33696)

  • 改善 Airflow providers 中 模組 import ，將 其中一些 移至 type-checking 區塊 (#33754)

  • 在 providers 中使用 具有 多個 上下文的 單一  statement ，而非 巢狀  statements (#33768)

  • 移除 providers 中 不必要的 list ，並 使用 list 重寫 它 (#33763)

  • 最佳化 Azure Provider 中 Airflow DB 後端 使用量 (#33750)

6.2.4

雜項

  • 透過 從 conn 額外 欄位中 刪除 自訂 前綴，來 清理 microsoft azure provider (#30558)

6.2.3

雜項

  • 重構 WasbHook 中的 account_url 使用方式 (#32980)

6.2.2

雜項

  • 新增 Redis task handler (#31855)

  • 新增 providers 模組和 類別 docstring 的 棄用 資訊 (#32536)

6.2.1

注意

注意：此版本包含 WasbHook 中 get_blobs_list_async 方法的修正，該方法會傳回 blob 名稱的清單，但宣告（透過類型提示）它會傳回 BlobProperties 物件的清單。這是實作中的錯誤，已在此版本中修正。但是，如果您依賴先前的行為，您可能需要從此方法傳回的陣列元素中檢索 name 屬性。

錯誤修正

  • 修正 在 WASB 中 將 Active Directory ID 用作 host 時的 重大變更 (#32560)

  • 修正 get_blobs_list_async 方法 以 傳回 BlobProperties (#32545)

雜項

  • 將 'AzureBlobStorageToGCSOperator' 從 Azure 移至 Google provider (#32306)

6.2.0

新功能

  • 新增 ADLS Gen2 的 連線 測試  (#32126)

  • 新增 將 額外 configs 傳遞至 ClientSecretCredential 的 選項  (#31783)

  • 新增 'AzureBlobStorageToS3Operator' 傳輸 operator (#32270)

錯誤修正

  • 如果 捕獲到 非預期的 exception，則 取消 pipeline (#32238)

  • 修正 當 未使用 login （帳戶 名稱）提供 account url 時，會 建置 account url 的 問題 (#32082)

  • 如果 在 "AzureDataFactory" 中 捕獲到 exception，則 重新整理 連線 (#32323)

雜項

  • 文件 變更： 在 Azure provider 文件中 新增 Transfers 章節 (#32241)

  • 在 Azure providers 文件中 新增 Sensor 章節  (#32299)

  • 新增 default_deferrable config (#31712)

6.1.2

注意

此版本已停止支援 Python 3.7

雜項

  • 將 unicodecsv 取代為 標準 csv 程式庫 (#31693)

  • 移除 AzureBlobStorageToGCSOperator 中 未使用的 變數 (#31765)

  • 移除 Python 3.7 支援 (#30963)

  • 為 _read_remote_logs 新增 docstring 和 signature (#31623)

6.1.1

錯誤修正

  • 修正 WasbPrefixSensor 中 deferrable 模式 執行 (#31411)

雜項

  • 最佳化 wasb sensors 的 deferred 模式 執行 (#31009)

6.1.0

注意

如 Apache Airflow providers 支援政策 中所述，此供應商版本僅適用於 Airflow 2.4+。

新功能

  • 為 'WasbPrefixSensor' 新增 deferrable 模式 (#30252)

雜項

  • Bump providers 中的 最低 Airflow 版本 (#30917)

  • 最佳化 'AzureDataFactoryPipelineRunStatusSensor' 的 deferrable 執行 模式 (#30983)

  • 最佳化 AzureDataFactoryRunPipelineOperator 的 deferred 執行 (#31214)

6.0.0

重大變更

警告

在此供應商版本中，已從 AzureBlobStorageToGCSOperator 中移除已棄用的 GCS hook 參數 delegate_to。可以改用 impersonation_chain 參數來達成模擬。

  • 從 GCP operators 和 hooks 中 移除 delegate_to (#30748)

雜項

  • 將 WasbBlobAsyncSensor 合併至 WasbBlobSensor (#30488)

5.3.1

錯誤修正

  • 修正 AzureDataFactoryPipelineRunLink get_link 方法 (#30514)

  • 從 extra__azure__subscriptionId 載入 subscription_id (#30556)

5.3.0

新功能

  • 新增 deferrable 'AzureDataFactoryRunPipelineOperator' (#30147)

  • 新增 deferrable 'AzureDataFactoryPipelineRunStatusSensor' (#29801)

  • 支援 在使用 遠端 記錄時 刪除 本機 記錄 檔案 (#29772)

錯誤修正

  • 修正 deferral 期間的 ADF 工作 失敗 (#30248)

  • 修正 使用 Active Directory 驗證的 AzureDataLakeStorageV2Hook 'account_url' (#29980) (#29981)

雜項

  • 將 AzureDataFactoryPipelineRunStatusAsyncSensor 合併至 AzureDataFactoryPipelineRunStatusSensor (#30250)

  • 公開 AzureSynapseHook API 文件中 遺失的 參數 (#30099)

5.2.1

錯誤修正

  • 處理 使用 'WasbHook.delete_file()' 刪除 超過 256 個 blobs 的狀況 (#29565)

5.2.0

新功能

  • 啟用 個別 觸發器 記錄 (#27758)

錯誤修正

  • 修正 AzureSynapseHook Python API 文件中 參數 呈現 (#29041)

雜項

  • 棄用 GCP operators 中的 'delegate_to' 參數，並 更新 文件 (#29088)

5.1.0

新功能

  • 為 Azure Data Lake Storage Gen2 新增 hook (#28262)

錯誤修正

  • 隱藏 WASB 連線 表單中的 'extra' 欄位 (#28914)

5.0.2

雜項

  • 在 ARM 上 重新啟用 azure service bus ，因為 它 現在 建置 順利 (#28442)

5.0.1

錯誤修正

  • 使 'offset' 和 'length' 引數 成為 非必要 項目 (#28234)

5.0.0

注意

如 Apache Airflow providers 支援政策 中所述，此供應商版本僅適用於 Airflow 2.3+。

重大變更

  • 在 AzureFileShareHook 中，如果連線額外字典中同時存在 extra__azure_fileshare__foo 和 foo，則會使用具有前綴的版本；現在，將優先使用不含前綴的版本。

  • 移除 已棄用的 類別 (#27417)

  • 在 Azure Batch 中，vm_size 和 vm_node_agent_sku_id 參數為必要項目。

雜項

  • 將 所有 providers 的 最低 airflow 版本 移至 2.3.0 (#27196)

新功能

  • 新增 azure、 google、 authentication 程式庫 限制 至 eaager 升級 (#27535)

  • 允許 並 優先使用 其餘 azure 的 不含前綴的 額外 欄位 (#27220)

  • 允許 並 優先使用 AzureFileShareHook 的 不含前綴的 額外 欄位 (#27041)

  • 允許 並 優先使用 AzureDataExplorerHook 的 不含前綴的 額外 欄位 (#27219)

  • 允許 並 優先使用 AzureDataFactoryHook 的 不含前綴的 額外 欄位 (#27047)

  • 更新 WasbHook 以 反映 對 不含前綴的 額外 項目的 偏好設定 (#27024)

  • 在 'get_field' 中 尋找 'extra__' 而非 'extra_' (#27489)

錯誤修正

  • 修正 新增 類型 至 azure batch lib 所揭露的 Azure Batch 錯誤 (#27601)

  • 修正 分隔符號 在 variables_prefix 為 空時 被 新增的問題 (#26749)

4.3.0

新功能

  • 新增 DataFlow 操作 至 Azure DataFactory hook (#26345)

  • 在 AzureContainerInstancesOperator 中 新增 network_profile 參數 (#26117)

  • 新增 Azure synapse operator (#26038)

  • 在 Web UI 中 自動 tail 檔案 記錄 (#26169)

  • 實作 Azure Service Bus Topic 建立、 刪除 Operators (#25436)

錯誤修正

  • 修正 AzureBatchOperator 誤判 task 狀態為 negative 的問題 (#25844)

4.2.0

新功能

  • 為 AzureContainerInstanceHook 新增 'test_connection' 方法 (#25362)

  • 為 Azure Batch hook 新增 test_connection (#25235)

  • Bump typing-extensions 和 mypy 以 用於 ParamSpec (#25088)

  • 實作 Azure Service Bus （更新 和 接收） Subscription Operator (#25029)

  • 將 預設 wasb Azure http 記錄 層級 設定為 warning； 修正 #16224 (#18896)

4.1.0

新功能

  • 為 AzureCosmosDBHook 新增 'test_connection' 方法 (#25018)

  • 為 AzureFileShareHook 新增 test_connection 方法 (#24843)

  • 為 Azure WasbHook 新增 test_connection 方法 (#24771)

  • 實作 Azure service bus subscription Operators (#24625)

  • 實作 Azure Service Bus Queue Operators (#24038)

錯誤修正

  • 更新 providers 以 使用 functools compat 以用於 ''cached_property'' (#24582)

4.0.0

重大變更

注意

如 Apache Airflow providers 支援政策 中所述，此供應商版本僅適用於 Airflow 2.2+。

新功能

  • 將 連線 額外 參數 傳遞至 wasb BlobServiceClient (#24154)

雜項

  • 將 每次執行 記錄 範本 套用至 記錄 處理常式 (#24153)

  • 將 Microsoft 範例 DAG 遷移至 新 設計 #22452 - azure (#24141)

  • 為 Azure Cosmos Client Hook 新增 類型 (#23941)

3.9.0

新功能

  • wasb hook: 使用者 defaultAzureCredentials 而非 managedIdentity (#23394)

雜項

  • 將 'DummyOperator' 的使用方式 取代為 'EmptyOperator' (#22974)

3.8.0

新功能

  • 更新 secrets 後端 以 使用 get_conn_value 而非 get_conn_uri (#22348)

雜項

  • 文件： 修正 'AzureCosmosDocumentSensor' 的 範例 使用方式 (#22735)

3.7.2

錯誤修正

  • Fix mistakenly added install_requires for all providers (#22382)

3.7.1

其他

  • Add Trove classifiers in PyPI (Framework :: Apache Airflow :: Provider)

3.7.0

功能

  • Add 'test_connection' method to 'AzureDataFactoryHook' (#21924)

  • Add pre-commit check for docstring param types (#21398)

  • Make container creation configurable when uploading files via WasbHook (#20510)

其他

  • Support for Python 3.10

  • (AzureCosmosDBHook) Update to latest Cosmos API (#21514)

3.6.0

功能

  • Add optional features in providers. (#21074)

其他

  • Refactor operator links to not create ad hoc TaskInstances (#21285)

3.5.0

功能

  • Azure: New sftp to wasb operator (#18877)

  • Removes InputRequired validation with azure extra (#20084)

  • Add operator link to monitor Azure Data Factory pipeline runs (#20207)

3.4.0

功能

  • Remove unnecessary connection form customizations in Azure (#19595)

  • Update Azure modules to comply with AIP-21 (#19431)

  • Remove 'host' from hidden fields in 'WasbHook' (#19475)

  • use DefaultAzureCredential if login not provided for Data Factory (#19079)

錯誤修正

  • Fix argument error in AzureContainerInstancesOperator (#19668)

3.3.0

功能

  • update azure cosmos to latest version (#18695)

  • Added sas_token var to BlobServiceClient return. Updated tests (#19234)

  • Add pre-commit hook for common misspelling check in files (#18964)

錯誤修正

  • Fix changelog for Azure Provider (#18736)

其他

  • Expanding docs on client auth for AzureKeyVaultBackend (#18659)

  • Static start_date and default arg cleanup for Microsoft providers example DAGs (#19062)

3.2.0

功能

  • Rename AzureDataLakeStorage to ADLS (#18493)

  • Creating ADF pipeline run operator, sensor + ADF custom conn fields (#17885)

  • Rename LocalToAzureDataLakeStorageOperator to LocalFilesystemToADLSOperator (#18168)

  • Rename FileToWasbOperator to LocalFilesystemToWasbOperator (#18109)

錯誤修正

  • Fixed wasb hook attempting to create container when getting a blob client (#18287)

  • Removing redundant relabeling of password conn field (#18386)

  • Proper handling of Account URL custom conn field in AzureBatchHook (#18456)

  • Proper handling of custom conn field values in the AzureDataExplorerHook (#18203)

主要

運算子名稱和匯入路徑的變更列於下表中。這是一個向後相容的變更。已棄用的運算子將在下一個主要版本中移除。

已棄用的運算子名稱

新的運算子名稱

已棄用的路徑

新的路徑

AzureDataLakeStorageListOperator

ADLSListOperator

airflow.providers.microsoft.azure.operators.adls_list

airflow.providers.microsoft.azure.operators.adls

AzureDataLakeStorageDeleteOperator

ADLSDeleteOperator

airflow.providers.microsoft.azure.operators.adls_delete

airflow.providers.microsoft.azure.operators.adls

3.1.1

其他

  • Optimise connection importing for Airflow 2.2.0

  • Adds secrets backend/logging/auth information to provider yaml (#17625)

3.1.0

功能

  • Add support for managed identity in WASB hook (#16628)

  • Reduce log messages for happy path (#16626)

錯誤修正

  • Fix multiple issues in Microsoft AzureContainerInstancesOperator (#15634)

3.0.0

重大變更

  • Auto-apply apply_default decorator (#15667)

警告

由於移除了 apply_default 裝飾器，此供應商版本需要 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您想要安裝此供應商版本，請先將 Airflow 升級到至少 2.1.0 版本。否則，您的 Airflow 套件版本將會自動升級，並且您必須手動執行 airflow upgrade db 以完成遷移。

  • Fixes AzureFileShare connection extras (#16388)

Azure Container Volume 和 Azure File Share 現在具有專用的連線類型，並具有可編輯的 UI 欄位。您不應再為這些連線使用 Wasb 連線類型。這些 Hook/運算子的連線 ID 名稱已變更以反映這一點。

功能

  • add oracle  connection link (#15632)

  • Add delimiter argument to WasbHook delete_file method (#15637)

錯誤修正

  • Fix colon spacing in ``AzureDataExplorerHook docstring (#15841)``

  • fix wasb remote logging when blob already exists (#16280)

2.0.0

重大變更

  • Removes unnecessary AzureContainerInstance connection type (#15514)

此變更移除了 azure_container_instance_default 連線類型，並將其替換為 azure_default。問題在於 AzureContainerInstance 並非必要，因為它與普通的「azure」連線完全相同，但是它的存在導致 UI 編輯器中用於連線的欄位名稱重複，並產生不必要的警告。此版本也將普通的 Azure Hook 和連線用於 Azure Container Instance。如果您已在資料庫中建立 azure_container_instance_default 連線，它將繼續運作，但是當您第一次使用 UI 編輯它時，您將必須將其類型變更為 azure_default。

功能

  • Add dynamic connection fields to Azure Connection (#15159)

錯誤修正

  • Fix 'logging.exception' redundancy (#14823)

1.3.0

功能

  • A bunch of template_fields_renderers additions (#15130)

錯誤修正

  • Fix attributes for AzureDataFactory hook (#14704)

1.2.0

功能

  • Add Azure Data Factory hook (#11015)

錯誤修正

  • BugFix: Fix remote log in azure storage blob displays in one line (#14313)

  • Fix AzureDataFactoryHook failing to instantiate its connection (#14565)

1.1.0

更新了文件和讀我檔案。

功能

  • Upgrade azure blob to v12 (#12188)

  • Fix Azure Data Explorer Operator (#13520)

  • add AzureDatalakeStorageDeleteOperator (#13206)

1.0.0

供應商的初始版本。

此條目是否有幫助？