apache-airflow-providers-apache-hdfs

變更日誌¶

4.7.0¶

注意

此供應商版本僅適用於 Airflow 2.9+，如 Apache Airflow 供應商支援政策中所述。

功能¶

新增 mTLS 支援至 WebHDFSHook (#44561)

雜項¶

將供應商中最低 Airflow 版本提升至 Airflow 2.9.0 (#44956)

4.6.0¶

功能¶

新增 MultipleFilesWebHdfsSensor (#43045)

雜項¶

修正失敗的靜態檢查 & 供應商測試 (#43122)

4.5.1¶

雜項¶

移除已棄用的日誌處理程序參數 filename_template (#41552)

4.5.0¶

注意

此供應商版本僅適用於 Airflow 2.8+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

將供應商中最低 Airflow 版本提升至 Airflow 2.8.0 (#41396)

4.4.2¶

雜項¶

更新 Python 3.12 的 pandas 最低需求 (#40272)
實作每個供應商的測試，使用最低直接依賴項解析 (#39946)

4.4.1¶

雜項¶

更快的 'airflow_version' 導入 (#39552)
簡化 'airflow_version' 導入 (#39497)

4.4.0¶

注意

此供應商版本僅適用於 Airflow 2.7+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

將供應商中最低 Airflow 版本提升至 Airflow 2.7.0 (#39240)

4.3.3¶

雜項¶

將 Pydantic 轉為可選依賴項 (#37320)

4.3.2¶

雜項¶

在將最低 airflow 版本提升至 2.6 後，從 hdfs 任務處理程序中移除 _read 方法 (#36425)
整合在 hdfs 任務處理程序中載入 delete_local_logs conf (#36422)

4.3.1¶

錯誤修正¶

修正連線類型 webhdfs (#36145)

4.3.0¶

注意

此供應商版本僅適用於 Airflow 2.6+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

將供應商中最低 Airflow 版本提升至 Airflow 2.6.0 (#36017)

4.2.0¶

注意

此供應商版本僅適用於 Airflow 2.5+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

提升供應商的最低 airflow 版本 (#34728)
在供應商中使用 'airflow.exceptions.AirflowException' (#34511)

4.1.1¶

雜項¶

修正 hdfs 供應商的例外訊息中的套件名稱 (#33813)

4.1.0¶

注意

此版本已停止支援 Python 3.7

功能¶

新增從 HDFS 讀取/寫入任務實例日誌的功能 (#31512)

4.0.0¶

注意

此供應商版本僅適用於 Airflow 2.4+，如 Apache Airflow 供應商支援政策中所述。

重大變更¶

原始的 HDFS Hook 和感測器已被移除。它使用了舊的 HDFS snakebite-py3 程式庫，該程式庫多年未更新，且其使用的 protobuf 已達到生命週期終止。

3.* 版本的供應商仍然可用，如果您需要使用舊的 hooks 和感測器，可以使用該版本。

已從此供應商中移除 HDFSHook、HDFSSensor、HdfsRegexSensor、HdfsRegexSensor，且不再可用。如果您想繼續使用它們，可以使用 3.* 版本的供應商，但建議切換到使用 WebHDFS API 的新 WebHDFSHook 和 WebHDFSSensor。

移除基於 snakebite-py3 的 HDFS hooks 和感測器 (#31262)

注意

snakebite-py3 程式庫所需的 Protobuf 3 已於 2023 年 6 月終止生命週期，Airflow 及其供應商已停止支援它。如果您想在擁有 protobuf 程式庫 4.+ 時繼續使用基於 snakebite-py3 程式庫的 HDFS hooks 和感測器，您可以安裝 3.* 版本的供應商，但由於 Protobuf 不相容，您需要執行以下兩件事之一

在您的環境中設定 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python 變數。
將 protobuf 降級至最新的 3.* 版本 (目前為 3.20.3)

設定 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python 將使許多使用 protobuf 的程式庫變慢 - 包括多個 Google 用戶端程式庫和 Kubernetes。將 protobuf 降級至 (已終止生命週期) 3.* 版本將使某些最新版本的新供應商 (例如 google 和 grpc) 不相容，您也必須降級這些供應商。這兩者都應僅視為臨時解決方案，您應盡快遷移到 WebHDFS。

雜項¶

提升供應商中最低 Airflow 版本 (#30917)

3.2.1¶

錯誤修正¶

修正 HDFSHook HAClient 無效 (#30164)

3.2.0¶

注意

此供應商版本僅適用於 Airflow 2.3+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

將所有供應商的最低 airflow 版本移至 2.3.0 (#27196)

3.1.0¶

功能¶

新增 WebHDFS 感測器的身份驗證 (#25110)

3.0.1¶

錯誤修正¶

'WebHDFSHook' 錯誤修正/可選端口 (#24550)

3.0.0¶

重大變更¶

此供應商版本僅適用於 Airflow 2.2+，如 Apache Airflow 供應商支援政策 https://github.com/apache/airflow/blob/main/README.md#support-for-providers 中所述

雜項¶

雜項：重構和清理 Apache 供應商 (#24219)

2.2.3¶

錯誤修正¶

修正為所有供應商錯誤添加 install_requires (#22382)

2.2.2¶

雜項¶

在 PyPI 中新增 Trove 分類器 (Framework :: Apache Airflow :: Provider)

2.2.1¶

雜項¶

支援 Python 3.10
為 WebHDFS 運算子新增操作指南 (#21393)

2.2.0¶

功能¶

hdfs 供應商：恢復 webhdfs 的 HA 支援 (#19711)

2.1.1¶

錯誤修正¶

修正 webhdfs hook 中的 get_connections 棄用警告 (#18331)

2.1.0¶

功能¶

hdfs 供應商：允許 SSL webhdfs 連線 (#17637)

雜項¶

最佳化 Airflow 2.2.0 的連線導入

2.0.0¶

重大變更¶

自動套用 apply_default 裝飾器 (#15667)

警告

由於移除了 apply_default 裝飾器，此版本的供應商需要 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，且您想安裝此供應商版本，請先將 Airflow 升級至至少 2.1.0 版本。否則，您的 Airflow 套件版本將自動升級，您必須手動執行 airflow upgrade db 以完成遷移。

1.0.1¶

更新文件和 readme 檔案。

1.0.0¶

供應商的初始版本。