apache-airflow-providers-apache-hive

變更日誌

9.0.0¶

注意

此供應商版本僅適用於 Airflow 2.9+，如Apache Airflow 供應商支援政策中所述。

重大變更¶

警告

所有已棄用的類別、參數和功能已從 {provider_name} 供應商套件中移除。以下是導入的重大變更

移除了已棄用的 GSSAPI 以用於 auth_mechanism。 請改用 KERBEROS。

從 Apache hive Provider 中移除棄用 (#44715)

其他¶

將供應商中的最低 Airflow 版本提升至 Airflow 2.9.0 (#44956)
更新多個供應商文件中的 DAG 範例連結 (#44034)
在整個程式碼庫中將 execution_date 重新命名為 logical_date (#43902)

8.2.1¶

其他¶

為 DbApiHook、 PrestoHook 和 TrinoHook 新增分號剝離支援 (#41916)
說明如何在 airflow virtualenv 中使用 uv 並使其運作 (#43604)
將 'uncompress_file' 函式從 'airflow.utils' 移動到 Hive 供應商 (#43526)

8.2.0¶

注意

此供應商版本僅適用於 Airflow 2.8+，如Apache Airflow 供應商支援政策中所述。

其他¶

將供應商中的最低 Airflow 版本提升至 Airflow 2.8.0 (#41396)

8.1.2¶

其他¶

更新 Python 3.12 的 pandas 最低需求 (#40272)
實作使用最低直接相依性解析的每個供應商測試 (#39946)

8.1.1¶

其他¶

更快的 'airflow_version' 匯入 (#39552)
簡化 'airflow_version' 匯入 (#39497)
改進 hive hook 中的高可用性欄位名稱 (#39658)

8.1.0¶

注意

此供應商版本僅適用於 Airflow 2.7+，如Apache Airflow 供應商支援政策中所述。

其他¶

將供應商中的最低 Airflow 版本提升至 Airflow 2.7.0 (#39240)

8.0.0¶

重大變更¶

在 hive cli 連線中，將 use_beeline 的預設值變更為 True。Beeline 在此連線類型中將始終預設為啟用。

從 HiveHook 和相依運算子中移除已棄用的參數 authMechanism。請在您的 extra 中改用 auth_mechanism。

HiveOperator：移除了方法 get_hook，改為使用 hook 屬性。

HiveStatsCollectionOperator：移除了已棄用的 col_blacklist，改為使用 excluded_columns。

為 hive cli 連線預設設定 use_beeline (#38763)
移除 hive 供應商中已棄用的程式碼 (#38859)

功能¶

為 hive hook 新增對高可用性 Hive 安裝的支援 (#38651)

7.0.1¶

其他¶

從程式碼中移除對 Jira Issue 的參考 (#37807)
將 'aws_conn_id' 類型統一為始終為 'str | None' (#37768)
將 'pandas' 限制為 '<2.2' (#37748)

7.0.0¶

重大變更¶

移除在連線中將代理使用者指定為 owner 或 login 或 as_param 的能力。現在，在 Proxy User 連線參數中設定使用者，或將 proxy_user 傳遞給 HiveHook 即可完成工作。

`` 簡化 hive 用戶端連線 (#37043)``

其他¶

修正 pyhive hive_pure_sasl 額外名稱 (#37323)

6.4.2¶

錯誤修正¶

修正 'hive-stats' 中 '__init__' 中範本欄位的指派 (#36905)

其他¶

為所有供應商和 airflow 設定 pandas 最低相依性為 1.2.5 (#36698)

6.4.1¶

錯誤修正¶

修正 'hive_to_samba.py' 中 '__init__' 中範本欄位的指派 (#36486)

6.4.0¶

功能¶

為 hive 新增參數 proxy user (#36221)

其他¶

透過 Ruff 在 docstring 中新增程式碼片段格式化 (#36262)

6.3.0¶

注意

此供應商版本僅適用於 Airflow 2.6+，如Apache Airflow 供應商支援政策中所述。

其他¶

將供應商中的最低 Airflow 版本提升至 Airflow 2.6.0 (#36017)

6.2.0¶

注意

此供應商版本僅適用於 Airflow 2.5+，如Apache Airflow 供應商支援政策中所述。

其他¶

提升供應商的最低 airflow 版本 (#34728)
整合 HiveOperator 中的 hook 管理 (#34430)

6.1.6¶

其他¶

重構供應商中的 regex (#33898)
在 Airflow 供應商中將序列串連替換為解封裝 (#33933)
在 hive 供應商中將單一元素切片替換為 next() (#33937)
在供應商中，使用具有多個上下文的單一陳述式，而不是巢狀陳述式 (#33768)
在 Hive hook 中使用 startswith 一次，並搭配 tuple (#33765)
重構：簡化一些迴圈 (#33736)
E731：在 Airflow 供應商中將 lambda 替換為 def 方法 (#33757)
在 Airflow 供應商中使用 f-string 代替 (#33752)

6.1.5¶

注意

此供應商現在使用 pure-sasl，這是一個純 Python 實作的 SASL，它比先前的 sasl 實作維護得更好，即使對於 sasl 介面來說速度稍慢。它也允許為 Python 3.11 安裝 hive。

其他¶

重新帶回對 Python 3.11 的 hive 支援 (#32607)
重構：簡化 Apache/Alibaba 供應商中的程式碼 (#33227)
在適用的情況下，將 'X for X in Y' 簡化為 'Y' (#33453)
將 OrderedDict 替換為純 dict (#33508)
簡化圍繞 enumerate 的程式碼 (#33476)
在供應商中使用 str.splitlines() 來分割行 (#33593)
簡化 providers/apache 中關於 len() 的條件 (#33564)
將 repr() 替換為適當的格式化 (#33520)
避免在執行階段和模組層級中匯入 pandas 和 numpy (#33483)
整合 pandas 的匯入和使用 (#33480)

6.1.4¶

其他¶

重新帶回 mysql-connector-python 作為必要的相依性 (#32989)

6.1.3¶

錯誤修正¶

修正 Hive 的 Pandas2 相容性 (#32752)

其他¶

為 DbApiHook.run 方法新增更精確的類型標註 (#31846)
將 Hive 設定移動到 Apache Hive 供應商 (#32777)

6.1.2¶

錯誤修正¶

新增 proxy_user 範本檢查 (#32334)

6.1.1¶

注意

此版本已停止支援 Python 3.7

錯誤修正¶

清理 beeline principal 參數 (#31983)

其他¶

將 unicodecsv 替換為標準 csv 函式庫 (#31693)

6.1.0¶

注意

此供應商版本僅適用於 Airflow 2.4+，如Apache Airflow 供應商支援政策中所述。

其他¶

提升供應商中的最低 Airflow 版本 (#30917)
更新 'S3Hook' 上 'get_key' 方法的傳回類型 (#30923)

6.0.0¶

重大變更¶

auth 選項已從 extra 欄位移動到 Hook 中的 auth 參數。如果您在連線中將額外參數定義為 auth，則應將其移動到使用 HiveOperator 或其他 Hive 相關運算子的 DAG。

將 auth 參數從 extra 移動到 Hook 參數 (#30212)

5.1.3¶

錯誤修正¶

驗證 Hive Beeline 參數 (#29502)

5.1.2¶

其他¶

修正由新的 mysql-connector-python 引入的 MyPy 錯誤 (#28995)

5.1.1¶

錯誤修正¶

將 local_infile 選項從 extra 移動到 hook 參數 (#28811)

5.1.0¶

功能¶

apache.hive 供應商現在提供 hive 巨集，這些巨集以前由 Airflow 提供。apache.hive 5.1.0 版本起，hive 巨集由供應商提供。

將 Hive 巨集移動到供應商 (#28538)
使 pandas 相依性對於 Amazon 供應商成為可選項目 (#28505)

5.0.0¶

重大變更¶

連線中的 hive_cli_params 已移動到 Hook。如果您在連線中將額外參數定義為 hive_cli_params extra，則應將其移動到使用 HiveOperator 的 DAG。

將 hive_cli_params 移動到 hook 參數 (#28101)

功能¶

改進 Hive hook 中無效結構描述的篩選 (#27808)

4.1.1¶

錯誤修正¶

將 common.sql 供應商提升至 1.3.1 (#27888)

4.1.0¶

注意

此供應商版本僅適用於 Airflow 2.3+，如Apache Airflow 供應商支援政策中所述。

其他¶

將所有供應商的最低 airflow 版本移動到 2.3.0 (#27196)

錯誤修正¶

在 Hive hook 中篩選掉無效的結構描述 (#27647)

4.0.1¶

其他¶

為 common-sql 新增 common-sql 下限 (#25789)

4.0.0¶

重大變更¶

HiveServer2Hook 的 get_records 中的 hql 參數已重新命名為 sql，以符合 get_records DbApiHook 簽章。如果您將其用作位置參數，則對您而言沒有任何變更，但是如果您將其用作關鍵字參數，則需要重新命名它。
hive_conf 參數已重新命名為 parameters，現在它是第二個參數，以符合 DbApiHook 中的 get_records 簽章。如果您使用過它，則需要重新命名它。
get_records 中的 schema 參數是一個可選的 kwargs 額外參數，您可以新增它，以符合 DbApiHook 中 get_records 的結構描述。
棄用 hql 參數並同步 DBApiHook 方法 API (#25299)
移除 Smart Sensors (#25507)

3.1.0¶

功能¶

將所有 SQL 類別移動到 common-sql 供應商 (#24836)

錯誤修正¶

修正 'HiveMetastoreHook' 和 'HiveServer2Hook' 中的連線額外參數 'auth_mechanism' (#24713)

3.0.0¶

重大變更¶

注意

此供應商版本僅適用於 Airflow 2.2+，如Apache Airflow 供應商支援政策中所述。

其他¶

雜項：重構和清理 Apache 供應商 (#24219)
AIP-47 - 將 hive DAG 遷移到新設計 #22439 (#24204)

2.3.3¶

錯誤修正¶

修正 HiveToMySqlOperator 錯誤的 docstring (#23316)

2.3.2¶

錯誤修正¶

修正為所有供應商錯誤地新增的 install_requires (#22382)

2.3.1¶

其他¶

在 PyPI 中新增 Trove 分類器（Framework :: Apache Airflow :: Provider）

2.3.0¶

功能¶

在 HiveMetastoreHook 中設定更大的限制 get_partitions_by_filter (#21504)

錯誤修正¶

修正 Hive 中的 Python 3.9 支援 (#21893)
修正 'HiveOperator' 的 'template_fields_renderers' 中的金鑰錯字 (#21525)

其他¶

支援 Python 3.10
為 hive operator 新增操作指南 (#21590)

2.2.0¶

功能¶

新增更多 SQL 範本欄位渲染器 (#21237)
為新的 SQL 詞法分析器新增條件式 'template_fields_renderers' 檢查 (#21403)

2.1.0¶

功能¶

hive 供應商：還原 metastore 的 HA 支援 (#19777)

錯誤修正¶

2.0.3¶

錯誤修正¶

修正 hivemetastore hook 中 get_connections 棄用警告 (#18854)

2.0.2¶

錯誤修正¶

HiveHook 修正當嘗試讀取空表格時， get_pandas_df() 失敗的問題 (#17777)

其他¶

最佳化 Airflow 2.2.0 的連線匯入

2.0.1¶

功能¶

新增 Python 3.9 支援 (#15515)

2.0.0¶

重大變更¶

自動套用 apply_default 裝飾器 (#15667)

警告

由於移除了 apply_default 裝飾器，此供應商版本需要 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您想要安裝此供應商版本，請先將 Airflow 升級到至少 2.1.0 版本。否則，您的 Airflow 套件版本將自動升級，並且您必須手動執行 airflow upgrade db 以完成移轉。

1.0.3¶

錯誤修正¶

修正 doc/docstrings 中的錯誤和錯字 (#15180)
修正文法並移除重複的單字 (#14647)
解決與 HiveCliHook kill 相關的問題 (#14542)

1.0.2¶

錯誤修正¶

在發布供應商 RC 後， docs 和工具中的更正 (#14082)

1.0.1¶

更新了文件和讀我檔案。

錯誤修正¶

如果處於 LDAP 或 CUSTOM 模式，則移除密碼 HiveServer2Hook (#11767)

1.0.0¶

供應商的初始版本。