apache-airflow-providers-elasticsearch

更新日誌¶

6.0.0¶

注意

此供應商版本僅適用於 Airflow 2.9+，如 Apache Airflow 供應商支援政策中所述。

重大變更¶

警告

所有已棄用的類別、參數和功能都已從 ElasticSearch 供應商套件中移除。引入了以下重大變更

鉤子
- 移除 airflow.providers.elasticsearch.hooks.elasticsearch.ElasticsearchHook。改用 airflow.providers.elasticsearch.hooks.elasticsearch.ElasticsearchSQLHook。
日誌
- 從 ElasticsearchTaskHandler 中移除 log_id_template 參數。
- 從 ElasticsearchTaskHandler 中移除 retry_timeout 參數。改用 retry_on_timeout。

移除供應商棄用在 Elasticsearch 中 (#44629)

雜項¶

移除參考文獻至 AIRFLOW_V_2_9_PLUS (#44987)
提升最低 Airflow 版本在供應商至 Airflow 2.9.0 (#44956)
一致的方式檢查 Airflow 版本在供應商中 (#44686)
更新 DAG 範例連結在多個供應商文件中 (#44034)
重新命名 execution_date 為 logical_date 在整個程式碼庫中 (#43902)

5.5.3¶

雜項¶

新增支援分號剝離至 DbApiHook、 PrestoHook 和 TrinoHook (#41916)

5.5.2¶

雜項¶

移除條件式檢查針對任務上下文日誌記錄在 airflow 版本 2.8.0 及以上 (#42764)

5.5.1¶

錯誤修正¶

修正 ElasticSearch SQLClient 棄用警告 (#41871)

雜項¶

通用化快取連線在 DbApiHook 中以改善效能 (#40751)
filename template arg 在供應商檔案任務處理器向後相容性支援 (#41633)
移除已棄用的日誌處理器引數 filename_template (#41552)

5.5.0¶

注意

此供應商版本僅適用於 Airflow 2.8+，如 Apache Airflow 供應商支援政策中所述。

錯誤修正¶

修正 'ElasticsearchSQLHook' 失敗並顯示 'AttributeError: __enter__' (#41537)

雜項¶

提升最低 Airflow 版本在供應商至 Airflow 2.8.0 (#41396)

5.4.2¶

雜項¶

清理剩餘的 getattr 連線 DbApiHook (#40665)

5.4.1¶

錯誤修正¶

使 elastic search index_pattern 更可配置 (#38423)

雜項¶

更快的 'airflow_version' 匯入 (#39552)
簡化 'airflow_version' 匯入 (#39497)
排程器處理遞增 try_number 的 (#39336)

5.4.0¶

注意

此供應商版本僅適用於 Airflow 2.7+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

提升最低 Airflow 版本在供應商至 Airflow 2.7.0 (#39240)

5.3.4¶

雜項¶

新增 'task' 在 TaskInstance 上的預設值 / 修正 TaskInstancePydantic 上的屬性 (#37854)

5.3.3¶

雜項¶

避免 'pendulum.from_timestamp' 用法 (#37160)
feat: 將所有類別、函數、方法棄用切換至裝飾器 (#36876)

5.3.2¶

錯誤修正¶

修正 stacklevel 在 warnings.warn 中進入供應商中 (#36831)

5.3.1¶

雜項¶

移除 getattr 在 es 任務處理器中當 airflow 最低版本提升至 2.6 時 (#36431)

5.3.0¶

注意

此供應商版本僅適用於 Airflow 2.6+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

提升最低 Airflow 版本在供應商至 Airflow 2.6.0 (#36017)
清理程式碼適用於 elasticsearch<8 (#35707)

5.2.0¶

功能¶

新增任務上下文日誌記錄功能以允許轉發訊息至任務日誌 (#32646)
擴展任務上下文日誌記錄支援針對遠端日誌記錄使用 Elasticsearch (#32977)

錯誤修正¶

更新 es 讀取查詢以不使用 body (#34792)
檢查屬性在父項而非自身關於 TaskContextLogger set_context (#35780)

雜項¶

移除向後相容性繼承適用於 DbApiHook (#35754)

5.1.1¶

雜項¶

使用 None 代替空的資料結構當沒有 ElasticSearch 日誌時 (#34793)

5.1.0¶

注意

此供應商版本僅適用於 Airflow 2.5+，如 Apache Airflow 供應商支援政策中所述。

注意

在 PR #34790 中，我們從方法 es_read 中移除未使用的引數 metadata。我們確定 es_read 是一個內部方法，因此不受向後相容性的約束，因此我們沒有為此供應商提升主要版本。為了更清楚地表明這是一個內部方法，我們使用底線前綴 _es_read 重新命名了它。

雜項¶

提升最低 airflow 供應商版本 (#34728)
移除未使用的引數 metadata 從 es_read 並使其明確地私有 (#34790)
改善 end_of_log 判定的可理解性 (#34788)
取代 try/except/pass 為 contextlib.suppress 在 ElasticSearch 供應商中 (#34251)

5.0.2¶

錯誤修正¶

確保只有有效的 elasticsearch 金鑰被傳遞至處理器 (#34119)

雜項¶

取代序列串聯為解包在 Airflow 供應商中 (#33933)
改善模組匯入在 Airflow 供應商中透過它們中的一些進入類型檢查區塊 (#33754)
使用文字字典代替在供應商中呼叫 dict() (#33761)
移除不必要的並使用 list 在供應商中重寫它 (#33763)
使用 f-string 代替在 Airflow 供應商中 (#33752)

5.0.1¶

注意

此版本新增了對 elasticsearch 8 的支援

錯誤修正¶

新增向後相容性適用於 elasticsearch<8 (#33281)
修正 urlparse 無模式行為在 Python 3.9+ 上 (#33289)

雜項¶

升級 Elasticsearch 至 8 (#33135)

5.0.0¶

注意

升級至 Elasticsearch 8。ElasticsearchTaskHandler 和 ElasticsearchSQLHook 現在將使用 Elasticsearch 8 套件。如 https://elasticsearch-py.readthedocs.io/en/stable 中所述，Elasticsearch 語言客戶端僅與預設發行版向後相容，且不提供任何保證，我們建議將 Elasticsearch 資料庫版本升級至 8，以確保與語言客戶端的相容性。

重大變更¶

注意

棄用非官方 elasticsearch 程式庫。僅使用官方 elasticsearch 程式庫

棄用 2 個非官方 elasticsearch 程式庫 (#31920)

錯誤修正¶

修正不健全的類型提示在 ElasticsearchTaskHandler.es_read 中 (#32509)

雜項¶

修正失敗的 ES 遠端日誌記錄 (#32438)

4.5.1¶

注意

此版本已停止支援 Python 3.7

雜項¶

移除 Python 3.7 支援 (#30963)

4.5.0¶

注意

此供應商版本僅適用於 Airflow 2.4+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

提升最低 Airflow 版本在供應商中 (#30917)
上限綁定 elasticearch 整合 (#31255)

4.4.0¶

功能¶

啟用個別觸發器日誌記錄 (#27758)

4.3.3¶

錯誤修正¶

允許巢狀屬性在 elasticsearch host_field 中 (#28878)

4.3.2¶

錯誤修正¶

支援受限的索引模式在 Elasticsearch 日誌處理器中 (#23888)

4.3.1¶

錯誤修正¶

提升 common.sql 供應商至 1.3.1 (#27888)

4.3.0¶

注意

此供應商版本僅適用於 Airflow 2.3+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

移動最低 airflow 版本至 2.3.0 適用於所有供應商 (#27196)

4.2.1¶

雜項¶

新增 common-sql 下限適用於 common-sql (#25789)

4.2.0¶

功能¶

改善 ElasticsearchTaskHandler (#21942)

4.1.0¶

功能¶

新增 ElasticserachPythonHook - ES 鉤子與 Python 客戶端 (#24895)
移動所有 SQL 類別至 common-sql 供應商 (#24836)

錯誤修正¶

移動易錯的 ti.task.dag 分配回到 try/except 區塊內 (#24533) (#24592)

4.0.0¶

重大變更¶

注意

此供應商版本僅適用於 Airflow 2.2+，如 Apache Airflow 供應商支援政策中所述。

雜項¶

應用每次執行日誌範本至日誌處理器 (#24153)

3.0.3¶

錯誤修正¶

使 ElasticSearch 供應商相容於 Airflow<2.3 (#22814)

3.0.2 (已撤回)¶

警告

此版本已撤回，原因：Elasticsearch 3.0.2 與 Airflow >2.3 不相容

錯誤修正¶

修正錯誤地新增的 install_requires 適用於所有供應商 (#22382)
修正 "run_id" k8s 和 elasticsearch 與 Airflow 2.1 的相容性 (#22385)

3.0.1 (已撤回)¶

警告

此版本已撤回，原因：Elasticsearch 供應商與 Airflow <2.3 不相容

雜項¶

在 PyPI 中新增 Trove 分類器 (Framework :: Apache Airflow :: Provider)

3.0.0 (已撤回)¶

警告

此版本已撤回，原因：Elasticsearch 供應商與 Airflow <2.3 不相容

重大變更¶

變更預設日誌檔名範本以包含 map_index (#21495)

雜項¶

支援 Python 3.10

2.2.0¶

功能¶

發出 "找不到日誌" 訊息當 ES 日誌似乎遺失時 (#21261)
在日誌處理器中使用 compat 資料間隔墊片 (#21289)

雜項¶

釐清 ElasticsearchTaskHandler 文件字串 (#21255)

2.1.0¶

功能¶

新增 AIP 39 的文件: 時間表 (#17552)
新增範例展示 ES_hook (#17944)

2.0.3¶

錯誤修正¶

修正 ElasticsearchTaskHandler 中無效的日誌順序 (#17551)

雜項¶

最佳化 Airflow 2.2.0 的連線匯入
新增 secrets 後端/日誌記錄/驗證資訊至供應商 yaml (#17625)

2.0.2¶

錯誤修正¶

更新相依性以允許支援 Python 3.9

2.0.1¶

重大變更¶

自動應用 apply_default 裝飾器 (#15667)
移除 Elasticsearch 中對 Jinja 範本化的 log_id 的支援 (#16465)

雖然未記錄，但先前 [elasticsearch] log_id 支援 Jinja 範本字串。現在已移除對 Jinja 範本的支援。log_id 應為範本字串，例如：{dag_id}-{task_id}-{execution_date}-{try_number}。

如果您先前使用 Jinja 範本，則需要將 Elasticsearch 文件上的 execution_date 更新為新格式。

警告

由於移除了 apply_default 裝飾器，此供應商版本需要 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您想要安裝此供應商版本，請先將 Airflow 升級到至少 2.1.0 版本。否則您的 Airflow 套件版本將會自動升級，並且您必須手動執行 airflow upgrade db 以完成遷移。

功能¶

支援使用 filebeat 7 在 elasticsearch 中進行遠端日誌記錄 (#14625)
支援非 https elasticsearch 外部連結 (#16489)

錯誤修正¶

修正外部 elasticsearch 日誌連結 (#16357)
修正帶有 ''json_format'' 的 Elasticsearch 外部日誌連結 (#16467)

2.0.0 (已撤回)¶

警告

此版本已被撤回，原因是：發布錯誤！

1.0.4¶

錯誤修正¶

修正 'logging.exception' 冗餘 (#14823)
修正由 ElasticSearch 記錄中缺少鍵引起的異常 (#15163)

1.0.3¶

錯誤修正¶

Elasticsearch 供應商：修正任務的日誌下載 (#14686)

1.0.2¶

錯誤修正¶

發布供應商 RC 後，修正文件和工具 (#14082)

1.0.1¶

更新文件和 readme 檔案。

錯誤修正¶

在使用 Json Format 的 ES 日誌記錄時，遵守 LogFormat (#13310)

1.0.0¶

供應商的初始版本。