apache-airflow-providers-openlineage

更新日誌

2.0.0

注意

此供應商版本僅適用於 Airflow 2.9+，如Apache Airflow 供應商支援政策中所述。

重大變更

警告

所有已棄用的類別、參數和功能都已從 OpenLineage 供應商套件中移除。以下是導入的重大變更

  • 工具

    • 從 openlineage.utils 模組中移除 normalize_sql 函數。

  • 移除 OpenLineage 中的 供應商 棄用 (#44636)

功能

  • 新增 clear_number 至 OpenLineage 的 dagrun 層級 事件 run id 產生 (#44617)

  • 利用 更多 資訊 以 決定性地 產生 OpenLineage run_id (#43936)

  • feat: 自動 注入 OL 資訊 到 DataprocSubmitJobOperator 中的 spark 工作 (#44477)

其他

  • 移除 對 AIRFLOW_V_2_9_PLUS 的 參考 (#44987)

  • 在 供應商中 將 最低 Airflow 版本 提升 至 Airflow 2.9.0 (#44956)

  • 在 供應商中 檢查 Airflow 版本的 一致 方式 (#44686)

  • 為 OpenLineage 新增 基本 系統 測試 (#43643)

  • 將 Asset 使用者 面向 元件 移動 到 task_sdk (#43773)

  • 在 程式碼庫中 將 execution_date 重新命名 為 logical_date (#43902)

1.14.0

功能

  • 為 DbApiHook、 PrestoHook 和 TrinoHook 新增 分號 剝離 支援 (#41916)

  • 為 OL DAG Start 事件 新增 ProcessingEngineRunFacet (#43213)

錯誤修正

  • 在 OpenLineage 資訊中 序列化 asset/dataset 時間表 條件， 也 適用於 Airflow 2 (#43434)

  • OpenLineage: 在 實例化 OpenLineageClient 時 接受 整個 組態。 (#43740)

其他

  • 暫時 限制 openlineage 為 <1.24.0 (#43732)

  • 將 python 運算子 移動 到 Standard 供應商 (#42081)

1.13.0

功能

  • feat(providers/openlineage): 在 common 供應商中 使用 asset (#43111)

其他

  • 忽略 相容性 匯入的 attr-defined (#43301)

  • nit: 從 OL 的 AirflowJobFacet 中 移除 taskgroup 的 工具提示 (#43152)

  • openlineage 供應商 需要 1.2.1 common.compat (#43039)

1.12.2

其他

  • 變更 匯入 以 針對 BashOperator 使用 Standard 供應商 (#42252)

  • 捨棄 python3.8 支援 核心 和 供應商 (#42766)

  • 將 dataset 相關的 python 變數 名稱 重新命名 為 asset (#41348)

1.12.1

錯誤修正

  • fix: 未 發出 OpenLineage dag start 事件 (#42448)

  • fix: 錯誤 堆疊 追蹤 格式化中的 錯字 以 獲得 更清晰的 輸出 (#42017)

1.12.0

功能

  • feat: 在 傳送 DagRun 時 通知 潛在的 序列化 失敗， 不要 序列化 不必要的 參數， 防護 監聽器 以 處理 例外 (#41690)

錯誤修正

  • fix: 在 openlineage InfoJsonEncodable 中 將 列表 轉換 為 扁平化的 字串 (#41786)

其他

  • chore: 提升 OL 供應商 相依性 版本 (#42059)

  • 在 OpenLineage 供應商中 從 execution date 移動 到 dag_run.logical_date (#41889)

  • 統一 DAG 排程 引數， 並 將 預設值 變更 為 None (#41453)

1.11.0

注意

此供應商版本僅適用於 Airflow 2.8+，如Apache Airflow 供應商支援政策中所述。

功能

  • feat: 為 所有 OpenLineage 事件 新增 debug facet (#41217)

  • feat: 在 AirflowRunFacet 中 為 DAG 資訊 新增 fileloc (#41311)

  • feat: 從 openlineage client 移除 已棄用的 from_environment() 方法 (#41310)

  • feat: openlineage 監聽器 擷取 hook 層級 血緣 (#41482)

錯誤修正

  • fix: 取得 task 相依性， 而不 將 task 樹狀結構 序列化 為 字串 (#41494)

  • fix: 當 OpenLineage on_start 方法 遺失時， 傳回 空的 資料 而不是 None (#41268)

  • fix: 將 dagTree 取代 為 downstream_task_ids (#41587)

其他

  • 在 供應商中 將 最低 Airflow 版本 提升 至 Airflow 2.8.0 (#41396)

  • chore: 移除 openlineage 棄用 警告 (#41284)

1.10.0

功能

  • 在 COMPLETE/FAIL 事件中 新增 AirflowRun (#40996)

  • openlineage: 擴展 custom_run_facets 以 在 complete 和 fail 時 也 執行 (#40953)

  • openlineage: 將 OpenLineage 供應商 遷移 至 V2 facet。 (#39530)

  • openlineage: 為 dag runEvents 新增 AirflowRunFacet (#40854)

  • [AIP-62] 將 AIP-60 URI 翻譯 為 OpenLineage (#40173)

  • 能夠 在 OpenLineage 事件中 新增 自訂 facet (#38982)

  • openlineage: 在 common.compat 中 新增 方法， 以 不 強制 hook 嘗試/捕捉 每個 2.10 hook 血緣 呼叫 (#40812)

  • openlineage: 使用 airflow 提供的 getter 從 conf 取得 (#40790)

  • openlineage: 新增 組態 以 根據 conf 設定 包含 '完整' task 資訊 (#40589)

  • 將 TaskInstance log_url 新增 至 OpenLineage facet (#40797)

  • openlineage: 在 airflow run facet 中 為 task 資訊 新增 可延遲 資訊 (#40682)

錯誤修正

  • 調整 airflow 2.10 修正的 預設 extractor 的 on_failure 偵測 (#41094)

  • openlineage: 使 attrs.define 中 slots 的 值 在 所有 OL 用法中 保持一致 (#40992)

  • 將 'slots' 設定 為 True 以 用於 DagRun 中的 facet (#40972)

  • openlineage: 修正 / 在 AirflowRunFacet 中 新增 一些 task 屬性 (#40725)

其他

  • openlineage: 將 dt.now 取代 為 airflow.utils.timezone.utcnow (#40887)

  • openlineage: 移除 已棄用的 parentRun facet 金鑰 (#40681)

1.9.1

錯誤修正

  • fix openlineage 剖析 具有 MappedOperator 的 dag 樹狀結構 (#40621)

1.9.0

功能

  • local task job: 新增 timeout， 以 不 在 on_task_instance_success 監聽器 過早 終止 (#39890)

  • openlineage: 在 sql 剖析器 呼叫 站點周圍 新增 一些 debug 記錄 (#40200)

  • 將 task SLA 和 排隊的 datetime 資訊 新增 至 AirflowRunFacet (#40091)

  • 將 錯誤 堆疊追蹤 新增 至 OpenLineage task 事件 (#39813)

  • 導入 AirflowJobFacet 和 AirflowStateRunFacet (#39520)

  • 針對 OpenLineage runIds 使用 UUIDv7 (#39889)

  • openlineage: 在 個別 程序中 執行 擷取 和 訊息 傳送 (#40078)

  • 在 AirflowRunFacet 中 新增 一些 已移除的 Task 屬性 (#40371)

錯誤修正

  • openlineage, redshift: 針對 Airflow 2.10 以下的 版本， 不要 呼叫 DB 以取得 結構描述 (#40197)

  • fix: 排程器 在 airflow standalone 上 使用 OL 供應商 時 崩潰 (#40459)

  • nit: 修正 記錄 層級 (#40461)

  • fix: 在 OL facet 中 於 正確的 金鑰下 提供 堆疊 追蹤 (#40372)

其他

  • fix: airflow 供應商的 sqa 棄用 (#39293)

  • 在 ruff 中 啟用 強制執行 pydocstyle 規則 D213。 (#40448)

1.8.0

警告

在 Airflow 2.10.0 中，我們修正了 try_number 的運作方式。對於 Airflow >= 2.10.0，請使用 apache-airflow-providers-openlineage >= 1.8.0。舊版 Airflow 不受影響，如果您執行不相容的版本，將會引發例外，要求您升級供應商版本。

功能

  • 排程器 處理 try_number 的 遞增 (#39336)

錯誤修正

  • fix: 防止 在 無法 匯入 extractor 時 發生錯誤 (#39736)

  • 在 排程器中 重新組態 衍生 OpenLineage 程序中的 ORM。 (#39735)

其他

  • chore: 更新 conf 擷取 文件字串， 並 調整 pool_size (#39721)

  • 移除 Google 和 Snowflake 供應商中 的 'openlineage.common' 相依性。 (#39614)

  • 使用 'ProcessPoolExecutor' 而非 'ThreadPoolExecutor'。 (#39235)

  • misc: 新增 自訂 供應商 執行階段 檢查 (#39609)

  • 更快的 'airflow_version' 匯入 (#39552)

  • 簡化 'airflow_version' 匯入 (#39497)

  • openlineage: 通知 已捕捉到 記錄的 例外 (#39493)

  • chore: 新增 更多 OpenLineage 記錄 以 利於 偵錯 (#39136)

1.7.1

其他

  • openlineage, snowflake: 不要 針對 Snowflake 執行 外部 查詢 (#39113)

1.7.0

功能

  • 新增 lineage_job_namespace 和 lineage_job_name OpenLineage 巨集 (#38829)

  • openlineage: 新增 '選擇加入' 選項 (#37725)

錯誤修正

  • fix: 從 facet 中 移除 多餘的 運算子 資訊 (#38264)

  • fix: disabled_for_operators 現在 會 停止 整個 事件 發射 (#38033)

  • fix: 在 擷取 Airflow 組態時 新增 回退， 以 避免 引發 錯誤 (#37994)

  • fix: 修正 parent id 巨集， 並 移除 未使用的 工具 (#37877)

其他

  • 避免 在 測試 之外 使用 'assert' (#37718)

  • 為 TaskInstance 上的 'task' 新增 預設值 / 修正 TaskInstancePydantic 上的 attrs (#37854)

1.6.0

功能

  • feat: 為 event_size 和 擷取 時間 新增 OpenLineage 指標 (#37797)

  • feat: 為 File 和 User Airflow 的 血緣 實體 新增 OpenLineage 支援 (#37744)

  • [OpenLineage] 為 JobTypeJobFacet 屬性 新增 支援。 (#37255)

  • chore: 更新 OpenLineage ExtractorManager 中的 註解 和 記錄 (#37622)

錯誤修正

  • fix: 檢查 運算子 是否 在 DefaultExtractor.extract_on_complete 中 停用 (#37392)

其他

  • docs: 更新 整個 OpenLineage 供應商 文件。 (#37620)

1.5.0

功能

  • feat: 在 為 task 實例 產生 OpenLineage run_id 時 新增 dag_id。 (#36659)

1.4.0

功能

  • 為 Redshift SQL 新增 OpenLineage 支援。 (#35794)

1.3.1

錯誤修正

  • 修正 錯字。 (#36362)

1.3.0

功能

  • feat: 為 COMPLETE 和 FAIL 事件 新增 parent_run_id (#36067)

  • 將 基本 指標 新增 至 統計資訊 收集器。 (#35368)

錯誤修正

  • fix: 修復 OpenLineage FAIL 事件的 run_id (#36051)

  • 修正 並 重新套用 供應商 文件的 範本 (#35686)

其他

  • 移除 ClassVar 註解。 (#36084)

1.2.1

其他

  • 將 schema 篩選器 在 'create_filter_clauses' 中改為大寫 (#35428)

1.2.0

功能

  • 從 SQL 運算子 發送 欄位沿襲。 (#34843)

1.1.1

其他

  • 調整 OpenLineage 提供者 中的 日誌 層級 (#34801)

1.1.0

功能

  • 允許 在 運算子 層級 停用 openlineage (#33685)

錯誤修正

  • 修正 'get_custom_facets' 中的 匯入。 (#34122)

其他

  • 改善 Airflow 提供者 中 模組 的 匯入，透過 將其中一些 放入 型別檢查 區塊 (#33754)

  • 為 DBT Cloud 新增 OpenLineage 支援。 (#33959)

  • 重構 提供者 中不必要的  跳轉 (#33833)

  • 重構： 將 提供者 中的 lambdas 替換為 comprehensions (#33771)

1.0.2

錯誤修正

  • openlineage: 不要在 執行器 中執行 任務 實例 監聽器 (#33366)

  • openlineage: 不要 嘗試 編輯 來自 已棄用 配置 的 Proxy 物件 (#33393)

  • openlineage: 防禦性地 檢查 監聽器 中提供的 日期時間 (#33343)

其他

  • 為 Trino 新增 OpenLineage 支援。 (#32910)

  • 簡化 其他 提供者 中 len() 的條件 (#33569)

  • 將 repr() 替換為 正確的 格式化 (#33520)

1.0.1

錯誤修正

  • openlineage: 如果未 配置，則 停用 執行 監聽器 (#33120)

  • 當 未解析 schema 時，不要 使用 database 作為 後備。 (#32959)

其他

  • openlineage, bigquery: 為 BigQueryExecuteQueryOperator 新增 openlineage 方法 支援 (#31293)

  • 將 openlineage 配置 移動到 提供者 (#33124)

1.0.0

提供者的初始版本。

這個條目有幫助嗎？