apache-airflow-providers-apache-spark

變更日誌¶

5.0.0¶

注意

此供應商版本僅適用於 Airflow 2.9+，如 Apache Airflow 供應商支援政策中所述。

重大變更¶

警告

所有已棄用的類別、參數和功能已從 Apache Spark 供應商套件中移除。以下是引入的重大變更

運算子
- 移除了 SparkSqlOperator 的 _sql() 支援。請改用 sql 屬性。_sql 於 2016 年引入，由於它被列為範本欄位，但現在已不再是這種情況，儘管 _ 前綴將其標記為私有，我們仍將其作為公共 API 處理。

從 apache spark 供應商中移除已棄用的程式碼 (#44567)

其他¶

將供應商中的最低 Airflow 版本提升至 Airflow 2.9.0 (#44956)
修正 'main' 上 mypy 檢查失敗的問題 (#44191)
spark-submit：將 'principle' 替換為 'principal' (#44150)
更新多個供應商文件中的 DAG 範例連結 (#44034)

4.11.3¶

其他¶

將 python 運算子移至標準供應商 (#42081)

4.11.2¶

錯誤修正¶

在 SparkSqlOperator 中，將 conf 屬性從 str 變更為 dict (#42835)

4.11.1¶

其他¶

重構函數 resolve_kerberos_principal (#42777)

4.11.0¶

功能¶

在 SparkSubmitHook 上新增 kerberos 相關的連線欄位（principal、keytab） (#40757)

4.10.0¶

注意

此供應商版本僅適用於 Airflow 2.8+，如 Apache Airflow 供應商支援政策中所述。

其他¶

將供應商中的最低 Airflow 版本提升至 Airflow 2.8.0 (#41396)
解決 'SparkSqlOperator' 中的 'AirflowProviderDeprecationWarning' (#41358)

4.9.0¶

功能¶

將 'kubernetes_application_id' 新增至 'SparkSubmitHook' (#40753)

錯誤修正¶

(修正)： spark 提交 pod 名稱包含 driver 作為其名稱的一部分 (#40732)

4.8.2¶

其他¶

實作每個供應商的測試，採用最低直接相依性解析 (#39946)

4.8.1¶

其他¶

更快速的 'airflow_version' 匯入 (#39552)
簡化 'airflow_version' 匯入 (#39497)

4.8.0¶

注意

此供應商版本僅適用於 Airflow 2.7+，如 Apache Airflow 供應商支援政策中所述。

錯誤修正¶

將 SparkSubmitOperator 引數 queue 重新命名為 yarn_queue (#38852)

其他¶

將供應商中的最低 Airflow 版本提升至 Airflow 2.7.0 (#39240)

4.7.2¶

其他¶

重新命名 'SparkSubmitOperator' 欄位名稱，以符合範本化欄位驗證 (#38051)
重新命名 'SparkSqlOperator' 欄位名稱，以符合範本化欄位驗證 (#38045)

4.7.1¶

其他¶

提升 spark 供應商中 grpcio-status 的最低版本 (#36662)

4.7.0¶

變更 spark 連線表單並新增 spark 連線文件 (#36419)

4.6.0¶

功能¶

SparkSubmit：新增 propertyfiles 選項 (#36164)
SparkSubmit 連線 Extras 可以被覆寫 (#36151)

錯誤修正¶

在子類別中遵循 BaseHook 連線欄位方法簽章 (#36086)

4.5.0¶

注意

此供應商版本僅適用於 Airflow 2.6+，如 Apache Airflow 供應商支援政策中所述。

其他¶

將供應商中的最低 Airflow 版本提升至 Airflow 2.6.0 (#36017)

4.4.0¶

功能¶

新增 pyspark 裝飾器 (#35247)
將 use_krb5ccache 選項新增至 SparkSubmitOperator (#35331)

4.3.0¶

功能¶

將 'use_krb5ccache' 選項新增至 'SparkSubmitHook' (#34386)

4.2.0¶

注意

此供應商版本僅適用於 Airflow 2.5+，如 Apache Airflow 供應商支援政策中所述。

其他¶

提升供應商的最低 airflow 版本 (#34728)

4.1.5¶

其他¶

重構供應商中的 regex (#33898)

4.1.4¶

其他¶

重構：簡化 Apache/Alibaba 供應商中的程式碼 (#33227)

4.1.3¶

錯誤修正¶

驗證 Spark JDBC hook 的 extra 欄位中的 conn_prefix (#32946)

4.1.2¶

注意

此供應商現在期望安裝版本 7.4.0+ 的 apache-airflow-providers-cncf-kubernetes，以便在 Kubernetes 工作上執行 Spark。您可以使用 pip install apache-airflow-providers-spark[cncf.kubernetes] 和 cncf.kubernetes extra 來安裝供應商，以取得正確版本的 cncf.kubernetes 供應商。

其他¶

將所有 k8S 類別移至 cncf.kubernetes 供應商 (#32767)

4.1.1¶

注意

此版本已停止支援 Python 3.7

其他¶

SparkSubmitOperator：將 spark_conn_id 重新命名為 conn_id (#31952)

4.1.0¶

注意

此供應商版本僅適用於 Airflow 2.4+，如 Apache Airflow 供應商支援政策中所述。

其他¶

提升供應商中的最低 Airflow 版本 (#30917)

4.0.1¶

錯誤修正¶

僅限制透過 extra 傳遞的 spark 二進位檔 (#30213)
驗證 Spark JDBC Hook 的 host 和 schema (#30223)
將 spark3-submit 新增至允許的 spark-binary 值列表 (#30068)

4.0.0¶

注意

此供應商版本僅適用於 Airflow 2.3+，如 Apache Airflow 供應商支援政策中所述。

重大變更¶

spark-binary 連線 extra 可以設定為任何二進位檔，但在 4.0.0 版本中，僅允許兩個值：spark-submit 和 spark2-submit。

不再允許使用 spark-home 連線 extra - 二進位檔應在 PATH 中可用，以便使用 SparkSubmitHook 和 SparkSubmitOperator。

移除 spark 的自訂 spark home 和自訂二進位檔 (#27646)

其他¶

將所有供應商的最低 airflow 版本移至 2.3.0 (#27196)

3.0.0¶

重大變更¶

注意

此供應商版本僅適用於 Airflow 2.2+，如 Apache Airflow 供應商支援政策中所述。

錯誤修正¶

為 airflow/configuration.py 新增 typing (#23716)
修復因修復 mypy 問題而引入的向後相容性 (#24230)

其他¶

AIP-47 - 將 spark DAG 遷移到新設計 #22439 (#24210)
chore：重構和清理 Apache 供應商 (#24219)

2.1.3¶

錯誤修正¶

修復錯誤新增的所有供應商的 install_requires (#22382)

2.1.2¶

其他¶

在 PyPI 中新增 Trove 分類器（Framework :: Apache Airflow :: Provider）

2.1.1¶

錯誤修正¶

修復 SparkSubmitHook 文件中 param 呈現的問題 (#21788)

其他¶

支援 Python 3.10

2.1.0¶

功能¶

新增更多 SQL 範本欄位渲染器 (#21237)
在 providers 中新增選用功能。 (#21074)

2.0.3¶

錯誤修正¶

確保 Spark driver 回應在設定 UNKNOWN 狀態之前有效 (#19978)

2.0.2¶

錯誤修正¶

修復 SparkSql Operator 日誌進入無限迴圈的錯誤。 (#19449)

2.0.1¶

其他¶

最佳化 Airflow 2.2.0 的連線匯入

2.0.0¶

重大變更¶

自動套用 apply_default 裝飾器 (#15667)

警告

由於移除了 apply_default 裝飾器，此供應商版本需要 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您想要安裝此供應商版本，請先將 Airflow 升級到至少 2.1.0 版本。否則，您的 Airflow 套件版本將自動升級，您將必須手動執行 airflow upgrade db 以完成遷移。

錯誤修正¶

使 SparkSqlHook 使用 Connection (#15794)

1.0.3¶

錯誤修正¶

修復 'logging.exception' 冗餘 (#14823)

1.0.2¶

錯誤修正¶

使用 apache.spark 供應商，無需 kubernetes (#14187)

1.0.1¶

更新文件和 readme 檔案。

1.0.0¶

供應商的初始版本。