apache-airflow-providers-apache-spark

apache-airflow-providers-apache-spark 套件

Apache Spark

發布版本:5.0.0

供應商套件

此套件適用於 apache.spark 供應商。此套件的所有類別都包含在 airflow.providers.apache.spark python 套件中。

安裝

您可以透過 pip install apache-airflow-providers-apache-spark 在現有的 Airflow 2 安裝之上安裝此套件。有關支援的最低 Airflow 版本,請參閱下方的 Requirements

需求

此供應商套件支援的最低 Apache Airflow 版本為 2.9.0

PIP 套件

所需版本

apache-airflow

>=2.9.0

pyspark

>=3.1.3

grpcio-status

>=1.59.0

跨供應商套件依賴性

這些是使用套件所有功能可能需要的依賴項。您需要安裝指定的供應商套件才能使用它們。

從 PyPI 安裝時,您可以安裝此類跨供應商依賴項。例如

pip install apache-airflow-providers-apache-spark[cncf.kubernetes]

依賴套件

額外功能

apache-airflow-providers-cncf-kubernetes

cncf.kubernetes

apache-airflow-providers-common-compat

common.compat

此條目是否有幫助?