`airflow.providers.alibaba.cloud.operators.analyticdb_spark`¶

模組內容¶

類別¶

`AnalyticDBSparkBaseOperator`	定義使用者如何開發 AnalyticDB Spark 的抽象基底類別。
`AnalyticDBSparkSQLOperator`	將 Spark SQL 應用程式提交到基礎叢集；包裝 AnalyticDB Spark REST API。
`AnalyticDBSparkBatchOperator`	將 Spark 批次應用程式提交到基礎叢集；包裝 AnalyticDB Spark REST API。

class airflow.providers.alibaba.cloud.operators.analyticdb_spark.AnalyticDBSparkBaseOperator(*, adb_spark_conn_id='adb_spark_default', region=None, polling_interval=0, **kwargs)[原始碼]¶

基底: airflow.models.BaseOperator

定義使用者如何開發 AnalyticDB Spark 的抽象基底類別。

hook()[原始碼]¶

取得有效的 Hook。

execute(context)[原始碼]¶

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

monitor_application()[原始碼]¶

poll_for_termination(app_id)[原始碼]¶

輪詢 Spark 應用程式終止。

參數: app_id (str) – 要監控的 Spark 應用程式 ID

on_kill()[原始碼]¶

覆寫此方法以在任務實例被終止時清理子程序。

在運算子內使用 threading、subprocess 或 multiprocessing 模組的任何情況都需要清理，否則會留下幽靈程序。

kill()[原始碼]¶

刪除指定的應用程式。

class airflow.providers.alibaba.cloud.operators.analyticdb_spark.AnalyticDBSparkSQLOperator(*, sql, conf=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, name=None, cluster_id, rg_name, **kwargs)[原始碼]¶

基底: AnalyticDBSparkBaseOperator

將 Spark SQL 應用程式提交到基礎叢集；包裝 AnalyticDB Spark REST API。

參數

sql (str) – 要執行的 SQL 查詢。
conf (dict[Any, Any] | None) – Spark 配置屬性。
driver_resource_spec (str | None) – Spark 驅動程式的資源規格。
executor_resource_spec (str | None) – 每個 Spark 執行器的資源規格。
num_executors (int | str | None) – 要為此應用程式啟動的執行器數量。
name (str | None) – 此應用程式的名稱。
cluster_id (str) – AnalyticDB MySQL 3.0 Data Lakehouse 的叢集 ID。
rg_name (str) – AnalyticDB MySQL 3.0 Data Lakehouse 叢集中的資源群組名稱。

template_fields: collections.abc.Sequence[str] = ('spark_params',)[原始碼]¶

template_fields_renderers[原始碼]¶

execute(context)[原始碼]¶

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.alibaba.cloud.operators.analyticdb_spark.AnalyticDBSparkBatchOperator(*, file, class_name=None, args=None, conf=None, jars=None, py_files=None, files=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, archives=None, name=None, cluster_id, rg_name, **kwargs)[原始碼]¶

基底: AnalyticDBSparkBaseOperator

將 Spark 批次應用程式提交到基礎叢集；包裝 AnalyticDB Spark REST API。

參數

file (str) – 包含要執行應用程式的檔案路徑。
class_name (str | None) – 應用程式 Java/Spark 主類別的名稱。
args (collections.abc.Sequence[str | int | float] | None) – 應用程式命令行參數。
conf (dict[Any, Any] | None) – Spark 配置屬性。
jars (collections.abc.Sequence[str] | None) – 在此應用程式中要使用的 JAR 檔。
py_files (collections.abc.Sequence[str] | None) – 在此應用程式中要使用的 Python 檔案。
files (collections.abc.Sequence[str] | None) – 在此應用程式中要使用的檔案。
driver_resource_spec (str | None) – Spark 驅動程式的資源規格。
executor_resource_spec (str | None) – 每個 Spark 執行器的資源規格。
num_executors (int | str | None) – 要為此應用程式啟動的執行器數量。
archives (collections.abc.Sequence[str] | None) – 在此應用程式中要使用的封存檔。
name (str | None) – 此應用程式的名稱。
cluster_id (str) – AnalyticDB MySQL 3.0 Data Lakehouse 的叢集 ID。
rg_name (str) – AnalyticDB MySQL 3.0 Data Lakehouse 叢集中的資源群組名稱。

template_fields: collections.abc.Sequence[str] = ('spark_params',)[原始碼]¶

template_fields_renderers[原始碼]¶

execute(context)[原始碼]¶

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

airflow.providers.alibaba.cloud.operators.analyticdb_spark¶

模組內容¶

類別¶

`airflow.providers.alibaba.cloud.operators.analyticdb_spark`¶