airflow.providers.alibaba.cloud.hooks.analyticdb_spark

模組內容

類別

AppState

AnalyticDB Spark 應用程式狀態。

AnalyticDBSparkHook

用於透過 REST API 連接 AnalyticDB MySQL Spark 的 Hook。
class airflow.providers.alibaba.cloud.hooks.analyticdb_spark.AppState[原始碼]

基底類別： enum.Enum

AnalyticDB Spark 應用程式狀態。

請參閱： https://www.alibabacloud.com/help/en/analyticdb-for-mysql/latest/api-doc-adb-2021-12-01-api-struct -sparkappinfo。

SUBMITTED = 'SUBMITTED'[原始碼]
STARTING = 'STARTING'[原始碼]
RUNNING = 'RUNNING'[原始碼]
FAILING = 'FAILING'[原始碼]
FAILED = 'FAILED'[原始碼]
KILLING = 'KILLING'[原始碼]
KILLED = 'KILLED'[原始碼]
SUCCEEDING = 'SUCCEEDING'[原始碼]
COMPLETED = 'COMPLETED'[原始碼]
FATAL = 'FATAL'[原始碼]
UNKNOWN = 'UNKNOWN'[原始碼]
class airflow.providers.alibaba.cloud.hooks.analyticdb_spark.AnalyticDBSparkHook(adb_spark_conn_id='adb_spark_default', region=None, *args, **kwargs)[原始碼]

基底類別： airflow.hooks.base.BaseHook、 airflow.utils.log.logging_mixin.LoggingMixin

用於透過 REST API 連接 AnalyticDB MySQL Spark 的 Hook。

參數

  • adb_spark_conn_id (str) – 用於 AnalyticDB MySQL Spark 認證的 Airflow 連線。

  • region (str | None) – 您想要提交 Spark 應用程式的 AnalyticDB MySQL 區域。

TERMINAL_STATES[原始碼]
conn_name_attr = 'alibabacloud_conn_id'[原始碼]
default_conn_name = 'adb_spark_default'[原始碼]
conn_type = 'adb_spark'[原始碼]
hook_name = 'AnalyticDB Spark'[原始碼]
submit_spark_app(cluster_id, rg_name, *args, **kwargs)[原始碼]

執行請求以提交 Spark 應用程式。

參數

  • cluster_id (str) – AnalyticDB MySQL 3.0 Data Lakehouse 的叢集 ID。

  • rg_name (str) – AnalyticDB MySQL 3.0 Data Lakehouse 叢集中的資源群組名稱。

submit_spark_sql(cluster_id, rg_name, *args, **kwargs)[原始碼]

執行請求以提交 Spark SQL。

參數

  • cluster_id (str) – AnalyticDB MySQL 3.0 Data Lakehouse 的叢集 ID。

  • rg_name (str) – AnalyticDB MySQL 3.0 Data Lakehouse 叢集中的資源群組名稱。

get_spark_state(app_id)[原始碼]

擷取指定 Spark 應用程式的狀態。

參數

app_id (str) – Spark 應用程式的識別碼

get_spark_web_ui_address(app_id)[原始碼]

擷取指定 Spark 應用程式的 Web UI 位址。

參數

app_id (str) – Spark 應用程式的識別碼

get_spark_log(app_id)[原始碼]

取得指定 Spark 應用程式的日誌。

參數

app_id (str) – Spark 應用程式的識別碼

kill_spark_app(app_id)[原始碼]

終止指定的 Spark 應用程式。

參數

app_id (str) – Spark 應用程式的識別碼

static build_submit_app_data(file=None, class_name=None, args=None, conf=None, jars=None, py_files=None, files=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, archives=None, name=None)[原始碼]

建立提交應用程式請求資料。

參數

  • file (str | None) – 包含要執行之應用程式的檔案路徑。

  • class_name (str | None) – 應用程式 Java/Spark 主類別的名稱。

  • args (collections.abc.Sequence[str | int | float] | None) – 應用程式命令列引數。

  • conf (dict[Any, Any] | None) – Spark 組態屬性。

  • jars (collections.abc.Sequence[str] | None) – 此應用程式中要使用的 Jar 檔。

  • py_files (collections.abc.Sequence[str] | None) – 此應用程式中要使用的 Python 檔案。

  • files (collections.abc.Sequence[str] | None) – 此應用程式中要使用的檔案。

  • driver_resource_spec (str | None) – Spark 驅動程式的資源規格。

  • executor_resource_spec (str | None) – 每個 Spark Executor 的資源規格。

  • num_executors (int | str | None) – 此應用程式要啟動的 Executor 數量。

  • archives (collections.abc.Sequence[str] | None) – 此應用程式中要使用的封存檔。

  • name (str | None) – 此應用程式的名稱。

static build_submit_sql_data(sql=None, conf=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, name=None)[原始碼]

建立提交 Spark SQL 請求資料。

參數

  • sql (str | None) – 要執行的 SQL 查詢。（已套用範本）

  • conf (dict[Any, Any] | None) – Spark 組態屬性。

  • driver_resource_spec (str | None) – Spark 驅動程式的資源規格。

  • executor_resource_spec (str | None) – 每個 Spark Executor 的資源規格。

  • num_executors (int | str | None) – 此應用程式要啟動的 Executor 數量。

  • name (str | None) – 此應用程式的名稱。

get_adb_spark_client()[原始碼]

取得有效的 AnalyticDB MySQL Spark 用戶端。

get_default_region()[原始碼]

從連線取得預設區域。

這個條目有幫助嗎？