`airflow.providers.microsoft.azure.hooks.synapse`¶

模組內容¶

類別¶

`AzureSynapseSparkBatchRunStatus`	Azure Synapse Spark 作業執行狀態。
`AzureSynapseHook`	用於與 Azure Synapse 互動的 Hook。
`AzureSynapsePipelineRunStatus`	Azure Synapse 管線作業執行狀態。
`BaseAzureSynapseHook`	用於建立連線並使用連線 ID 連接 Azure Synapse 的基礎 Hook 類別。
`AzureSynapsePipelineHook`	用於與 Azure Synapse 管線互動的 Hook。

屬性¶

憑證

airflow.providers.microsoft.azure.hooks.synapse.Credentials[source]¶

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapseSparkBatchRunStatus[source]¶

Azure Synapse Spark 作業執行狀態。

NOT_STARTED = 'not_started'[source]¶

STARTING = 'starting'[source]¶

RUNNING = 'running'[source]¶

IDLE = 'idle'[source]¶

BUSY = 'busy'[source]¶

SHUTTING_DOWN = 'shutting_down'[source]¶

ERROR = 'error'[source]¶

DEAD = 'dead'[source]¶

KILLED = 'killed'[source]¶

SUCCESS = 'success'[source]¶

TERMINAL_STATUSES[source]¶

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapseHook(azure_synapse_conn_id=default_conn_name, spark_pool='')[source]¶

基底類別： airflow.hooks.base.BaseHook

用於與 Azure Synapse 互動的 Hook。

參數

azure_synapse_conn_id (str) – Azure Synapse 連線 ID。
spark_pool (str) – 用於提交作業的 Apache Spark 集區

conn_type: str = 'azure_synapse'[source]¶

conn_name_attr: str = 'azure_synapse_conn_id'[source]¶

default_conn_name: str = 'azure_synapse_default'[source]¶

hook_name: str = 'Azure Synapse'[source]¶

classmethod get_connection_form_widgets()[source]¶

傳回要新增至連線表單的連線小工具。

classmethod get_ui_field_behaviour()[source]¶

傳回自訂欄位行為。

get_conn()[source]¶

傳回 Hook 的連線。

run_spark_job(payload)[source]¶

在 Apache Spark 集區中執行作業。

參數: payload (azure.synapse.spark.models.SparkBatchJobOptions) – Livy 相容的酬載，代表使用者想要提交的 spark 作業。

get_job_run_status()[source]¶: 取得作業執行狀態。

wait_for_job_run_status(job_id, expected_statuses, check_interval=60, timeout=60 * 60 * 24 * 7)[source]¶

等待作業執行符合預期狀態。

參數

job_id (int | None) – 作業執行識別碼。
expected_statuses (str | set[str]) – 要對照作業執行目前狀態檢查的所需狀態。
check_interval (int) – 檢查作業執行狀態的時間間隔（秒）。
timeout (int) – 等待作業達到終止狀態或預期狀態的逾時時間（秒）。

cancel_job_run(job_id)[source]¶

取消 Spark 作業執行。

參數: job_id (int) – Synapse Spark 作業識別碼。

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapsePipelineRunStatus[source]¶

Azure Synapse 管線作業執行狀態。

QUEUED = 'Queued'[source]¶

IN_PROGRESS = 'InProgress'[source]¶

SUCCEEDED = 'Succeeded'[source]¶

FAILED = 'Failed'[source]¶

CANCELING = 'Canceling'[source]¶

CANCELLED = 'Cancelled'[source]¶

TERMINAL_STATUSES[source]¶

INTERMEDIATE_STATES[source]¶

FAILURE_STATES[source]¶

exception airflow.providers.microsoft.azure.hooks.synapse.AzureSynapsePipelineRunException[source]¶

基底類別： airflow.exceptions.AirflowException

表示管線執行未能完成的例外。

class airflow.providers.microsoft.azure.hooks.synapse.BaseAzureSynapseHook(azure_synapse_conn_id=default_conn_name, **kwargs)[source]¶

基底類別： airflow.hooks.base.BaseHook

用於建立連線並使用連線 ID 連接 Azure Synapse 的基礎 Hook 類別。

參數: azure_synapse_conn_id (str) – Azure Synapse 連線 ID。

conn_type: str = 'azure_synapse'[source]¶

conn_name_attr: str = 'azure_synapse_conn_id'[source]¶

default_conn_name: str = 'azure_synapse_default'[source]¶

hook_name: str = 'Azure Synapse'[source]¶

classmethod get_connection_form_widgets()[source]¶

傳回要新增至連線表單的連線小工具。

classmethod get_ui_field_behaviour()[source]¶

傳回自訂欄位行為。

class airflow.providers.microsoft.azure.hooks.synapse.AzureSynapsePipelineHook(azure_synapse_workspace_dev_endpoint, azure_synapse_conn_id=default_conn_name, **kwargs)[source]¶

基底類別： BaseAzureSynapseHook

用於與 Azure Synapse 管線互動的 Hook。

參數

azure_synapse_conn_id (str) – Azure Synapse 連線 ID。
azure_synapse_workspace_dev_endpoint (str) – Azure Synapse 工作區開發端點。

default_conn_name: str = 'azure_synapse_connection'[source]¶

get_conn()[source]¶

傳回 Hook 的連線。

run_pipeline(pipeline_name, **config)[source]¶

執行 Synapse 管線。

參數

pipeline_name (str) – 管線名稱。
config (Any) – Synapse Artifact Client 的額外參數。

返回

管線執行 ID。

返回類型

azure.synapse.artifacts.models.CreateRunResponse

get_pipeline_run(run_id)[source]¶

取得管線執行。

參數: run_id (str) – 管線執行識別碼。
返回: 管線執行。
返回類型: azure.synapse.artifacts.models.PipelineRun

get_pipeline_run_status(run_id)[source]¶

取得管線執行的目前狀態。

參數: run_id (str) – 管線執行識別碼。
返回: 管線執行的狀態。
返回類型: str

refresh_conn()[source]¶

wait_for_pipeline_run_status(run_id, expected_statuses, check_interval=60, timeout=60 * 60 * 24 * 7)[source]¶

等待管線執行符合預期的狀態。

參數

run_id (str) – 管線執行識別碼。
expected_statuses (str | set[str]) – 要檢查管線執行目前狀態的期望狀態。
check_interval (int) – 檢查管線執行狀態的時間間隔，以秒為單位。
timeout (int) – 等待管線達到終止狀態或預期狀態的逾時時間，以秒為單位。

返回

布林值，指示管線執行是否已達到 expected_status。

返回類型

bool

cancel_run_pipeline(run_id)[source]¶

取消管線執行。

參數: run_id (str) – 管線執行識別碼。

airflow.providers.microsoft.azure.hooks.synapse¶

模組內容¶

類別¶

屬性¶

`airflow.providers.microsoft.azure.hooks.synapse`¶