Azure Synapse 運算子¶

Azure Synapse Analytics 是一種無限制的分析服務，它將資料整合、企業資料倉儲和巨量資料分析結合在一起。它讓您可以自由地根據自己的條件查詢資料，使用無伺服器或專用選項，且能大規模執行。Azure Synapse 將這些領域與統一的體驗結合在一起，以擷取、探索、準備、轉換、管理和提供資料，以滿足即時 BI 和機器學習需求。

AzureSynapseRunSparkBatchOperator¶

使用 AzureSynapseRunSparkBatchOperator 在 Synapse Analytics 中執行 Spark 應用程式。預設情況下，運算子會定期檢查已執行的 Spark 作業狀態，以「成功」狀態終止。

以下是如何使用此運算子在 Azure Synapse 上執行 Spark 應用程式的範例。

tests/system/microsoft/azure/example_azure_synapse.py[原始碼]

run_spark_job = AzureSynapseRunSparkBatchOperator(
    task_id="run_spark_job",
    spark_pool="provsparkpool",
    payload=SPARK_JOB_PAYLOAD,  # type: ignore
)

AzureSynapseRunPipelineOperator¶

使用：class:~airflow.providers.microsoft.azure.operators.synapse.AzureSynapseRunPipelineOperator 在 Synapse Analytics 中執行管線應用程式。此運算子將執行 Synapse 管線。

tests/system/microsoft/azure/example_synapse_run_pipeline.py[原始碼]

run_pipeline1 = AzureSynapseRunPipelineOperator(
    task_id="run_pipeline1",
    azure_synapse_conn_id="azure_synapse_connection",
    pipeline_name="Pipeline 1",
    azure_synapse_workspace_dev_endpoint="azure_synapse_workspace_dev_endpoint",
)

參考¶

如需更多資訊，請參閱 Microsoft 文件

Azure Synapse Analytics 文件