DatabricksTaskOperator¶

使用 DatabricksTaskOperator 在 Databricks 上啟動和監控任務運行，作為 Airflow 任務。這可以作為 DAG 中的獨立運算子使用，也可以作為 Databricks 工作流程的一部分，在 DatabricksWorkflowTaskGroup 中作為運算子（任務）使用。

範例¶

在 Databricks 中使用 DatabricksTaskOperator 運行筆記本¶

tests/system/databricks/example_databricks.py[原始碼]

    task_operator_nb_1 = DatabricksTaskOperator(
        task_id="nb_1",
        databricks_conn_id="databricks_conn",
        job_cluster_key="Shared_job_cluster",
        task_config={
            "notebook_task": {
                "notebook_path": "/Shared/Notebook_1",
                "source": "WORKSPACE",
            },
            "libraries": [
                {"pypi": {"package": "Faker"}},
                {"pypi": {"package": "simplejson"}},
            ],
        },
    )

在 Databricks 中使用 DatabricksTaskOperator 運行 SQL 查詢¶

tests/system/databricks/example_databricks.py[原始碼]

    task_operator_sql_query = DatabricksTaskOperator(
        task_id="sql_query",
        databricks_conn_id="databricks_conn",
        task_config={
            "sql_task": {
                "query": {
                    "query_id": QUERY_ID,
                },
                "warehouse_id": WAREHOUSE_ID,
            }
        },
    )