DatabricksRunNowOperator

使用 DatabricksRunNowOperator 通過 api/2.1/jobs/run-now API 端點觸發現有 Databricks 任務的執行。

使用運算子

有兩種方法可以實例化此運算子。第一種方法是，您可以取得通常用於呼叫 api/2.1/jobs/run-now 端點的 JSON 有效負載，並通過 json 參數直接將其傳遞給我們的 DatabricksRunNowOperator。

完成相同操作的另一種方法是直接使用 DatabricksRunNowOperator 的命名參數。請注意，jobs/run-now 端點中的每個頂層參數都有一個對應的命名參數。

唯一需要的參數是以下任一項

  • job_id - 指定現有 Databricks 任務的 ID

  • job_name - 現有 Databricks 任務的名稱。如果找不到任務，或存在多個同名任務，則會拋出例外。

所有其他參數都是可選的，並在 DatabricksRunNowOperator 的文件中描述。例如，您可以使用以下參數之一將其他參數傳遞給任務，具體取決於任務中任務的類型

  • notebook_params

  • python_params

  • python_named_parameters

  • jar_params

  • spark_submit_params

  • idempotency_token

  • repair_run

  • cancel_previous_runs

DatabricksRunNowDeferrableOperator

DatabricksRunNowOperator 運算子的可延遲版本。

它允許更有效地利用 Airflow worker，使用 Airflow 2.2.0 中引入的新功能

這個條目有幫助嗎？