airflow.providers.databricks.plugins.databricks_workflow

模組內容

類別

WorkflowJobRunLink

建構一個連結以監控 Databricks Job Run。

WorkflowJobRepairAllFailedLink

建構一個連結以發送請求，修復 Databricks 工作流程中所有失敗的任務。

WorkflowJobRepairSingleTaskLink

建構一個連結以發送請求，修復單個 Databricks 任務。

RepairDatabricksTasks

從 Airflow 修復 Databricks 任務。

DatabricksWorkflowPlugin

Airflow 的 Databricks Workflows 外掛程式。

函數

get_auth_decorator()

get_databricks_task_ids(group_id, task_map, log)

返回 Airflow 任務字典中所有 Databricks 任務 ID 的列表。

get_launch_task_id(task_group)

從當前任務組或父任務組遞迴檢索啟動任務 ID。

get_task_instance(operator, dttm[, session])

get_xcom_result(ti_key, key)

屬性

REPAIR_WAIT_ATTEMPTS

REPAIR_WAIT_DELAY

airflow_app

repair_databricks_view

repair_databricks_package

airflow.providers.databricks.plugins.databricks_workflow.REPAIR_WAIT_ATTEMPTS[source]
airflow.providers.databricks.plugins.databricks_workflow.REPAIR_WAIT_DELAY[source]
airflow.providers.databricks.plugins.databricks_workflow.airflow_app[source]
airflow.providers.databricks.plugins.databricks_workflow.get_auth_decorator()[source]
airflow.providers.databricks.plugins.databricks_workflow.get_databricks_task_ids(group_id, task_map, log)[source]

返回 Airflow 任務字典中所有 Databricks 任務 ID 的列表。

參數

  • group_id (str) – 任務組 ID。

  • task_map (dict[str, airflow.models.BaseOperator]) – 將任務 ID 映射到 BaseOperator 實例的字典。

  • log (logging.Logger) – 用於記錄的記錄器。

返回

給定任務組的 Databricks 任務 ID 列表。

返回類型

list[str]

airflow.providers.databricks.plugins.databricks_workflow.get_launch_task_id(task_group)[source]

從當前任務組或父任務組遞迴檢索啟動任務 ID。

參數

task_group (airflow.utils.task_group.TaskGroup) – 要檢查的任務組

返回

啟動任務 ID

返回類型

str

airflow.providers.databricks.plugins.databricks_workflow.get_task_instance(operator, dttm, session=NEW_SESSION)[source]
airflow.providers.databricks.plugins.databricks_workflow.get_xcom_result(ti_key, key)[source]

基底類別: airflow.models.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

建構一個連結以監控 Databricks Job Run。

name = '查看 Databricks Job Run'[source]

連結到外部系統。

注意: 此函數的舊簽名為 (self, operator, dttm: datetime)。在運行時仍然支援，但已棄用。

參數

  • operator (airflow.models.BaseOperator) – 與此連結相關聯的 Airflow 運算子物件。

  • ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 要返回連結的 TaskInstance ID。

返回

連結到外部系統

返回類型

str

基底類別: airflow.models.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

建構一個連結以發送請求，修復 Databricks 工作流程中所有失敗的任務。

name = '修復所有失敗的任務'[source]

連結到外部系統。

注意: 此函數的舊簽名為 (self, operator, dttm: datetime)。在運行時仍然支援，但已棄用。

參數

  • operator – 與此連結相關聯的 Airflow 運算子物件。

  • ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 要返回連結的 TaskInstance ID。

返回

連結到外部系統

返回類型

str

classmethod get_task_group_children(task_group)[source]

給定一個 TaskGroup，返回身為 Task 的子項，並遞迴檢查其中的任何 TaskGroup。

參數

task_group (airflow.utils.task_group.TaskGroup) – Airflow TaskGroup

返回

包含 Task ID 作為鍵，Task 作為值的字典。

返回類型

dict[str, airflow.models.BaseOperator]

get_tasks_to_run(ti_key, operator, log)[source]

基底類別: airflow.models.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

建構一個連結以發送請求，修復單個 Databricks 任務。

name = '修復單個任務'[source]

連結到外部系統。

注意: 此函數的舊簽名為 (self, operator, dttm: datetime)。在運行時仍然支援，但已棄用。

參數

  • operator – 與此連結相關聯的 Airflow 運算子物件。

  • ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 要返回連結的 TaskInstance ID。

返回

連結到外部系統

返回類型

str

class airflow.providers.databricks.plugins.databricks_workflow.RepairDatabricksTasks[source]

基底類別: airflow.www.views.AirflowBaseView, airflow.utils.log.logging_mixin.LoggingMixin

從 Airflow 修復 Databricks 任務。

default_view = 'repair'[source]
repair(dag_id, run_id)[source]
airflow.providers.databricks.plugins.databricks_workflow.repair_databricks_view[source]
airflow.providers.databricks.plugins.databricks_workflow.repair_databricks_package[source]
class airflow.providers.databricks.plugins.databricks_workflow.DatabricksWorkflowPlugin[source]

基底類別: airflow.plugins_manager.AirflowPlugin

Airflow 的 Databricks Workflows 外掛程式。

另請參閱

有關如何使用此外掛程式的更多資訊，請查看指南： DatabricksWorkflowPlugin

name = 'databricks_workflow'[source]
appbuilder_views[source]

這個條目是否有幫助？