DatabricksWorkflowPlugin

概觀

DatabricksWorkflowPlugin 透過為任務提供連結來增強 Airflow UI，這些連結允許使用者在 Databricks 工作區中檢視 Databricks 工作執行。此外，它還提供在工作流程中修復任務的連結。

功能

  • 任務層級連結：在工作流程中，每個任務都包含工作執行的連結以及個別任務的修復連結。

  • 工作流程層級連結：在工作流程層級，對於工作啟動任務，此外掛程式提供修復所有失敗任務的連結，以及在 Databricks 工作區中工作執行的連結（允許使用者在 Databricks 帳戶中監控工作）。

範例

  • 單一任務的工作執行連結和修復連結:

../_images/workflow_plugin_single_task.png

  • 工作流程層級連結，連結至工作執行以及修復所有失敗任務:

../_images/workflow_plugin_launch_task.png

注意事項

Databricks 不允許修復在工作流程外部啟動的單一任務工作。因此，對於這些任務，僅提供工作執行連結。

使用方式

理想情況下，安裝提供者也會安裝此外掛程式，並且它應該在您的部署中自動運作。但是，如果自訂設定阻止外掛程式的使用，請確保此外掛程式已正確安裝並在您的 Airflow 環境中設定，以利用其功能。此外掛程式將自動偵測 Databricks 工作，因為連結已嵌入在相關的運算子中。

這篇文章是否有幫助？