UI / 螢幕截圖

Airflow UI 讓監控和疑難排解您的資料管線變得容易。以下快速概 overview 一些您可以在 Airflow UI 中找到的功能和視覺化。

DAG 檢視

您環境中 DAG 的列表,以及一組實用頁面的捷徑。您可以一目瞭然地看到有多少任務成功、失敗或目前正在執行。若要隱藏已完成的任務,請設定 show_recent_stats_for_completed_runs = False

為了篩選 DAG(例如,按團隊),您可以在每個 DAG 中新增標籤。篩選器會儲存在 cookie 中,並且可以透過重設按鈕重設。例如

dag = DAG("dag", tags=["team1", "sql"])

_images/dags.png

叢集活動檢視

原生 Airflow 儀表板頁面到 UI 中,以收集幾個有用的指標來監控您的 Airflow 叢集。


_images/cluster_activity.png

資料集檢視

目前資料集的組合列表和一個圖表,說明它們如何被 DAG 生產和消耗。

點擊列表或圖表中的任何資料集將會突出顯示它及其關係,並篩選列表以顯示已更新該資料集的任務實例的近期歷史,以及它是否觸發了進一步的 DAG 執行。


_images/datasets.png

網格檢視

一個橫跨時間的 DAG 的長條圖和網格表示。頂端列是按持續時間劃分的 DAG 執行圖表,下方是任務實例。如果管線延遲,您可以快速查看不同步驟的位置並識別阻塞的步驟。


_images/grid.png

當透過點擊持續時間長條來選擇 DAG 執行時,詳細資訊面板將會更新

_images/grid_run_details.png

或透過點擊狀態框來選擇任務實例

_images/grid_instance_details.png

或透過點擊 task_id 來選擇跨所有執行的任務

_images/grid_task_details.png

手動執行以播放圖示表示(就像「觸發 DAG」按鈕一樣)。資料集觸發的執行以資料庫圖示表示

_images/run_types.png

任務群組以插入符號表示,可以開啟或關閉

_images/grid_task_group.png

對應任務以方括號表示,並將在「對應任務」面板中顯示每個對應任務實例的表格

_images/grid_mapped_task.png

圖表檢視

圖表檢視可能是最全面的。視覺化您的 DAG 的依賴關係及其特定執行的目前狀態。


_images/graph.png

日曆檢視

日曆檢視讓您概 overview 整個 DAG 數月甚至數年的歷史記錄。讓您可以快速查看一段時間內執行整體成功/失敗率的趨勢。


_images/calendar.png

變數檢視

變數檢視允許您列出、建立、編輯或刪除工作中使用的變數的鍵值對。如果鍵包含任何單字('password'、'secret'、'passwd'、'authorization'、'api_key'、'apikey'、'access_token')預設情況下,變數的值將會被隱藏,但可以設定為以明文顯示。請參閱 遮罩敏感資料


_images/variable_hidden.png

甘特圖

甘特圖讓您可以分析任務持續時間和重疊。您可以快速識別瓶頸以及特定 DAG 執行的時間主要花在哪裡。


_images/gantt.png

任務持續時間

過去 N 次執行中不同任務的持續時間。此檢視讓您可以找到異常值,並快速了解 DAG 在多次執行中時間花在哪裡。


_images/duration.png

著陸時間

任務實例的著陸時間是 dag 執行的資料間隔結束時間(通常這表示 dag「應該」執行時)與 dag 執行完成時間之間的差異。


_images/landing_times.png

程式碼檢視

透明度至關重要。雖然您的管線程式碼位於原始碼控制中,但這是快速取得產生 DAG 的程式碼並提供更多上下文的方法。


_images/code.png

觸發表單

如果您使用箭頭按鈕觸發手動 DAG 執行,則會顯示一個表單。表單顯示基於 參數 中描述的 DAG 參數。


_images/trigger-dag-tutorial-form.png

稽核日誌

查看與 DAG 相關的所有事件。透過變更任務和 DAG 執行選擇以及包含/排除不同的事件名稱來篩選事件。


_images/audit_log.png

這個條目有幫助嗎?