日誌記錄與監控¶
由於資料管線通常在沒有任何人工監督的情況下運行,因此可觀察性至關重要。
Airflow 支援多種日誌記錄機制,以及內建機制來發射指標,以便在其他下游系統中收集、處理和視覺化。日誌記錄功能對於診斷資料管線運行過程中可能發生的問題至關重要。
除了標準的日誌記錄和指標功能外,Airflow 還支援使用 Airflow 健康檢查來偵測 Airflow 本身運作中的錯誤。由於 Airflow 通常用於在生產環境中運行資料管線,因此它也支援透過與 Sentry 整合來進行即時錯誤通知。