使用 Airflow 進行基礎設施管理

Airflow 可以與任何 API 互動，這使其成為管理基礎設施的絕佳工具，例如在任何雲端中運行的 Kubernetes 或 Spark 集群。從 Airflow 2.7 版本開始，啟動/關閉功能已可用，這是一種特殊的任務類型，具有智慧行為，可以在您需要的確切時間啟動和關閉基礎設施。

基礎設施管理通常在其他使用案例的背景下是需要的，例如 MLOps，或實作資料品質檢查。這個影片展示了如何將其用於 MLOps 管道的範例。您可以在這裡找到此範例中顯示的程式碼。

為什麼使用 Airflow 進行基礎設施管理

Airflow 是需要管理基礎設施的管道的熱門選擇，因為它

• 原生 Python：以 Python 程式碼作為管道，可以輕鬆地將自訂函數轉換為任務。任何您需要管理基礎設施的邏輯，您都可以使用 Python 在 Airflow 中實作。
• 可擴展：許多使用案例都需要基礎設施管理，包括 MLOps、資料品質檢查等等。Airflow 的靈活性和廣泛的供應商使其適用於您可能需要實作的任何使用案例。
• 可擴展：只要有足夠的計算能力，Airflow 就可以擴展以處理無限數量的任務和工作流程。如果您選擇 Airflow，您的業務將能夠隨著它成長。

Airflow 用於基礎設施管理的功能

Airflow 2.7 實作了一項新的關鍵功能，使其成為管理基礎設施的更佳選擇

• 啟動/關閉任務：啟動/關閉任務是一種特殊的任務類型，可用於管理運行其他任務所需的基礎設施。它們具有特殊的行為，以支援在任務運行前設定資源和配置（例如 Spark 集群或其他計算資源）的模式，然後在任務完成後關閉該基礎設施，即使任務失敗也是如此。