CeleryKubernetes 執行器

注意

從 Airflow 2.7.0 開始，您需要同時安裝 celery 和 cncf.kubernetes 提供者套件才能使用此執行器。這可以透過安裝 apache-airflow-providers-celery>=3.3.0 和 apache-airflow-providers-cncf-kubernetes>=7.4.0，或者透過安裝 Airflow 並搭配 celery 和 cncf.kubernetes 額外功能來完成：pip install 'apache-airflow[celery,cncf.kubernetes]'。

CeleryKubernetesExecutor 允許使用者同時運行 CeleryExecutor 和 KubernetesExecutor。選擇哪個執行器來運行任務取決於任務的佇列。

CeleryKubernetesExecutor 繼承了 CeleryExecutor 的可擴展性，以應對尖峰時段的高負載，以及 KubernetesExecutor 的運行時隔離。

Celery Executor 的設定參數可以在 Celery 提供者的設定參考中找到。

何時使用 CeleryKubernetesExecutor

CeleryKubernetesExecutor 僅應在特定情況下使用，因為它需要設定 CeleryExecutor 和 KubernetesExecutor。

當您的使用案例符合以下條件時，我們建議考慮 CeleryKubernetesExecutor

  1. 在尖峰時段需要排程的任務數量超過您的 Kubernetes 叢集可以舒適處理的規模

  2. 相對而言，只有一小部分任務需要運行時隔離。

  3. 您有大量的小型任務可以在 Celery worker 上執行，但您也有資源密集型任務，最好在預定義的環境中運行。

此條目是否有幫助？