tests.system.cncf.kubernetes.example_spark_kubernetes¶
這是一個範例 DAG，使用 SparkKubernetesOperator 和 SparkKubernetesSensor。在這個範例中，我們建立兩個依序執行的任務。第一個任務是在 Kubernetes 集群上提交 sparkApplication（範例使用 spark-pi 應用程式）。第二個任務是檢查在第一個狀態中提交的 sparkApplication 的最終狀態。
需要事先在 Kubernetes 上安裝 Spark-on-k8s operator https://github.com/GoogleCloudPlatform/spark-on-k8s-operator