airflow.providers.cncf.kubernetes.sensors.spark_kubernetes¶
模組內容¶
類別¶
檢查 kubernetes 叢集中的 sparkApplication 物件。 |
- class airflow.providers.cncf.kubernetes.sensors.spark_kubernetes.SparkKubernetesSensor(*, application_name, attach_log=False, namespace=None, container_name='spark-kubernetes-driver', kubernetes_conn_id='kubernetes_default', api_group='sparkoperator.k8s.io', api_version='v1beta2', **kwargs)[原始碼]¶
基底類別：
airflow.sensors.base.BaseSensorOperator檢查 kubernetes 叢集中的 sparkApplication 物件。
參見
有關 Spark Application Object 的更多詳細資訊，請參閱參考資料： https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/v1beta2-1.1.0-2.4.5/docs/api-docs.md#sparkapplication
- 參數
application_name (str) – spark Application 資源名稱
namespace (str | None) – sparkApplication 所在的 kubernetes 命名空間
container_name (str) – sparkApplication 所在的 kubernetes 容器名稱
kubernetes_conn_id (str) – 連接 Kubernetes 叢集的 kubernetes 連線。
attach_log (bool) – 決定是否應將驅動程式 pod 的日誌附加到感測器日誌
api_group (str) – sparkApplication 的 kubernetes api 群組
api_version (str) – sparkApplication 的 kubernetes api 版本
- template_fields: collections.abc.Sequence[str] = ('application_name', 'namespace')[原始碼]¶