用於 DataprocSubmitJobOperator 的範例 Airflow DAG，搭配 pyspark 任務。
模組內容
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.ENV_ID[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.DAG_ID = 'dataproc_pyspark'[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.PROJECT_ID[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.CLUSTER_NAME_BASE[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.CLUSTER_NAME_FULL[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.CLUSTER_NAME[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.BUCKET_NAME[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.RESOURCE_DATA_BUCKET = 'airflow-system-tests-resources'[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.JOB_FILE = 'dataproc-pyspark-job-pi.py'[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.GCS_JOB_FILE[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.REGION = 'europe-west1'[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.CLUSTER_CONFIG[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.PYSPARK_JOB[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.create_bucket[原始碼]
-
tests.system.google.cloud.dataproc.example_dataproc_pyspark.test_run[原始碼]