airflow.providers.google.cloud.sensors.dataflow¶
此模組包含 Google Cloud Dataflow 感測器。
模組內容¶
類別¶
檢查 Google Cloud Dataflow 中工作的狀態。 |
|
檢查與 Google Cloud Dataflow 中單一工作相關聯的指標。 |
|
檢查與 Google Cloud Dataflow 中單一工作相關聯的工作訊息。 |
|
檢查與 Google Cloud Dataflow 中單一工作相關聯的自動調整事件。 |
- class airflow.providers.google.cloud.sensors.dataflow.DataflowJobStatusSensor(*, job_id, expected_statuses, project_id=PROVIDE_PROJECT_ID, location=DEFAULT_DATAFLOW_LOCATION, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, **kwargs)[source]¶
基底：
airflow.sensors.base.BaseSensorOperator檢查 Google Cloud Dataflow 中工作的狀態。
另請參閱
如需更多關於如何使用此運算子的資訊，請查看指南： 感測器
- 參數
job_id (str) – 要檢查的工作 ID。
expected_statuses (set[str] | str) – 運算的預期狀態。請參閱： https://cloud.google.com/dataflow/docs/reference/rest/v1b3/projects.jobs#Job.JobState
project_id (str) – 選擇性，要於其中啟動工作的 Google Cloud 專案 ID。若設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。
location (str) – Dataflow 工作的位置（例如 europe-west1）。請參閱： https://cloud.google.com/dataflow/docs/concepts/regional-endpoints
gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 選擇性服務帳戶，用於模擬短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，這將在請求中被模擬。若設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。若設定為序列，則清單中的身分必須授予緊鄰前一個身分「服務帳戶權杖建立者」IAM 角色，清單中的第一個帳戶將此角色授予原始帳戶（已套用範本）。
deferrable (bool) – 若為 True，則以可延遲模式執行感測器。
poll_interval (int) – 檢查工作之間等待的時間（秒）。
- template_fields: collections.abc.Sequence[str] = ('job_id',)[source]¶
- class airflow.providers.google.cloud.sensors.dataflow.DataflowJobMetricsSensor(*, job_id, callback=None, fail_on_terminal_state=True, project_id=PROVIDE_PROJECT_ID, location=DEFAULT_DATAFLOW_LOCATION, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, **kwargs)[source]¶
基底：
airflow.sensors.base.BaseSensorOperator檢查與 Google Cloud Dataflow 中單一工作相關聯的指標。
另請參閱
如需更多關於如何使用此運算子的資訊，請查看指南： 感測器
- 參數
job_id (str) – 要檢查的工作 ID。
callback (Callable | None) – 以讀取的工作指標清單呼叫的回呼。請參閱： https://cloud.google.com/dataflow/docs/reference/rest/v1b3/MetricUpdate
fail_on_terminal_state (bool) – 若設定為 true，當工作處於終端狀態時，感測器將引發例外
project_id (str) – 選擇性，要於其中啟動工作的 Google Cloud 專案 ID。若設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。
location (str) – Dataflow 工作的位置（例如 europe-west1）。請參閱： https://cloud.google.com/dataflow/docs/concepts/regional-endpoints
gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 選擇性服務帳戶，用於模擬短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，這將在請求中被模擬。若設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。若設定為序列，則清單中的身分必須授予緊鄰前一個身分「服務帳戶權杖建立者」IAM 角色，清單中的第一個帳戶將此角色授予原始帳戶（已套用範本）。
deferrable (bool) – 若為 True，則以可延遲模式執行感測器。
poll_interval (int) – 檢查工作之間等待的時間（秒）。
- template_fields: collections.abc.Sequence[str] = ('job_id',)[source]¶
- class airflow.providers.google.cloud.sensors.dataflow.DataflowJobMessagesSensor(*, job_id, callback=None, fail_on_terminal_state=True, project_id=PROVIDE_PROJECT_ID, location=DEFAULT_DATAFLOW_LOCATION, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, **kwargs)[source]¶
基底：
airflow.sensors.base.BaseSensorOperator檢查與 Google Cloud Dataflow 中單一工作相關聯的工作訊息。
另請參閱
如需更多關於如何使用此運算子的資訊，請查看指南： 感測器
- 參數
job_id (str) – 要檢查的 Dataflow 工作 ID。
callback (Callable | None) – 可以接受序列化工作訊息清單的函式。它可以執行您想讓它執行的任何操作。若未提供回呼函式，則成功完成後，工作將以 True 值結束。如需更多關於工作訊息內容的資訊，請參閱： https://cloud.google.com/python/docs/reference/dataflow/latest/google.cloud.dataflow_v1beta3.types.JobMessage
fail_on_terminal_state (bool) – 若設定為 True，當工作達到終端狀態時，感測器將引發例外。不會傳回任何工作訊息。
project_id (str) – 選擇性，要於其中啟動工作的 Google Cloud 專案 ID。若設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。
location (str) – Dataflow 工作的位置（例如 europe-west1）。若設定為 None，則將使用 DEFAULT_DATAFLOW_LOCATION 的值。請參閱： https://cloud.google.com/dataflow/docs/concepts/regional-endpoints
gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 選擇性服務帳戶，用於模擬短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，這將在請求中被模擬。若設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。若設定為序列，則清單中的身分必須授予緊鄰前一個身分「服務帳戶權杖建立者」IAM 角色，清單中的第一個帳戶將此角色授予原始帳戶（已套用範本）。
deferrable (bool) – 若為 True，則以可延遲模式執行感測器。
poll_interval (int) – 檢查工作之間等待的時間（秒）。
- template_fields: collections.abc.Sequence[str] = ('job_id',)[source]¶
- class airflow.providers.google.cloud.sensors.dataflow.DataflowJobAutoScalingEventsSensor(*, job_id, callback=None, fail_on_terminal_state=True, project_id=PROVIDE_PROJECT_ID, location=DEFAULT_DATAFLOW_LOCATION, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=60, **kwargs)[source]¶
基底：
airflow.sensors.base.BaseSensorOperator檢查與 Google Cloud Dataflow 中單一工作相關聯的自動調整事件。
另請參閱
如需更多關於如何使用此運算子的資訊，請查看指南： 感測器
- 參數
job_id (str) – 要檢查的 Dataflow 工作 ID。
callback (Callable | None) – 可以接受序列化自動調整事件清單的函式。它可以執行您想讓它執行的任何操作。若未提供回呼函式，則成功完成後，工作將以 True 值結束。如需更多關於自動調整事件內容的資訊，請參閱： https://cloud.google.com/python/docs/reference/dataflow/latest/google.cloud.dataflow_v1beta3.types.AutoscalingEvent
fail_on_terminal_state (bool) – 若設定為 True，當工作達到終端狀態時，感測器將引發例外。不會傳回任何自動調整事件。
project_id (str) – 選擇性，要於其中啟動工作的 Google Cloud 專案 ID。若設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。
location (str) – Dataflow 工作的位置（例如 europe-west1）。若設定為 None，則將使用 DEFAULT_DATAFLOW_LOCATION 的值。請參閱： https://cloud.google.com/dataflow/docs/concepts/regional-endpoints
gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 選擇性服務帳戶，用於模擬短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，這將在請求中被模擬。若設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。若設定為序列，則清單中的身分必須授予緊鄰前一個身分「服務帳戶權杖建立者」IAM 角色，清單中的第一個帳戶將此角色授予原始帳戶（已套用範本）。
deferrable (bool) – 若為 True，則以可延遲模式執行感測器。
poll_interval (int) – 檢查工作之間等待的時間（秒）。
- template_fields: collections.abc.Sequence[str] = ('job_id',)[source]¶