airflow.providers.google.cloud.sensors.dataplex¶
此模組包含 Google Dataplex 感測器。
模組內容¶
類別¶
Dataplex 任務狀態。 |
|
檢查 Dataplex 任務的狀態。 |
|
檢查 Dataplex DataQuality 工作的狀態。 |
|
檢查 Dataplex DataProfile 工作的狀態。 |
- class airflow.providers.google.cloud.sensors.dataplex.DataplexTaskStateSensor(project_id, region, lake_id, dataplex_task_id, api_version='v1', retry=DEFAULT, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[原始碼]¶
基於:
airflow.sensors.base.BaseSensorOperator檢查 Dataplex 任務的狀態。
- 參數
project_id (str) – 必填。任務所屬的 Google Cloud 專案 ID。
region (str) – 必填。任務所屬的 Google Cloud 區域 ID。
lake_id (str) – 必填。任務所屬的 Google Cloud Lake ID。
dataplex_task_id (str) – 必填。任務識別碼。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他 Metadata。
gcp_conn_id (str) – 取得連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 選擇性服務帳戶，用於模擬短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，清單中的第一個帳戶將此角色授予原始帳戶（範本化）。
- class airflow.providers.google.cloud.sensors.dataplex.DataplexDataQualityJobStatusSensor(project_id, region, data_scan_id, job_id, api_version='v1', retry=DEFAULT, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, fail_on_dq_failure=False, result_timeout=60.0 * 10, start_sensor_time=None, *args, **kwargs)[原始碼]¶
基於:
airflow.sensors.base.BaseSensorOperator檢查 Dataplex DataQuality 工作的狀態。
- 參數
project_id (str) – 必填。任務所屬的 Google Cloud 專案 ID。
region (str) – 必填。任務所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必填。資料品質掃描識別碼。
job_id (str) – 必填。工作 ID。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他 Metadata。
gcp_conn_id (str) – 取得連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 選擇性服務帳戶，用於模擬短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，清單中的第一個帳戶將此角色授予原始帳戶（範本化）。
result_timeout (float) – 運算子將等待資料品質掃描結果的秒數值。如果在指定的秒數後找不到結果，則擲回例外。
fail_on_dq_failure (bool) – 如果設定為 true 且並非所有資料品質掃描規則都已通過，則會擲回例外。如果設定為 false 且並非所有資料品質掃描規則都已通過，則執行將成功完成。
- 返回
布林值，指示工作執行是否已達到
DataScanJob.State.SUCCEEDED。
- class airflow.providers.google.cloud.sensors.dataplex.DataplexDataProfileJobStatusSensor(project_id, region, data_scan_id, job_id, api_version='v1', retry=DEFAULT, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, result_timeout=60.0 * 10, start_sensor_time=None, *args, **kwargs)[原始碼]¶
基於:
airflow.sensors.base.BaseSensorOperator檢查 Dataplex DataProfile 工作的狀態。
- 參數
project_id (str) – 必填。任務所屬的 Google Cloud 專案 ID。
region (str) – 必填。任務所屬的 Google Cloud 區域 ID。
data_scan_id (str) – 必填。資料品質掃描識別碼。
job_id (str) – 必填。工作 ID。
api_version (str) – 將請求的 API 版本，例如 'v3'。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他 Metadata。
gcp_conn_id (str) – 取得連線資訊時使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 選擇性服務帳戶，用於模擬短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，清單中的第一個帳戶將此角色授予原始帳戶（範本化）。
result_timeout (float) – 運算子將等待資料品質掃描結果的秒數值。如果在指定的秒數後找不到結果，則擲回例外。
- 返回
布林值，指示工作執行是否已達到
DataScanJob.State.SUCCEEDED。