airflow.providers.google.cloud.operators.dataprep

此模組包含 Google Dataprep 運算子。

模組內容

類別

DataprepGetJobsForJobGroupOperator

取得 Cloud Dataprep 工作群組內批次工作的相關資訊。

DataprepGetJobGroupOperator

取得指定的工作群組。

DataprepRunJobGroupOperator

建立 jobGroup，以已驗證的使用者身分啟動指定的工作。

DataprepCopyFlowOperator

建立所提供流程 ID 的副本，以及所有包含的配方。

DataprepDeleteFlowOperator

刪除具有提供 ID 的流程。

DataprepRunFlowOperator

執行具有所提供流程 ID 副本的流程。
class airflow.providers.google.cloud.operators.dataprep.DataprepGetJobsForJobGroupOperator(*, dataprep_conn_id='dataprep_default', job_group_id, **kwargs)[原始碼]

繼承自： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

取得 Cloud Dataprep 工作群組內批次工作的相關資訊。

API 文件： https://clouddataprep.com/documentation/api#section/Overview。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 取得工作群組的工作

:param job_group_id 將被請求的工作群組 ID

template_fields: collections.abc.Sequence[str] = ('job_group_id',)[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的相同字典。

請參考 get_template_context 以取得更多上下文資訊。

class airflow.providers.google.cloud.operators.dataprep.DataprepGetJobGroupOperator(*, dataprep_conn_id='dataprep_default', project_id=PROVIDE_PROJECT_ID, job_group_id, embed, include_deleted, **kwargs)[原始碼]

繼承自： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

取得指定的工作群組。

工作群組是從流程中特定節點執行的工作。

API 文件： https://clouddataprep.com/documentation/api#section/Overview。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 取得工作群組

參數

  • job_group_id (int | str) – 將被請求的工作群組 ID

  • embed (str) – 以逗號分隔的物件清單，以納入回應的一部分

  • include_deleted (bool) – 若設定為 “true”，將包含已刪除的物件

template_fields: collections.abc.Sequence[str] = ('job_group_id', 'embed', 'project_id')[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的相同字典。

請參考 get_template_context 以取得更多上下文資訊。

class airflow.providers.google.cloud.operators.dataprep.DataprepRunJobGroupOperator(*, project_id=PROVIDE_PROJECT_ID, dataprep_conn_id='dataprep_default', body_request, **kwargs)[原始碼]

繼承自： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立 jobGroup，以已驗證的使用者身分啟動指定的工作。

此動作與在應用程式中點擊「執行工作」按鈕相同。

若要取得 recipe_id，請參考 Dataprep API 文件： https://clouddataprep.com/documentation/api#operation/runJobGroup。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 執行工作群組

參數

  • dataprep_conn_id (str) – Dataprep 連線 ID

  • body_request (dict) – 作為 body_request 傳遞至 GoogleDataprepHook 的 run_job_group，其中它是要執行之配方的識別符

template_fields: collections.abc.Sequence[str] = ('body_request',)[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的相同字典。

請參考 get_template_context 以取得更多上下文資訊。

class airflow.providers.google.cloud.operators.dataprep.DataprepCopyFlowOperator(*, project_id=PROVIDE_PROJECT_ID, dataprep_conn_id='dataprep_default', flow_id, name='', description='', copy_datasources=False, **kwargs)[原始碼]

繼承自： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立所提供流程 ID 的副本，以及所有包含的配方。

參數

  • dataprep_conn_id (str) – Dataprep 連線 ID

  • flow_id (int | str) – 要複製的流程 ID

  • name (str) – 流程副本的名稱

  • description (str) – 流程副本的描述

  • copy_datasources (bool) – 布林值，用於定義是否應建立資料輸入的副本。

template_fields: collections.abc.Sequence[str] = ('flow_id', 'name', 'project_id', 'description')[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的相同字典。

請參考 get_template_context 以取得更多上下文資訊。

class airflow.providers.google.cloud.operators.dataprep.DataprepDeleteFlowOperator(*, dataprep_conn_id='dataprep_default', flow_id, **kwargs)[原始碼]

繼承自： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除具有提供 ID 的流程。

參數

  • dataprep_conn_id (str) – Dataprep 連線 ID

  • flow_id (int | str) – 要複製的流程 ID

template_fields: collections.abc.Sequence[str] = ('flow_id',)[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的相同字典。

請參考 get_template_context 以取得更多上下文資訊。

class airflow.providers.google.cloud.operators.dataprep.DataprepRunFlowOperator(*, project_id=PROVIDE_PROJECT_ID, flow_id, body_request, dataprep_conn_id='dataprep_default', **kwargs)[原始碼]

繼承自： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

執行具有所提供流程 ID 副本的流程。

參數

  • dataprep_conn_id (str) – Dataprep 連線 ID

  • flow_id (int | str) – 要複製的流程 ID

  • body_request (dict) – 要傳送之 POST 請求的本文。

template_fields: collections.abc.Sequence[str] = ('flow_id', 'project_id')[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的相同字典。

請參考 get_template_context 以取得更多上下文資訊。

此條目是否對您有幫助？