airflow.providers.google.cloud.operators.datafusion

此模組包含 Google DataFusion 運算子。

模組內容

類別

DataFusionPipelineLinkHelper

Pipeline 連結的輔助類別。

CloudDataFusionRestartInstanceOperator

重新啟動單一 Data Fusion 執行個體。

CloudDataFusionDeleteInstanceOperator

刪除單一 Date Fusion 執行個體。

CloudDataFusionCreateInstanceOperator

在指定的專案和位置中建立新的 Data Fusion 執行個體。

CloudDataFusionUpdateInstanceOperator

更新單一 Data Fusion 執行個體。

CloudDataFusionGetInstanceOperator

取得單一 Data Fusion 執行個體的詳細資訊。

CloudDataFusionCreatePipelineOperator

建立 Cloud Data Fusion pipeline。

CloudDataFusionDeletePipelineOperator

刪除 Cloud Data Fusion pipeline。

CloudDataFusionListPipelinesOperator

列出 Cloud Data Fusion pipeline。

CloudDataFusionStartPipelineOperator

啟動 Cloud Data Fusion pipeline。適用於批次和串流 pipeline。

CloudDataFusionStopPipelineOperator

停止 Cloud Data Fusion pipeline。適用於批次和串流 pipeline。
class airflow.providers.google.cloud.operators.datafusion.DataFusionPipelineLinkHelper[source]

Pipeline 連結的輔助類別。

警告

此類別已過時。請考慮改用 resource_path_to_dict()。

static get_project_id(instance)[source]
class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionRestartInstanceOperator(*, instance_name, location, project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

重新啟動單一 Data Fusion 執行個體。

在操作結束時，執行個體會完全重新啟動。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 重新啟動 DataFusion 執行個體

參數

  • instance_name (str) – 要重新啟動的執行個體名稱。

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • project_id (str) – 執行個體所屬的 Google Cloud 專案 ID。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionDeleteInstanceOperator(*, instance_name, location, project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除單一 Date Fusion 執行個體。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 刪除 DataFusion 執行個體

參數

  • instance_name (str) – 要重新啟動的執行個體名稱。

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • project_id (str) – 執行個體所屬的 Google Cloud 專案 ID。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionCreateInstanceOperator(*, instance_name, instance, location, project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的專案和位置中建立新的 Data Fusion 執行個體。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 建立 DataFusion 執行個體

參數

  • instance_name (str) – 要建立的執行個體名稱。

  • instance (dict[str, Any]) – Instance 的執行個體。 https://cloud.google.com/data-fusion/docs/reference/rest/v1beta1/projects.locations.instances#Instance

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • project_id (str) – 執行個體所屬的 Google Cloud 專案 ID。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'instance', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionUpdateInstanceOperator(*, instance_name, instance, update_mask, location, project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

更新單一 Data Fusion 執行個體。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 更新 DataFusion 執行個體

參數

  • instance_name (str) – 要建立的執行個體名稱。

  • instance (dict[str, Any]) – Instance 的執行個體。 https://cloud.google.com/data-fusion/docs/reference/rest/v1beta1/projects.locations.instances#Instance

  • update_mask (str) – 欄位遮罩用於指定更新將覆寫執行個體資源中的哪些欄位。updateMask 中指定的欄位是相對於資源而言，而不是完整請求。如果欄位在遮罩中，則會被覆寫。如果使用者未提供遮罩，則所有支援的欄位 (目前為標籤和選項) 都將被覆寫。以逗號分隔的完整欄位名稱清單。範例：「user.displayName,photo」。 https://developers.google.com/protocol-buffers/docs/reference/google.protobuf?_ga=2.205612571.-968688242.1573564810#google.protobuf.FieldMask

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • project_id (str) – 執行個體所屬的 Google Cloud 專案 ID。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'instance', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionGetInstanceOperator(*, instance_name, location, project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

取得單一 Data Fusion 執行個體的詳細資訊。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 取得 DataFusion 執行個體

參數

  • instance_name (str) – 執行個體的名稱。

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • project_id (str) – 執行個體所屬的 Google Cloud 專案 ID。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionCreatePipelineOperator(*, pipeline_name, pipeline, instance_name, location, namespace='default', project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立 Cloud Data Fusion pipeline。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 建立 DataFusion pipeline

參數

  • pipeline_name (str) – 您的 pipeline 名稱。

  • pipeline (dict[str, Any]) – pipeline 定義。如需更多資訊，請查看： https://docs.cdap.io/cdap/current/en/developer-manual/pipelines/developing-pipelines.html#pipeline-configuration-file-format

  • instance_name (str) – 執行個體的名稱。

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • namespace (str) – 如果您的 pipeline 屬於 Basic 版本執行個體，則命名空間 ID 永遠為預設值。如果您的 pipeline 屬於 Enterprise 版本執行個體，您可以建立命名空間。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'pipeline_name', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionDeletePipelineOperator(*, pipeline_name, instance_name, location, version_id=None, namespace='default', project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除 Cloud Data Fusion pipeline。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： 刪除 DataFusion pipeline

參數

  • pipeline_name (str) – 您的 pipeline 名稱。

  • version_id (str | None) – 要刪除的 pipeline 版本

  • instance_name (str) – 執行個體的名稱。

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • namespace (str) – 如果您的 pipeline 屬於 Basic 版本執行個體，則命名空間 ID 永遠為預設值。如果您的 pipeline 屬於 Enterprise 版本執行個體，您可以建立命名空間。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'version_id', 'pipeline_name', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionListPipelinesOperator(*, instance_name, location, artifact_name=None, artifact_version=None, namespace='default', project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出 Cloud Data Fusion pipeline。

另請參閱

如需瞭解如何使用此運算子的更多資訊，請參閱指南：列出 DataFusion 管線

參數

  • instance_name (str) – 執行個體的名稱。

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • artifact_version (str | None) – 用於篩選執行個體的成品版本

  • artifact_name (str | None) – 用於篩選執行個體的成品名稱

  • namespace (str) – 如果您的 pipeline 屬於 Basic 版本執行個體，則命名空間 ID 永遠為預設值。如果您的 pipeline 屬於 Enterprise 版本執行個體，您可以建立命名空間。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'artifact_name', 'artifact_version', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionStartPipelineOperator(*, pipeline_name, instance_name, location, pipeline_type=DataFusionPipelineType.BATCH, runtime_args=None, success_states=None, namespace='default', pipeline_timeout=5 * 60, project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, asynchronous=False, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=3.0, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

啟動 Cloud Data Fusion pipeline。適用於批次和串流 pipeline。

另請參閱

如需瞭解如何使用此運算子的更多資訊，請參閱指南：啟動 DataFusion 管線

參數

  • pipeline_name (str) – 您的 pipeline 名稱。

  • pipeline_type (airflow.providers.google.cloud.utils.datafusion.DataFusionPipelineType) – 選用管線類型（預設為 BATCH）。

  • instance_name (str) – 執行個體的名稱。

  • success_states (list[str] | None) – 如果提供，運算子將等待管線處於提供的其中一種狀態。

  • pipeline_timeout (int) – 運算子應等待管線處於 success_states 其中一種狀態的時長（秒）。僅在提供 success_states 時有效。

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • runtime_args (dict[str, Any] | None) – 要傳遞至管線的可選執行階段引數

  • namespace (str) – 如果您的 pipeline 屬於 Basic 版本執行個體，則命名空間 ID 永遠為預設值。如果您的 pipeline 屬於 Enterprise 版本執行個體，您可以建立命名空間。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

  • asynchronous – 提交管線 ID 至 Data Fusion API 後傳回的旗標。這適用於提交長時間執行的管線，並使用 CloudDataFusionPipelineStateSensor 非同步等待它們。

  • deferrable (bool) – 在可延遲模式下執行運算子。與 asynchronous 參數無關。雖然 asynchronous 參數提供使用 sleep() 方法等待直到管線達到終止狀態的可能性，但 deferrable 模式使用非同步呼叫檢查狀態。無法同時使用 asynchronous 和 deferrable 參數。

  • poll_interval – 檢查狀態的輪詢間隔（秒）。僅在可延遲模式下使用。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'pipeline_name', 'runtime_args', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

execute_complete(context, event)[source]

作為觸發器觸發時的回呼函式 - 立即傳回。

依賴觸發器擲回例外，否則會假設執行成功。

class airflow.providers.google.cloud.operators.datafusion.CloudDataFusionStopPipelineOperator(*, pipeline_name, instance_name, location, namespace='default', project_id=PROVIDE_PROJECT_ID, api_version='v1beta1', gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基底類別： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

停止 Cloud Data Fusion pipeline。適用於批次和串流 pipeline。

另請參閱

如需瞭解如何使用此運算子的更多資訊，請參閱指南：停止 DataFusion 管線

參數

  • pipeline_name (str) – 您的 pipeline 名稱。

  • instance_name (str) – 執行個體的名稱。

  • location (str) – 處理請求的 Cloud Data Fusion 位置。

  • namespace (str) – 如果您的 pipeline 屬於 Basic 版本執行個體，則命名空間 ID 永遠為預設值。如果您的 pipeline 屬於 Enterprise 版本執行個體，您可以建立命名空間。

  • api_version (str) – 將請求的 API 版本，例如 'v3'。

  • gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用的服務帳戶，用於模擬短期憑證，或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('instance_name', 'pipeline_name', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

此條目是否有幫助？