airflow.providers.google.cloud.operators.bigquery_dts

這個模組包含 Google BigQuery 資料傳輸服務運算子。

模組內容

類別

BigQueryCreateDataTransferOperator

建立新的資料傳輸設定。

BigQueryDeleteDataTransferConfigOperator

刪除傳輸設定。

BigQueryDataTransferServiceStartTransferRunsOperator

啟動手動傳輸執行，使其立即執行，排程時間等於目前時間。
class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryCreateDataTransferOperator(*, transfer_config, project_id=PROVIDE_PROJECT_ID, location=None, authorization_code=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

繼承自： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立新的資料傳輸設定。

另請參閱

更多關於如何使用此運算子的資訊，請參考指南： 建立傳輸設定

參數

  • transfer_config (dict) – 要建立的資料傳輸設定。

  • project_id (str) – 應在其中建立傳輸設定的 BigQuery 專案 ID。如果設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。

  • location (str | None) – 用於區域傳輸的 BigQuery Transfer Service 位置。

  • authorization_code (str | None) – 用於此傳輸設定的授權碼。如果需要新的憑證，則為必要項目。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的秒數。請注意，如果指定了重試，則逾時適用於每次個別嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他中繼資料。

  • gcp_conn_id – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務帳戶，用於模擬使用短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('transfer_config', 'project_id', 'authorization_code', 'gcp_conn_id', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的字典相同的字典。

請參考 get_template_context 以取得更多 context。

class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryDeleteDataTransferConfigOperator(*, transfer_config_id, project_id=PROVIDE_PROJECT_ID, location=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

繼承自： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除傳輸設定。

另請參閱

更多關於如何使用此運算子的資訊，請參考指南： 刪除傳輸設定

參數

  • transfer_config_id (str) – 要使用的傳輸設定 ID。

  • project_id (str) – 應在其中建立傳輸設定的 BigQuery 專案 ID。如果設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。

  • location (str | None) – 用於區域傳輸的 BigQuery Transfer Service 位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的秒數。請注意，如果指定了重試，則逾時適用於每次個別嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他中繼資料。

  • gcp_conn_id – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務帳戶，用於模擬使用短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

template_fields: collections.abc.Sequence[str] = ('transfer_config_id', 'project_id', 'gcp_conn_id', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的字典相同的字典。

請參考 get_template_context 以取得更多 context。

class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryDataTransferServiceStartTransferRunsOperator(*, transfer_config_id, project_id=PROVIDE_PROJECT_ID, location=None, requested_time_range=None, requested_run_time=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]

繼承自： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

啟動手動傳輸執行，使其立即執行，排程時間等於目前時間。

傳輸執行可以針對 run_time 介於 start_time (含) 和 end_time (不含) 之間的時間範圍建立，或針對特定的 run_time 建立。

另請參閱

更多關於如何使用此運算子的資訊，請參考指南： 手動啟動傳輸執行

參數

  • transfer_config_id (str) – 要使用的傳輸設定 ID。

  • requested_time_range (dict | None) – 應啟動的傳輸執行的時間範圍。如果提供 dict，則其格式必須與 protobuf 訊息 ~google.cloud.bigquery_datatransfer_v1.types.TimeRange 相同

  • requested_run_time (dict | None) – 要啟動的傳輸執行的特定 run_time。requested_run_time 不得在未來。如果提供 dict，則其格式必須與 protobuf 訊息 ~google.cloud.bigquery_datatransfer_v1.types.Timestamp 相同

  • project_id (str) – 應在其中建立傳輸設定的 BigQuery 專案 ID。

  • location (str | None) – 用於區域傳輸的 BigQuery Transfer Service 位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的秒數。請注意，如果指定了重試，則逾時適用於每次個別嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他中繼資料。

  • gcp_conn_id – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務帳戶，用於模擬使用短期憑證，或取得清單中最後一個帳戶的 access_token 所需的鏈結帳戶清單，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶 (已套用範本)。

  • deferrable (bool) – 在可延遲模式下執行運算子。

template_fields: collections.abc.Sequence[str] = ('transfer_config_id', 'project_id', 'requested_time_range', 'requested_run_time',...[source]
hook()[source]
execute(context)[source]

在建立運算子時衍生。

Context 是與渲染 Jinja 模板時使用的字典相同的字典。

請參考 get_template_context 以取得更多 context。

execute_completed(context, event)[source]

在 defer 方法中調用的觸發器完成其工作後執行。

這個條目有幫助嗎？