airflow.providers.google.cloud.transfers.bigquery_to_bigquery

此模組包含 Google BigQuery 到 BigQuery 運算子。

模組內容

類別

BigQueryToBigQueryOperator

將資料從一個 BigQuery 表格複製到另一個表格。
class airflow.providers.google.cloud.transfers.bigquery_to_bigquery.BigQueryToBigQueryOperator(*, source_project_dataset_tables, destination_project_dataset_table, write_disposition='WRITE_EMPTY', create_disposition='CREATE_IF_NEEDED', gcp_conn_id='google_cloud_default', labels=None, encryption_configuration=None, location=None, impersonation_chain=None, **kwargs)[原始碼]

基底類別： airflow.models.BaseOperator

將資料從一個 BigQuery 表格複製到另一個表格。

參見

關於如何使用此運算子的更多資訊，請參閱指南： 運算子

參見

關於這些參數的更多詳細資訊： https://cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.copy

參數

  • source_project_dataset_tables (list[str] | str) – 一個或多個點分隔的 (project:|project.)<dataset>.<table> BigQuery 表格，用作來源資料。如果未包含 <project>，專案將會是連線 JSON 中定義的專案。如果有複數個來源表格，請使用列表。（已套用範本）

  • destination_project_dataset_table (str) – 目的地 BigQuery 表格。格式為： (project:|project.)<dataset>.<table> （已套用範本）

  • write_disposition (str) – 如果表格已存在，則寫入配置。

  • create_disposition (str) – 如果表格不存在，則建立配置。

  • gcp_conn_id (str) – （選填）用於連線至 Google Cloud 的連線 ID。

  • labels (dict | None) – 一個包含 job/query 標籤的字典，傳遞至 BigQuery

  • encryption_configuration (dict | None) –

    【選填】自訂加密配置（例如，Cloud KMS 金鑰）。

    encryption_configuration = {
    "kmsKeyName": "projects/testp/locations/us/keyRings/test-kr/cryptoKeys/test-key",
}

  • location (str | None) – Job 的地理位置。如果執行 Job 的位置不在美國或歐盟多區域位置，或位置在單一區域（例如，us-central1），則您必須指定執行 Job 的位置。如需更多詳細資訊，請查看： https://cloud.google.com/bigquery/docs/locations#specifying_your_location

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選填的服務帳戶，用於使用短期憑證模擬身分，或用於取得列表中最後一個帳戶的 access_token 的鏈結帳戶列表，該帳戶將在請求中被模擬身分。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用範本）。

template_fields: collections.abc.Sequence[str] = ('source_project_dataset_tables', 'destination_project_dataset_table', 'labels', 'impersonation_chain')[原始碼]
template_ext: collections.abc.Sequence[str] = ('.sql',)[原始碼]
ui_color = '#e6f0e4'[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

get_openlineage_facets_on_complete(task_instance)[原始碼]

實作 on_complete，因為我們將包含最終 BQ job id。

此條目是否對您有幫助？