Google Cloud BigQuery 傳輸運算子到 Microsoft SQL Server¶

Google Cloud BigQuery 是 Google Cloud 的無伺服器資料倉儲服務。Microsoft SQL Server (MsSQL) 是由 Microsoft 開發的關聯式資料庫管理系統。此運算子可用於將資料從 BigQuery 表格複製到 MSSQL。

先決條件任務¶

要使用這些運算子，您必須執行以下幾項操作

使用 Cloud Console 選擇或建立 Cloud Platform 專案。

如 Google Cloud 文件中所述，為您的專案啟用計費功能。

如 Cloud Console 文件中所述，啟用 API。
透過 pip 安裝 API 函式庫。
pip install 'apache-airflow[google]'
安裝提供詳細資訊。
設定 Google Cloud 連線.

運算子¶

從一個 BigQuery 表格複製資料到另一個表格是透過 BigQueryToMsSqlOperator 運算子執行。

使用 Jinja 範本與 target_table_name, impersonation_chain, dataset_id, table_id, source_project_dataset_table 來動態定義值。

您可以使用參數 selected_fields 來限制要複製的欄位（預設為所有欄位），以及參數 replace 來覆寫目標表格而不是附加到它。更多資訊請參考以上連結。

傳輸資料¶

以下運算子將資料從 BigQuery 表格複製到 MsSQL。

tests/system/google/cloud/bigquery/example_bigquery_to_mssql.py[原始碼]

bigquery_to_mssql = BigQueryToMsSqlOperator(
    task_id="bigquery_to_mssql",
    mssql_conn_id=CONNECTION_ID,
    source_project_dataset_table=f"{PROJECT_ID}.{BIGQUERY_DATASET_NAME}.{BIGQUERY_TABLE}",
    target_table_name=SQL_TABLE,
    replace=False,
)

參考文獻¶

更多資訊請參閱