airflow.providers.google.cloud.hooks.bigquery_dts

此模組包含 BigQuery Hook。

模組內容

類別

BiqQueryDataTransferServiceHook

用於 Google Bigquery Transfer API 的 Hook。

AsyncBiqQueryDataTransferServiceHook

BigQuery 服務的 Hook，用於搭配 Google 程式庫的非同步用戶端。

函數

get_object_id(obj)

傳回物件的唯一 ID。
airflow.providers.google.cloud.hooks.bigquery_dts.get_object_id(obj)[原始碼]

傳回物件的唯一 ID。

class airflow.providers.google.cloud.hooks.bigquery_dts.BiqQueryDataTransferServiceHook(gcp_conn_id='google_cloud_default', location=None, impersonation_chain=None, **kwargs)[原始碼]

基底類別：airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用於 Google Bigquery Transfer API 的 Hook。

Hook 中所有使用 project_id 的方法都必須使用關鍵字引數而非位置引數呼叫。

get_conn()[原始碼]

擷取與 Google Bigquery 的連線。

返回：

Google Bigquery API 用戶端

返回類型：

google.cloud.bigquery_datatransfer_v1.DataTransferServiceClient

create_transfer_config(transfer_config, project_id=PROVIDE_PROJECT_ID, authorization_code=None, retry=DEFAULT, timeout=None, metadata=())[原始碼]

建立新的資料傳輸設定。

參數：

  • transfer_config (dict | google.cloud.bigquery_datatransfer_v1.types.TransferConfig) – 要建立的資料傳輸設定。

  • project_id (str) – 應於其中建立傳輸設定的 BigQuery 專案 ID。如果設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。

  • authorization_code (str | None) – 用於此傳輸設定的授權碼。如果需要新的憑證，則為必要項目。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的秒數。請注意，如果指定重試，則逾時適用於每個個別嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他中繼資料。

返回：

一個 google.cloud.bigquery_datatransfer_v1.types.TransferConfig 實例。

返回類型：

google.cloud.bigquery_datatransfer_v1.types.TransferConfig

delete_transfer_config(transfer_config_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[原始碼]

刪除傳輸設定。

參數：

  • transfer_config_id (str) – 要使用的傳輸設定 ID。

  • project_id (str) – 應於其中建立傳輸設定的 BigQuery 專案 ID。如果設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的秒數。請注意，如果指定重試，則逾時適用於每個個別嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他中繼資料。

返回：

無

返回類型：

無

start_manual_transfer_runs(transfer_config_id, project_id=PROVIDE_PROJECT_ID, requested_time_range=None, requested_run_time=None, retry=DEFAULT, timeout=None, metadata=())[原始碼]

啟動手動傳輸執行，使其立即執行，排程時間等於目前時間。

可以為時間範圍建立傳輸執行，其中 run_time 介於 start_time（含）和 end_time（不含）之間，或針對特定的 run_time。

參數：

  • transfer_config_id (str) – 要使用的傳輸設定 ID。

  • requested_time_range (dict | None) – 應啟動之傳輸執行的時間範圍。如果提供 dict，則其格式必須與 protobuf 訊息 ~google.cloud.bigquery_datatransfer_v1.types.TimeRange 相同

  • requested_run_time (dict | None) – 要啟動之傳輸執行的特定 run_time。requested_run_time 不得在未來。如果提供 dict，則其格式必須與 protobuf 訊息 ~google.cloud.bigquery_datatransfer_v1.types.Timestamp 相同

  • project_id (str) – 應於其中建立傳輸設定的 BigQuery 專案 ID。如果設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的秒數。請注意，如果指定重試，則逾時適用於每個個別嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他中繼資料。

返回：

一個 google.cloud.bigquery_datatransfer_v1.types.StartManualTransferRunsResponse 實例。

返回類型：

google.cloud.bigquery_datatransfer_v1.types.StartManualTransferRunsResponse

get_transfer_run(run_id, transfer_config_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[原始碼]

傳回關於特定傳輸執行的資訊。

參數：

  • run_id (str) – 傳輸執行的 ID。

  • transfer_config_id (str) – 要使用的傳輸設定 ID。

  • project_id (str) – 應於其中建立傳輸設定的 BigQuery 專案 ID。如果設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的秒數。請注意，如果指定重試，則逾時適用於每個個別嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他中繼資料。

返回：

一個 google.cloud.bigquery_datatransfer_v1.types.TransferRun 實例。

返回類型：

google.cloud.bigquery_datatransfer_v1.types.TransferRun

class airflow.providers.google.cloud.hooks.bigquery_dts.AsyncBiqQueryDataTransferServiceHook(gcp_conn_id='google_cloud_default', location=None, impersonation_chain=None, **kwargs)[原始碼]

基底類別：airflow.providers.google.common.hooks.base_google.GoogleBaseAsyncHook

BigQuery 服務的 Hook，用於搭配 Google 程式庫的非同步用戶端。

sync_hook_class[原始碼]
async get_transfer_run(config_id, run_id, project_id, location=None, retry=DEFAULT, timeout=None, metadata=())[原始碼]

傳回關於特定傳輸執行的資訊。

參數：

  • run_id (str) – 傳輸執行的 ID。

  • config_id (str) – 要使用的傳輸設定 ID。

  • project_id (str | None) – 應於其中建立傳輸設定的 BigQuery 專案 ID。如果設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。

  • location (str | None) – 區域傳輸的 BigQuery Transfer Service 位置。

  • retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的秒數。請注意，如果指定重試，則逾時適用於每個個別嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的其他中繼資料。

返回：

一個 google.cloud.bigquery_datatransfer_v1.types.TransferRun 實例。

此條目是否有幫助？