airflow.providers.google.cloud.hooks.dataprep

此模組包含 Google Dataprep hook。

模組內容

類別

JobGroupStatuses

工作群組執行狀態的類型。

GoogleDataprepHook

用於連線 Dataprep API 的 Hook。
class airflow.providers.google.cloud.hooks.dataprep.JobGroupStatuses[原始碼]

基底： str、 enum.Enum

工作群組執行狀態的類型。

CREATED = 'Created'[原始碼]
UNDEFINED = 'undefined'[原始碼]
IN_PROGRESS = 'InProgress'[原始碼]
COMPLETE = 'Complete'[原始碼]
FAILED = 'Failed'[原始碼]
CANCELED = 'Canceled'[原始碼]
class airflow.providers.google.cloud.hooks.dataprep.GoogleDataprepHook(dataprep_conn_id=default_conn_name, api_version='v4', **kwargs)[原始碼]

基底： airflow.hooks.base.BaseHook

用於連線 Dataprep API 的 Hook。

要將 Dataprep 與 Airflow 連線，您需要 Dataprep 令牌。

https://clouddataprep.com/documentation/api#section/Authentication

它應以 JSON 格式新增至 Airflow 中的連線。

conn_name_attr = 'dataprep_conn_id'[原始碼]
default_conn_name = 'google_cloud_dataprep_default'[原始碼]
conn_type = 'dataprep'[原始碼]
hook_name = 'Google Dataprep'[原始碼]
get_jobs_for_job_group(job_id)[原始碼]

取得 Cloud Dataprep 工作中批次工作的相關資訊。

參數

job_id （int）– 要擷取的工作 ID

get_job_group(job_group_id, embed, include_deleted)[原始碼]

取得指定的工作群組。

工作群組是從流程中的特定節點執行的工作。

參數

  • job_group_id （int）– 要擷取的工作 ID

  • embed （str）– 以逗號分隔的物件清單，以作為回應的一部分提取

  • include_deleted （bool）– 如果設定為「true」，將包含已刪除的物件

run_job_group(body_request)[原始碼]

建立 jobGroup，以經過驗證的使用者身分啟動指定的工作。

這會執行與在應用程式中按一下「執行工作」按鈕相同的動作。

若要取得 recipe_id，請參閱 Dataprep API 文件 https://clouddataprep.com/documentation/api#operation/runJobGroup。

參數

body_request （dict）– 您要執行的配方識別碼。

create_flow(*, body_request)[原始碼]

建立流程。

參數

body_request （dict）– 要傳送的 POST 請求內文。如需更多詳細資訊，請查看 https://clouddataprep.com/documentation/api#operation/createFlow

copy_flow(*, flow_id, name='', description='', copy_datasources=False)[原始碼]

建立所提供流程 ID 的副本，以及所有包含的配方。

參數

  • flow_id （int）– 要複製的流程 ID

  • name （str）– 流程副本的名稱

  • description （str）– 流程副本的描述

  • copy_datasources （bool）– 布林值，用於定義是否應建立資料輸入的副本。

delete_flow(*, flow_id)[原始碼]

刪除具有所提供 ID 的流程。

參數

flow_id （int）– 要複製的流程 ID

run_flow(*, flow_id, body_request)[原始碼]

執行具有所提供 ID 的流程，即所提供流程 ID 的副本。

參數

  • flow_id （int）– 要複製的流程 ID

  • body_request （dict）– 要傳送的 POST 請求內文。

get_job_group_status(*, job_group_id)[原始碼]

檢查 Dataprep 工作是否完成的狀態。

參數

job_group_id （int）– 要檢查的工作群組 ID

create_imported_dataset(*, body_request)[原始碼]

建立匯入的資料集。

參數

body_request （dict）– 要傳送的 POST 請求內文。如需更多詳細資訊，請查看 https://clouddataprep.com/documentation/api#operation/createImportedDataset

create_wrangled_dataset(*, body_request)[原始碼]

建立整理過的資料集。

參數

body_request （dict）– 要傳送的 POST 請求內文。如需更多詳細資訊，請查看 https://clouddataprep.com/documentation/api#operation/createWrangledDataset

create_output_object(*, body_request)[原始碼]

建立輸出。

參數

body_request （dict）– 要傳送的 POST 請求內文。如需更多詳細資訊，請查看 https://clouddataprep.com/documentation/api#operation/createOutputObject

create_write_settings(*, body_request)[原始碼]

建立寫入設定。

參數

body_request （dict）– 要傳送的 POST 請求內文。如需更多詳細資訊，請查看 https://clouddataprep.com/documentation/api#tag/createWriteSetting

delete_imported_dataset(*, dataset_id)[原始碼]

刪除匯入的資料集。

參數

dataset_id （int）– 要移除的匯入資料集 ID。

此條目是否有幫助？