airflow.providers.google.cloud.hooks.dataform

模組內容

類別

DataformHook

用於 Google Cloud DataForm API 的 Hook。
class airflow.providers.google.cloud.hooks.dataform.DataformHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[原始碼]

基底類別： airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用於 Google Cloud DataForm API 的 Hook。

get_dataform_client()[原始碼]

擷取允許存取 Cloud Dataform 服務的用戶端程式庫物件。

wait_for_workflow_invocation(workflow_invocation_id, repository_id, project_id, region, wait_time=10, timeout=None)[原始碼]

輪詢工作以檢查是否完成。

參數

  • workflow_invocation_id (str) – 工作流程調用 ID

  • repository_id (str) – Dataform 儲存庫 ID

  • project_id (str) – 必要項目。叢集所屬的 Google Cloud 專案 ID。

  • region (str) – 必要項目。用於處理請求的 Cloud Dataproc 區域。

  • wait_time (int) – 檢查之間等待的秒數

  • timeout (int | None) – 等待工作就緒的秒數。僅在 asynchronous 為 False 時使用

create_compilation_result(project_id, region, repository_id, compilation_result, retry=DEFAULT, timeout=None, metadata=())[原始碼]

在給定的專案和位置中建立新的 CompilationResult。

參數

  • project_id (str) – 必要項目。工作所屬的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作所屬的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作所屬的 Dataform 儲存庫 ID。

  • compilation_result (google.cloud.dataform_v1beta1.types.CompilationResult | dict) – 必要項目。要建立的編譯結果。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

get_compilation_result(project_id, region, repository_id, compilation_result_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]

擷取單一 CompilationResult。

參數

  • project_id (str) – 必要項目。工作所屬的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作所屬的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作所屬的 Dataform 儲存庫 ID。

  • compilation_result_id (str) – Dataform 編譯結果的 ID

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

create_workflow_invocation(project_id, region, repository_id, workflow_invocation, retry=DEFAULT, timeout=None, metadata=())[原始碼]

在給定的儲存庫中建立新的 WorkflowInvocation。

參數

  • project_id (str) – 必要項目。工作所屬的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作所屬的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作所屬的 Dataform 儲存庫 ID。

  • workflow_invocation (google.cloud.dataform_v1beta1.types.WorkflowInvocation | dict) – 必要項目。要建立的工作流程調用資源。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

get_workflow_invocation(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]

擷取單一 WorkflowInvocation。

參數

  • project_id (str) – 必要項目。工作所屬的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作所屬的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作所屬的 Dataform 儲存庫 ID。

  • workflow_invocation_id (str) – 必要項目。工作流程調用資源的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

query_workflow_invocation_actions(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]

擷取 WorkflowInvocation 動作。

參數

  • project_id (str) – 必要項目。工作所屬的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作所屬的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作所屬的 Dataform 儲存庫 ID。

  • workflow_invocation_id (str) – 必要項目。工作流程調用資源的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

cancel_workflow_invocation(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]

請求取消執行中的 WorkflowInvocation。

參數

  • project_id (str) – 必要項目。工作所屬的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作所屬的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作所屬的 Dataform 儲存庫 ID。

  • workflow_invocation_id (str) – 必要項目。工作流程調用資源的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

create_repository(*, project_id, region, repository_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]

建立儲存庫。

參數

  • project_id (str) – 必要項目。應放置儲存庫的 Google Cloud 專案 ID。

  • region (str) – 必要項目。應放置儲存庫的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。新的 Dataform 儲存庫 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

delete_repository(*, project_id, region, repository_id, force=True, retry=DEFAULT, timeout=None, metadata=())[原始碼]

刪除儲存庫。

參數

  • project_id (str) – 必要項目。儲存庫所在的 Google Cloud 專案 ID。

  • region (str) – 必要項目。儲存庫所在的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。應刪除的 Dataform 儲存庫 ID。

  • force (bool) – 若設為 true，此儲存庫的任何子資源也會遭到刪除。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

create_workspace(*, project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]

建立工作區。

參數

  • project_id (str) – 必要項目。應放置工作區的 Google Cloud 專案 ID。

  • region (str) – 必要項目。應放置工作區的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。應放置工作區的 Dataform 儲存庫 ID。

  • workspace_id (str) – 必要項目。新的 Dataform 工作區 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

delete_workspace(*, project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]

刪除工作區。

參數

  • project_id (str) – 必要項目。工作區所在的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作區所在的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作區所在的 Dataform 儲存庫 ID。

  • workspace_id (str) – 必要項目。應刪除的 Dataform 工作區 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

write_file(*, project_id, region, repository_id, workspace_id, filepath, contents, retry=DEFAULT, timeout=None, metadata=())[原始碼]

將新檔案寫入至指定的工作區。

參數

  • project_id (str) – 必要項目。工作區所在的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作區所在的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作區所在的 Dataform 儲存庫 ID。

  • workspace_id (str) – 必要項目。應在其中建立檔案的 Dataform 工作區 ID。

  • filepath (str) – 必要項目。檔案路徑，包含相對於工作區根目錄的檔案名稱。

  • contents (bytes) – 必要項目。要寫入的檔案內容。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

make_directory(*, project_id, region, repository_id, workspace_id, path, retry=DEFAULT, timeout=None, metadata=())[原始碼]

在指定的工作區中建立新目錄。

參數

  • project_id (str) – 必要項目。工作區所在的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作區所在的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作區所在的 Dataform 儲存庫 ID。

  • workspace_id (str) – 必要項目。應在其中建立目錄的 Dataform 工作區 ID。

  • path (str) – 必要項目。目錄的完整路徑，包含相對於工作區根目錄的新目錄名稱。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

remove_directory(*, project_id, region, repository_id, workspace_id, path, retry=DEFAULT, timeout=None, metadata=())[原始碼]

移除指定工作區中的目錄。

參數

  • project_id (str) – 必要項目。工作區所在的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作區所在的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作區所在的 Dataform 儲存庫 ID。

  • workspace_id (str) – 必要項目。目錄所在的 Dataform 工作區 ID。

  • path (str) – 必要項目。目錄的完整路徑，包含相對於工作區根目錄的目錄名稱。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

remove_file(*, project_id, region, repository_id, workspace_id, filepath, retry=DEFAULT, timeout=None, metadata=())[原始碼]

移除指定工作區中的檔案。

參數

  • project_id (str) – 必要項目。工作區所在的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作區所在的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作區所在的 Dataform 儲存庫 ID。

  • workspace_id (str) – 必要項目。目錄所在的 Dataform 工作區 ID。

  • filepath (str) – 必要項目。完整路徑，包含相對於工作區根目錄的檔案名稱。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

install_npm_packages(*, project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]

在提供的工作區中安裝 NPM 相依性。

需要先在工作區中建立「package.json」。

參數

  • project_id (str) – 必要項目。工作區所在的 Google Cloud 專案 ID。

  • region (str) – 必要項目。工作區所在的 Google Cloud 區域 ID。

  • repository_id (str) – 必要項目。工作區所在的 Dataform 儲存庫 ID。

  • workspace_id (str) – 必要項目。Dataform 工作區 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 錯誤的指定 (若有)，應重試。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

此條目是否有幫助？