airflow.providers.google.cloud.hooks.vertex_ai.dataset

此模組包含 Google Cloud Vertex AI Hook。

模組內容

類別

DatasetHook

用於 Google Cloud Vertex AI Dataset API 的 Hook。
class airflow.providers.google.cloud.hooks.vertex_ai.dataset.DatasetHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[原始碼]

基底類別： airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用於 Google Cloud Vertex AI Dataset API 的 Hook。

get_dataset_service_client(region=None)[原始碼]

傳回 DatasetServiceClient。

wait_for_operation(operation, timeout=None)[原始碼]

等待長時間運行的操作完成。

static extract_dataset_id(obj)[原始碼]

傳回 Dataset 的唯一 ID。

create_dataset(project_id, region, dataset, retry=DEFAULT, timeout=None, metadata=())[原始碼]

建立 Dataset。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • dataset (google.cloud.aiplatform_v1.types.Dataset | dict) – 必填。要建立的 Dataset。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

delete_dataset(project_id, region, dataset, retry=DEFAULT, timeout=None, metadata=())[原始碼]

刪除 Dataset。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • dataset (str) – 必填。要刪除的 Dataset ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

export_data(project_id, region, dataset, export_config, retry=DEFAULT, timeout=None, metadata=())[原始碼]

從 Dataset 匯出資料。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • dataset (str) – 必填。要匯出的 Dataset ID。

  • export_config (google.cloud.aiplatform_v1.types.ExportDataConfig | dict) – 必填。所需的輸出位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

get_annotation_spec(project_id, region, dataset, annotation_spec, read_mask=None, retry=DEFAULT, timeout=None, metadata=())[原始碼]

取得 AnnotationSpec。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • dataset (str) – 必填。Dataset 的 ID。

  • annotation_spec (str) – AnnotationSpec 資源的 ID。

  • read_mask (str | None) – 選填。指定要讀取的欄位遮罩。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

get_dataset(project_id, region, dataset, read_mask=None, retry=DEFAULT, timeout=None, metadata=())[原始碼]

取得 Dataset。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • dataset (str) – 必填。要匯出的 Dataset ID。

  • read_mask (str | None) – 選填。指定要讀取的欄位遮罩。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

import_data(project_id, region, dataset, import_configs, retry=DEFAULT, timeout=None, metadata=())[原始碼]

將資料匯入 Dataset。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • dataset (str) – 必填。要匯入的 Dataset ID。

  • import_configs (collections.abc.Sequence[google.cloud.aiplatform_v1.types.ImportDataConfig]) – 必填。所需的輸入位置。所有輸入位置的內容將在一個批次中匯入。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

list_annotations(project_id, region, dataset, data_item, filter=None, page_size=None, page_token=None, read_mask=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[原始碼]

列出屬於資料項目的 Annotation。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • dataset (str) – 必填。Dataset 的 ID。

  • data_item (str) – 必填。要列出 Annotation 的 DataItem ID。

  • filter (str | None) – 標準列表篩選器。

  • page_size (int | None) – 標準列表頁面大小。

  • page_token (str | None) – 標準列表頁面 Token。

  • read_mask (str | None) – 指定要讀取的欄位遮罩。

  • order_by (str | None) – 以逗號分隔的欄位列表，用於排序，依遞增順序排列。在欄位名稱後使用 “desc” 表示遞減。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

list_data_items(project_id, region, dataset, filter=None, page_size=None, page_token=None, read_mask=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[原始碼]

列出 Dataset 中的 DataItem。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • dataset (str) – 必填。Dataset 的 ID。

  • filter (str | None) – 標準列表篩選器。

  • page_size (int | None) – 標準列表頁面大小。

  • page_token (str | None) – 標準列表頁面 Token。

  • read_mask (str | None) – 指定要讀取的欄位遮罩。

  • order_by (str | None) – 以逗號分隔的欄位列表，用於排序，依遞增順序排列。在欄位名稱後使用 “desc” 表示遞減。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

list_datasets(project_id, region, filter=None, page_size=None, page_token=None, read_mask=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[原始碼]

列出 Location 中的 Dataset。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • filter (str | None) – 標準列表篩選器。

  • page_size (int | None) – 標準列表頁面大小。

  • page_token (str | None) – 標準列表頁面 Token。

  • read_mask (str | None) – 指定要讀取的欄位遮罩。

  • order_by (str | None) – 以逗號分隔的欄位列表，用於排序，依遞增順序排列。在欄位名稱後使用 “desc” 表示遞減。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

update_dataset(project_id, region, dataset_id, dataset, update_mask, retry=DEFAULT, timeout=None, metadata=())[原始碼]

更新 Dataset。

參數

  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • dataset_id (str) – 必填。Dataset 的 ID。

  • dataset (google.cloud.aiplatform_v1.types.Dataset | dict) – 必填。取代伺服器上資源的 Dataset。

  • update_mask (google.protobuf.field_mask_pb2.FieldMask | dict) – 必填。更新遮罩適用於資源。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤（如果有的話）。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為 metadata 送出的字串。

此條目是否有幫助？