`airflow.providers.google.cloud.hooks.cloud_composer`¶

模組內容¶

類別¶

`CloudComposerHook`	用於 Google Cloud Composer API 的 Hook。
`CloudComposerAsyncHook`	用於 Google Cloud Composer 非同步 API 的 Hook。

class airflow.providers.google.cloud.hooks.cloud_composer.CloudComposerHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[原始碼]¶

基底類別： airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用於 Google Cloud Composer API 的 Hook。

client_options[原始碼]¶

get_environment_client()[原始碼]¶

擷取允許存取 Environments 服務的用戶端程式庫物件。

get_image_versions_client()[原始碼]¶

擷取允許存取 Image Versions 服務的用戶端程式庫物件。

wait_for_operation(operation, timeout=None)[原始碼]¶

等待長時間運行的操作完成。

get_operation(operation_name)[原始碼]¶

get_environment_name(project_id, region, environment_id)[原始碼]¶

get_parent(project_id, region)[原始碼]¶

create_environment(project_id, region, environment, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

建立新的環境。

參數

project_id (str) – 必要。服務所屬的 Google Cloud 專案 ID。
region (str) – 必要。服務所屬的 Google Cloud 區域 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) – 要建立的環境。這對應於 request 執行個體上的 environment 欄位；如果已提供 request，則不應設定此欄位。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

delete_environment(project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

刪除環境。

參數

project_id (str) – 必要。服務所屬的 Google Cloud 專案 ID。
region (str) – 必要。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必要。服務所屬的 Google Cloud 環境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

get_environment(project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

取得現有環境。

參數

project_id (str) – 必要。服務所屬的 Google Cloud 專案 ID。
region (str) – 必要。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必要。服務所屬的 Google Cloud 環境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

list_environments(project_id, region, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

列出環境。

參數

project_id (str) – 必要。服務所屬的 Google Cloud 專案 ID。
region (str) – 必要。服務所屬的 Google Cloud 區域 ID。
page_size (int | None) – 要傳回的環境數量上限。
page_token (str | None) – 先前 List 請求傳回的 next_page_token 值 (如果有的話)。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

update_environment(project_id, region, environment_id, environment, update_mask, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

更新環境。

參數

project_id (str) – 必要。服務所屬的 Google Cloud 專案 ID。
region (str) – 必要。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必要。服務所屬的 Google Cloud 環境 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) –
修補程式環境。由 updateMask 指定的欄位將從修補程式環境複製到正在更新的環境中。

這對應於 request 執行個體上的 environment 欄位；如果已提供 request，則不應設定此欄位。
update_mask (dict | google.protobuf.field_mask_pb2.FieldMask) – 必要。相對於 Environment 的路徑 (以逗號分隔的清單)，用於指定要更新的欄位。如果提供 dict，則其格式必須與 protobuf 訊息 FieldMask 相同
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

list_image_versions(project_id, region, page_size=None, page_token=None, include_past_releases=False, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

列出所提供位置的 ImageVersions。

參數

project_id (str) – 必要。服務所屬的 Google Cloud 專案 ID。
region (str) – 必要。服務所屬的 Google Cloud 區域 ID。
page_size (int | None) – 要傳回的環境數量上限。
page_token (str | None) – 先前 List 請求傳回的 next_page_token 值 (如果有的話)。
include_past_releases (bool) – 納入過去版本的旗標
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

execute_airflow_command(project_id, region, environment_id, command, subcommand, parameters, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

為提供的 Composer 環境執行 Airflow 命令。

參數

project_id (str) – 服務所屬的 Google Cloud 專案 ID。
region (str) – 服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 服務所屬的 Google Cloud 環境 ID。
command (str) – Airflow 命令。
subcommand (str) – Airflow 子命令。
parameters (collections.abc.MutableSequence[str]) – Airflow 命令/子命令的參數，以引數陣列形式表示。其中可能包含位置引數 (例如 ["my-dag-id"])、鍵值參數 (例如 ["--foo=bar"] 或 ["--foo","bar"]) 或其他旗標 (例如 ["-f"])。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

poll_airflow_command(project_id, region, environment_id, execution_id, pod, pod_namespace, next_line_number, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

輪詢提供的 Composer 環境的 Airflow 命令執行結果。

參數

project_id (str) – 服務所屬的 Google Cloud 專案 ID。
region (str) – 服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 服務所屬的 Google Cloud 環境 ID。
execution_id (str) – 命令執行的唯一 ID。
pod (str) – 執行命令的 Pod 名稱。
pod_namespace (str) – 執行命令的 Pod 命名空間。
next_line_number (int) – 應從其擷取新日誌的行號。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

wait_command_execution_result(project_id, region, environment_id, execution_cmd_info, retry=DEFAULT, timeout=None, metadata=(), poll_interval=10)[原始碼]¶

class airflow.providers.google.cloud.hooks.cloud_composer.CloudComposerAsyncHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[原始碼]¶

基底類別： airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用於 Google Cloud Composer 非同步 API 的 Hook。

client_options[原始碼]¶

get_environment_client()[原始碼]¶

擷取允許存取 Environments 服務的用戶端程式庫物件。

get_environment_name(project_id, region, environment_id)[原始碼]¶

get_parent(project_id, region)[原始碼]¶

async get_operation(operation_name)[原始碼]¶

async create_environment(project_id, region, environment, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

建立新的環境。

參數

project_id (str) – 必要。服務所屬的 Google Cloud 專案 ID。
region (str) – 必要。服務所屬的 Google Cloud 區域 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) – 要建立的環境。這對應於 request 執行個體上的 environment 欄位；如果已提供 request，則不應設定此欄位。
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

async delete_environment(project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

刪除環境。

參數

project_id (str) – 必要。服務所屬的 Google Cloud 專案 ID。
region (str) – 必要。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必要。服務所屬的 Google Cloud 環境 ID。
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

async update_environment(project_id, region, environment_id, environment, update_mask, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

更新環境。

參數

project_id (str) – 必要。服務所屬的 Google Cloud 專案 ID。
region (str) – 必要。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必要。服務所屬的 Google Cloud 環境 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) –
修補程式環境。由 updateMask 指定的欄位將從修補程式環境複製到正在更新的環境中。

這對應於 request 執行個體上的 environment 欄位；如果已提供 request，則不應設定此欄位。
update_mask (dict | google.protobuf.field_mask_pb2.FieldMask) – 必要。相對於 Environment 的路徑 (以逗號分隔的清單)，用於指定要更新的欄位。如果提供 dict，則其格式必須與 protobuf 訊息 FieldMask 相同
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

async execute_airflow_command(project_id, region, environment_id, command, subcommand, parameters, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

為提供的 Composer 環境執行 Airflow 命令。

參數

project_id (str) – 服務所屬的 Google Cloud 專案 ID。
region (str) – 服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 服務所屬的 Google Cloud 環境 ID。
command (str) – Airflow 命令。
subcommand (str) – Airflow 子命令。
parameters (collections.abc.MutableSequence[str]) – Airflow 命令/子命令的參數，以引數陣列形式表示。其中可能包含位置引數 (例如 ["my-dag-id"])、鍵值參數 (例如 ["--foo=bar"] 或 ["--foo","bar"]) 或其他旗標 (例如 ["-f"])。
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

async poll_airflow_command(project_id, region, environment_id, execution_id, pod, pod_namespace, next_line_number, retry=DEFAULT, timeout=None, metadata=())[原始碼]¶

輪詢提供的 Composer 環境的 Airflow 命令執行結果。

參數

project_id (str) – 服務所屬的 Google Cloud 專案 ID。
region (str) – 服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 服務所屬的 Google Cloud 環境 ID。
execution_id (str) – 命令執行的唯一 ID。
pod (str) – 執行命令的 Pod 名稱。
pod_namespace (str) – 執行命令的 Pod 命名空間。
next_line_number (int) – 應從其擷取新日誌的行號。
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤 (如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起以中繼資料形式傳送的字串。

async wait_command_execution_result(project_id, region, environment_id, execution_cmd_info, retry=DEFAULT, timeout=None, metadata=(), poll_interval=10)[原始碼]¶

airflow.providers.google.cloud.hooks.cloud_composer¶

模組內容¶

類別¶

`airflow.providers.google.cloud.hooks.cloud_composer`¶