airflow.providers.google.cloud.operators.cloud_composer
¶
模組內容¶
類別¶
用於構建 Cloud Composer 環境連結的輔助類別。 |
|
用於構建 Cloud Composer 環境連結的輔助類別。 |
|
建立新的環境。 |
|
刪除環境。 |
|
取得現有環境。 |
|
列出環境。 |
|
更新環境。 |
|
列出所提供位置的 ImageVersions。 |
|
為提供的 Composer 環境執行 Airflow 命令。 |
屬性¶
- airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_BASE_LINK = 'https://console.cloud.google.com/composer/environments'[source]¶
- class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerEnvironmentLink[source]¶
基礎類別:
airflow.providers.google.cloud.links.base.BaseGoogleLink
用於構建 Cloud Composer 環境連結的輔助類別。
- class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerEnvironmentsLink[source]¶
基礎類別:
airflow.providers.google.cloud.links.base.BaseGoogleLink
用於構建 Cloud Composer 環境連結的輔助類別。
- class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerCreateEnvironmentOperator(*, project_id, region, environment_id, environment, gcp_conn_id='google_cloud_default', impersonation_chain=None, retry=DEFAULT, timeout=None, metadata=(), deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶
基礎類別:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
建立新的環境。
- 參數
project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。
region (str) – 必填。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必填。服務所屬的 Google Cloud 環境 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) – 要建立的環境。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。
deferrable (bool) – 以可延遲模式執行運算子
pooling_period_seconds (int) – (選填)控制輪詢可延遲執行結果的頻率。預設情況下,觸發器將每 30 秒輪詢一次。
- class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerDeleteEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶
基礎類別:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
刪除環境。
- 參數
project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。
region (str) – 必填。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必填。服務所屬的 Google Cloud 環境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。
deferrable (bool) – 以可延遲模式執行運算子
pooling_period_seconds (int) – (選填)控制輪詢可延遲執行結果的頻率。預設情況下,觸發器將每 30 秒輪詢一次。
- class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerGetEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基礎類別:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
取得現有環境。
- 參數
project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。
region (str) – 必填。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必填。服務所屬的 Google Cloud 環境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。
- class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListEnvironmentsOperator(*, project_id, region, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基礎類別:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
列出環境。
- 參數
project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。
region (str) – 必填。服務所屬的 Google Cloud 區域 ID。
page_size (int | None) – 要傳回的環境最大數量。
page_token (str | None) – 從先前的 List 請求傳回的 next_page_token 值(如果有的話)。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。
- class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerUpdateEnvironmentOperator(*, project_id, region, environment_id, environment, update_mask, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶
基礎類別:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
更新環境。
- 參數
project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。
region (str) – 必填。服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 必填。服務所屬的 Google Cloud 環境 ID。
environment (dict | google.cloud.orchestration.airflow.service_v1.types.Environment) – 修補程式環境。由
updateMask
指定的欄位將從修補程式環境複製到正在更新的環境中。update_mask (dict | google.protobuf.field_mask_pb2.FieldMask) – 必填。相對於
Environment
的路徑逗號分隔清單,用於指定要更新的欄位。如果提供字典,則其格式必須與 protobuf 訊息FieldMask
相同retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。
deferrable (bool) – 以可延遲模式執行運算子
pooling_period_seconds (int) – (選填)控制輪詢可延遲執行結果的頻率。預設情況下,觸發器將每 30 秒輪詢一次。
- class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListImageVersionsOperator(*, project_id, region, page_size=None, page_token=None, include_past_releases=False, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基礎類別:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
列出所提供位置的 ImageVersions。
- 參數
request – 請求物件。列出專案和位置中的 ImageVersions。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。
- class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerRunAirflowCLICommandOperator(*, project_id, region, environment_id, command, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, **kwargs)[source]¶
基礎類別:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
為提供的 Composer 環境執行 Airflow 命令。
- 參數
project_id (str) – 服務所屬的 Google Cloud 專案 ID。
region (str) – 服務所屬的 Google Cloud 區域 ID。
environment_id (str) – 服務所屬的 Google Cloud 環境 ID。
command (str) – Airflow 命令。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。
timeout (float | None) – 此請求的逾時時間。
metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。
gcp_conn_id (str) – 用於連線至 Google Cloud Platform 的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。
deferrable (bool) – 以可延遲模式執行運算子
poll_interval (int) – 選擇性:控制輪詢可延遲執行結果的頻率。預設情況下,觸發器將每 10 秒輪詢一次。