airflow.providers.google.cloud.operators.cloud_composer

模組內容

類別

CloudComposerEnvironmentLink

用於構建 Cloud Composer 環境連結的輔助類別。

CloudComposerEnvironmentsLink

用於構建 Cloud Composer 環境連結的輔助類別。

CloudComposerCreateEnvironmentOperator

建立新的環境。

CloudComposerDeleteEnvironmentOperator

刪除環境。

CloudComposerGetEnvironmentOperator

取得現有環境。

CloudComposerListEnvironmentsOperator

列出環境。

CloudComposerUpdateEnvironmentOperator

更新環境。

CloudComposerListImageVersionsOperator

列出所提供位置的 ImageVersions。

CloudComposerRunAirflowCLICommandOperator

為提供的 Composer 環境執行 Airflow 命令。

屬性

CLOUD_COMPOSER_BASE_LINK

CLOUD_COMPOSER_DETAILS_LINK

CLOUD_COMPOSER_ENVIRONMENTS_LINK

基礎類別:airflow.providers.google.cloud.links.base.BaseGoogleLink

用於構建 Cloud Composer 環境連結的輔助類別。

name = 'Cloud Composer Environment'[source]
key = 'composer_conf'[source]
format_str[source]
static persist(operator_instance, context)[source]

基礎類別:airflow.providers.google.cloud.links.base.BaseGoogleLink

用於構建 Cloud Composer 環境連結的輔助類別。

name = 'Cloud Composer Environment List'[source]
key = 'composer_conf'[source]
format_str[source]
static persist(operator_instance, context)[source]
class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerCreateEnvironmentOperator(*, project_id, region, environment_id, environment, gcp_conn_id='google_cloud_default', impersonation_chain=None, retry=DEFAULT, timeout=None, metadata=(), deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]

基礎類別:airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立新的環境。

參數
  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • environment_id (str) – 必填。服務所屬的 Google Cloud 環境 ID。

  • environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) – 要建立的環境。

  • gcp_conn_id (str) –

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。

  • deferrable (bool) – 以可延遲模式執行運算子

  • pooling_period_seconds (int) – (選填)控制輪詢可延遲執行結果的頻率。預設情況下,觸發器將每 30 秒輪詢一次。

template_fields = ('project_id', 'region', 'environment_id', 'environment', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

上下文與呈現 Jinja 範本時使用的字典相同。

有關更多上下文,請參閱 get_template_context。

execute_complete(context, event)[source]
class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerDeleteEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]

基礎類別:airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除環境。

參數
  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • environment_id (str) – 必填。服務所屬的 Google Cloud 環境 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。

  • gcp_conn_id (str) –

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。

  • deferrable (bool) – 以可延遲模式執行運算子

  • pooling_period_seconds (int) – (選填)控制輪詢可延遲執行結果的頻率。預設情況下,觸發器將每 30 秒輪詢一次。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

上下文與呈現 Jinja 範本時使用的字典相同。

有關更多上下文,請參閱 get_template_context。

execute_complete(context, event)[source]
class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerGetEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基礎類別:airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

取得現有環境。

參數
  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • environment_id (str) – 必填。服務所屬的 Google Cloud 環境 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。

  • gcp_conn_id (str) –

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

上下文與呈現 Jinja 範本時使用的字典相同。

有關更多上下文,請參閱 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListEnvironmentsOperator(*, project_id, region, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基礎類別:airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出環境。

參數
  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • page_size (int | None) – 要傳回的環境最大數量。

  • page_token (str | None) – 從先前的 List 請求傳回的 next_page_token 值(如果有的話)。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。

  • gcp_conn_id (str) –

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。

template_fields = ('project_id', 'region', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

上下文與呈現 Jinja 範本時使用的字典相同。

有關更多上下文,請參閱 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerUpdateEnvironmentOperator(*, project_id, region, environment_id, environment, update_mask, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]

基礎類別:airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

更新環境。

參數
  • project_id (str) – 必填。服務所屬的 Google Cloud 專案 ID。

  • region (str) – 必填。服務所屬的 Google Cloud 區域 ID。

  • environment_id (str) – 必填。服務所屬的 Google Cloud 環境 ID。

  • environment (dict | google.cloud.orchestration.airflow.service_v1.types.Environment) – 修補程式環境。由 updateMask 指定的欄位將從修補程式環境複製到正在更新的環境中。

  • update_mask (dict | google.protobuf.field_mask_pb2.FieldMask) – 必填。相對於 Environment 的路徑逗號分隔清單,用於指定要更新的欄位。如果提供字典,則其格式必須與 protobuf 訊息 FieldMask 相同

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。

  • gcp_conn_id (str) –

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。

  • deferrable (bool) – 以可延遲模式執行運算子

  • pooling_period_seconds (int) – (選填)控制輪詢可延遲執行結果的頻率。預設情況下,觸發器將每 30 秒輪詢一次。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

上下文與呈現 Jinja 範本時使用的字典相同。

有關更多上下文,請參閱 get_template_context。

execute_complete(context, event)[source]
class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListImageVersionsOperator(*, project_id, region, page_size=None, page_token=None, include_past_releases=False, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基礎類別:airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出所提供位置的 ImageVersions。

參數
  • request – 請求物件。列出專案和位置中的 ImageVersions。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。

  • gcp_conn_id (str) –

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。

template_fields = ('project_id', 'region', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

上下文與呈現 Jinja 範本時使用的字典相同。

有關更多上下文,請參閱 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerRunAirflowCLICommandOperator(*, project_id, region, environment_id, command, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, **kwargs)[source]

基礎類別:airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

為提供的 Composer 環境執行 Airflow 命令。

參數
  • project_id (str) – 服務所屬的 Google Cloud 專案 ID。

  • region (str) – 服務所屬的 Google Cloud 區域 ID。

  • environment_id (str) – 服務所屬的 Google Cloud 環境 ID。

  • command (str) – Airflow 命令。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定應重試哪些錯誤(如果有的話)。

  • timeout (float | None) – 此請求的逾時時間。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 應與請求一起作為中繼資料傳送的字串。

  • gcp_conn_id (str) – 用於連線至 Google Cloud Platform 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – (選填)要模擬的服務帳戶,可以使用短期憑證,或是取得清單中最後一個帳戶的 access_token 所需的串聯帳戶清單,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分,清單中的第一個帳戶將此角色授予原始帳戶(已套用範本)。

  • deferrable (bool) – 以可延遲模式執行運算子

  • poll_interval (int) – 選擇性:控制輪詢可延遲執行結果的頻率。預設情況下,觸發器將每 10 秒輪詢一次。

template_fields = ('project_id', 'region', 'environment_id', 'command', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

上下文與呈現 Jinja 範本時使用的字典相同。

有關更多上下文,請參閱 get_template_context。

execute_complete(context, event)[source]

這個條目有幫助嗎?