`airflow.providers.google.cloud.operators.mlengine`¶

此模組包含 Google Cloud MLEngine 運算子。

模組內容¶

類別¶

`MLEngineStartBatchPredictionJobOperator`	啟動 Google Cloud ML Engine 批次預測任務。
`MLEngineManageModelOperator`	用於管理 Google Cloud ML Engine 模型的運算子。
`MLEngineCreateModelOperator`	建立新模型。
`MLEngineGetModelOperator`	取得特定模型。
`MLEngineDeleteModelOperator`	刪除模型。
`MLEngineManageVersionOperator`	用於管理 Google Cloud ML Engine 版本的運算子。
`MLEngineCreateVersionOperator`	在模型中建立新版本。
`MLEngineSetDefaultVersionOperator`	設定模型中的版本。
`MLEngineListVersionsOperator`	列出模型的所有可用版本。
`MLEngineDeleteVersionOperator`	從模型中刪除版本。
`MLEngineStartTrainingJobOperator`	用於啟動 MLEngine 訓練任務的運算子。
`MLEngineTrainingCancelJobOperator`	用於清理失敗的 MLEngine 訓練任務的運算子。

屬性¶

log

airflow.providers.google.cloud.operators.mlengine.log[source]¶

class airflow.providers.google.cloud.operators.mlengine.MLEngineStartBatchPredictionJobOperator(*, job_id, region, data_format, input_paths, output_path, model_name=None, version_name=None, uri=None, max_worker_count=None, runtime_version=None, signature_name=None, project_id=None, gcp_conn_id='google_cloud_default', labels=None, impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

啟動 Google Cloud ML Engine 批次預測任務。

警告

此運算子已過時。請改用 airflow.providers.google.cloud.operators.vertex_ai.batch_prediction.CreateBatchPredictionJobOperator。

參見

關於如何使用此運算子的更多資訊，請參閱指南：進行預測

注意：對於模型來源，使用者應考慮以下三個選項之一

僅填寫 uri 欄位，該欄位應為指向 tensorflow savedModel 目錄的 GCS 位置。
僅填寫 model_name 欄位，該欄位參照現有模型，並將使用模型的預設版本。
同時填寫 model_name 和 version_name 欄位，該欄位參照特定模型的特定版本。

在選項 2 和 3 中，模型名稱和版本名稱都應包含最小識別符。例如，呼叫

MLEngineStartBatchPredictionJobOperator(
    ...,
    model_name='my_model',
    version_name='my_version',
    ...)

如果所需的模型版本為 projects/my_project/models/my_model/versions/my_version。

有關參數的更多文件，請參閱 https://cloud.google.com/ml-engine/reference/rest/v1/projects.jobs。

參數

job_id (str) – Google Cloud ML Engine 上預測任務的唯一 ID。(已套用 Jinja 模板)
data_format (str) – 輸入資料的格式。如果未提供或不是 [“TEXT”, “TF_RECORD”, “TF_RECORD_GZIP”] 之一，則預設為 ‘DATA_FORMAT_UNSPECIFIED’。
input_paths (list[str]) – 批次預測的輸入資料的 GCS 路徑列表。接受萬用字元運算子 *，但僅限於末尾。(已套用 Jinja 模板)
output_path (str) – 預測結果寫入的 GCS 路徑。(已套用 Jinja 模板)
region (str) – 執行預測任務的 Google Compute Engine 區域。(已套用 Jinja 模板)
model_name (str | None) – 用於預測的 Google Cloud ML Engine 模型。如果未提供 version_name，將使用此模型的預設版本。如果提供了 version_name，則不應為 None。如果提供了 uri，則應為 None。(已套用 Jinja 模板)
version_name (str | None) – 用於預測的 Google Cloud ML Engine 模型版本。如果提供了 uri，則應為 None。(已套用 Jinja 模板)
uri (str | None) – 用於預測的已儲存模型的 GCS 路徑。如果提供了 model_name，則應為 None。它應為指向 tensorflow SavedModel 的 GCS 路徑。(已套用 Jinja 模板)
max_worker_count (int | None) – 用於平行處理的最大工作節點數。如果未指定，則預設為 10。應為表示工作節點數的字串（“10” 而不是 10，“50” 而不是 50 等）。
runtime_version (str | None) – 用於批次預測的 Google Cloud ML Engine 執行階段版本。
signature_name (str | None) – SavedModel 中定義的簽名名稱，用於此任務。
project_id (str | None) – 提交預測任務的 Google Cloud 專案名稱。如果設定為 None 或遺失，則使用來自 Google Cloud 連線的預設 project_id。(已套用 Jinja 模板)
gcp_conn_id (str) – 用於連線到 Google Cloud Platform 的連線 ID。
labels (dict[str, str] | None) – 包含任務標籤的字典；傳遞到 BigQuery
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

引發

ValueError：如果無法確定唯一的模型/版本來源。

template_fields: collections.abc.Sequence[str] = ('project_id', 'job_id', 'region', 'input_paths', 'output_path', 'model_name', 'version_name',...[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineManageModelOperator(*, model, operation='create', project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

用於管理 Google Cloud ML Engine 模型的運算子。

警告

此運算子已過時。請考慮使用針對特定操作的運算子：MLEngineCreateModelOperator、MLEngineGetModelOperator。

參數

model (dict) –
包含模型相關資訊的字典。如果 operation 為 create，則 model 參數應包含此模型的所有資訊，例如 name。

如果 operation 為 get，則 model 參數應包含模型的 name。
operation (str) –
要執行的操作。可用操作為
- create：建立由 model 參數提供的新模型。
- get：取得名稱在 model 中指定的特定模型。
project_id (str) – MLEngine 模型所屬的 Google Cloud 專案名稱。如果設定為 None 或遺失，則使用來自 Google Cloud 連線的預設 project_id。(已套用 Jinja 模板)
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model', 'impersonation_chain')[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineCreateModelOperator(*, model, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

建立新模型。

警告

此運算子已過時。請改用來自 airflow.providers.google.cloud.operators.vertex_ai 的適當 VertexAI 運算子。

參見

關於如何使用此運算子的更多資訊，請參閱指南：建立模型

模型應由 model 參數提供。

參數

model (dict) – 包含模型相關資訊的字典。
project_id (str) – MLEngine 模型所屬的 Google Cloud 專案名稱。如果設定為 None 或遺失，則使用來自 Google Cloud 連線的預設 project_id。(已套用 Jinja 模板)
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineGetModelOperator(*, model_name, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

取得特定模型。

警告

此運算子已過時。請改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.GetModelOperator。

參見

關於如何使用此運算子的更多資訊，請參閱指南：取得模型

模型的名稱應在 model_name 中指定。

參數

model_name (str) – 模型的名稱。
project_id (str) – MLEngine 模型所屬的 Google Cloud 專案名稱。如果設定為 None 或遺失，則使用來自 Google Cloud 連線的預設 project_id。(已套用 Jinja 模板)
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineDeleteModelOperator(*, model_name, delete_contents=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除模型。

警告

此運算子已過時。請改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.DeleteModelOperator。

參見

關於如何使用此運算子的更多資訊，請參閱指南：清理

模型應由 model_name 參數提供。

參數

model_name (str) – 模型的名稱。
delete_contents (bool) – （選用）即使模型不為空也強制刪除。如果設定為 True，將刪除資料集中的所有版本（如果有的話）。預設值為 False。
project_id (str) – MLEngine 模型所屬的 Google Cloud 專案名稱。如果設定為 None 或遺失，則使用來自 Google Cloud 連線的預設 project_id。(已套用 Jinja 模板)
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineManageVersionOperator(*, model_name, version_name=None, version=None, operation='create', project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

用於管理 Google Cloud ML Engine 版本的運算子。

警告

此運算子已過時。請考慮使用針對特定操作的運算子：MLEngineCreateVersionOperator、MLEngineSetDefaultVersionOperator、MLEngineListVersionsOperator、MLEngineDeleteVersionOperator。

參數

model_name (str) – 版本所屬的 Google Cloud ML Engine 模型的名稱。(已套用 Jinja 模板)
version_name (str | None) – 用於操作版本的名稱。如果不是 None 且 version 引數為 None 或沒有 name 鍵的值，則此值將會填入 name 鍵的酬載中。(已套用範本)
version (dict | None) – 包含版本相關資訊的字典。如果 operation 為 create，version 應包含此版本的所有資訊，例如名稱和 deploymentUrl。如果 operation 為 get 或 delete，version 參數應包含版本的 name。如果為 None，則唯一可能的 operation 將會是 list。(已套用範本)
operation (str) –
要執行的操作。可用操作為
- create：在 model_name 指定的模型中建立新版本，在這種情況下，version 參數應包含建立該版本的所有資訊 (例如 name、deploymentUrl)。
- set_defaults：將 model_name 指定的模型中的某個版本設定為預設版本。版本名稱應在 version 參數中指定。
- list：列出 model_name 指定模型的所有可用版本。
- delete：從 model_name 指定的模型中刪除 version 參數中指定的版本。版本名稱應在 version 參數中指定。
project_id (str) – MLEngine 模型所屬的 Google Cloud 專案名稱。如果設定為 None 或遺失，則使用來自 Google Cloud 連線的預設 project_id。(已套用 Jinja 模板)
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'version_name', 'version', 'impersonation_chain')[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineCreateVersionOperator(*, model_name, version, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在模型中建立新版本。

警告

此運算子已過時。請改用 VertexAI 運算子的 parent_model 參數。

參見

如需關於如何使用此運算子的更多資訊，請參閱指南：建立模型版本

模型應由 model_name 指定，在這種情況下，version 參數應包含建立該版本的所有資訊

參數

model_name (str) – 版本所屬的 Google Cloud ML Engine 模型的名稱。(已套用 Jinja 模板)
version (dict) – 包含版本相關資訊的字典。(已套用範本)
project_id (str) – MLEngine 模型所屬的 Google Cloud 專案名稱。如果設定為 None 或遺失，則使用來自 Google Cloud 連線的預設 project_id。(已套用 Jinja 模板)
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'version', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineSetDefaultVersionOperator(*, model_name, version_name, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

設定模型中的版本。

警告

此運算子已過時。請改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.SetDefaultVersionOnModelOperator。

參見

如需關於如何使用此運算子的更多資訊，請參閱指南：管理模型版本

模型應由 model_name 指定為預設模型。版本名稱應在 version_name 參數中指定。

參數

model_name (str) – 版本所屬的 Google Cloud ML Engine 模型的名稱。(已套用 Jinja 模板)
version_name (str) – 用於操作版本的名稱。(已套用範本)
project_id (str) – MLEngine 模型所屬的 Google Cloud 專案名稱。如果設定為 None 或遺失，則使用來自 Google Cloud 連線的預設 project_id。(已套用 Jinja 模板)
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'version_name', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineListVersionsOperator(*, model_name, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出模型的所有可用版本。

警告

此運算子已過時。請改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.ListModelVersionsOperator。

參見

如需關於如何使用此運算子的更多資訊，請參閱指南：管理模型版本

模型應由 model_name 指定。

參數

model_name (str) – 版本所屬的 Google Cloud ML Engine 模型的名稱。(已套用 Jinja 模板)
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
project_id (str) – MLEngine 模型所屬的 Google Cloud 專案名稱。如果設定為 None 或遺失，則使用來自 Google Cloud 連線的預設 project_id。(已套用 Jinja 模板)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineDeleteVersionOperator(*, model_name, version_name, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

從模型中刪除版本。

警告

此運算子已過時。請改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.DeleteModelVersionOperator。

參見

如需關於如何使用此運算子的更多資訊，請參閱指南：清理

版本名稱應在 version_name 參數中指定，來自 model_name 指定的模型。

參數

model_name (str) – 版本所屬的 Google Cloud ML Engine 模型的名稱。(已套用 Jinja 模板)
version_name (str) – 用於操作版本的名稱。(已套用範本)
project_id (str) – MLEngine 模型所屬的 Google Cloud 專案名稱。
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'version_name', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.mlengine.MLEngineStartTrainingJobOperator(*, job_id, region, project_id, package_uris=None, training_python_module=None, training_args=None, scale_tier=None, master_type=None, master_config=None, runtime_version=None, python_version=None, job_dir=None, service_account=None, gcp_conn_id='google_cloud_default', mode='PRODUCTION', labels=None, impersonation_chain=None, hyperparameters=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), cancel_on_kill=True, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

用於啟動 MLEngine 訓練任務的運算子。

警告

此運算子已過時。請改用 airflow.providers.google.cloud.operators.vertex_ai.custom_job.CreateCustomPythonPackageTrainingJobOperator。

參見

如需關於如何使用此運算子的更多資訊，請參閱指南：啟動工作

如需關於已使用參數的更多資訊，請查看: https://cloud.google.com/sdk/gcloud/reference/ml-engine/jobs/submit/training

參數

job_id (str) – 已提交的 Google MLEngine 訓練工作的唯一範本 ID。(已套用範本)
region (str) – 執行 MLEngine 訓練工作的 Google Compute Engine 區域 (已套用範本)。
package_uris (list[str] | None) – 訓練工作的 Python 套件位置清單，應包含主要訓練程式和任何其他相依性。這與透過 master_config 指定的自訂映像檔互斥。(已套用範本)
training_python_module (str | None) – 在安裝套件後，於訓練工作中執行的 Python 模組名稱。這與透過 master_config 指定的自訂映像檔互斥。(已套用範本)
training_args (list[str] | None) – 要傳遞至訓練程式的命令列引數清單。(已套用範本)
scale_tier (str | None) – MLEngine 訓練工作的資源層級。(已套用範本)
master_type (str | None) – 用於主要工作站的虛擬機器類型。當 scale_tier 為 CUSTOM 時，必須設定此值。(已套用範本)
master_config (dict | None) – 主要工作站的組態。如果提供此值，也必須設定 master_type。如果指定自訂映像檔，則這與 package_uris 和 training_python_module 互斥。(已套用範本)
runtime_version (str | None) – 用於訓練的 Google Cloud ML 執行階段版本。(已套用範本)
python_version (str | None) – 訓練中使用的 Python 版本。(已套用範本)
job_dir (str | None) – 用於儲存訓練輸出和訓練所需的其他資料的 Google Cloud Storage 路徑。(已套用範本)
service_account (str | None) – 執行訓練應用程式時要使用的選用服務帳戶。(已套用範本) 指定的服務帳戶必須具有 iam.serviceAccounts.actAs 角色。Google 管理的 Cloud ML Engine 服務帳戶必須具有指定服務帳戶的 iam.serviceAccountAdmin 角色。如果設定為 None 或遺失，將會使用 Google 管理的 Cloud ML Engine 服務帳戶。
project_id (str) – 應在其中執行 MLEngine 訓練工作的 Google Cloud 專案名稱。
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
mode (str) – 可以是 ‘DRY_RUN’/‘CLOUD’ 其中之一。在 ‘DRY_RUN’ 模式中，不會啟動實際的訓練工作，但會列印出 MLEngine 訓練工作請求。在 ‘CLOUD’ 模式中，將會發出實際的 MLEngine 訓練工作建立請求。
labels (dict[str, str] | None) – 包含任務標籤的字典；傳遞到 BigQuery
hyperparameters (dict | None) – 用於超參數調整的選用 HyperparameterSpec 字典。如需更多參考資訊，請查看：https://cloud.google.com/ai-platform/training/docs/reference/rest/v1/projects.jobs#HyperparameterSpec
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。
cancel_on_kill (bool) – 旗標，指出在呼叫 on_kill 時是否取消 Hook 的工作
deferrable (bool) – 在可延遲模式下執行運算子

template_fields: collections.abc.Sequence[str] = ('project_id', 'job_id', 'region', 'package_uris', 'training_python_module', 'training_args',...[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

execute_complete(context, event)[source]¶

作為觸發器觸發時的回呼函式 - 立即傳回。

仰賴觸發器擲回例外狀況，否則會假設執行成功。

on_kill()[source]¶

覆寫此方法以在工作執行個體遭到終止時清理子程序。

在運算子內使用 threading、subprocess 或 multiprocessing 模組的任何情況都需要清理，否則會留下無效程序。

class airflow.providers.google.cloud.operators.mlengine.MLEngineTrainingCancelJobOperator(*, job_id, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

用於清理失敗的 MLEngine 訓練任務的運算子。

警告

此運算子已過時。請改用 airflow.providers.google.cloud.operators.vertex_ai.custom_job.CancelCustomTrainingJobOperator。

參數

job_id (str) – 已提交的 Google MLEngine 訓練工作的唯一範本 ID。(已套用範本)
project_id (str) – 應在其中執行 MLEngine 訓練工作的 Google Cloud 專案名稱。如果設定為 None 或遺失，則會使用 Google Cloud 連線中的預設 project_id。(已套用範本)
gcp_conn_id (str) – 擷取連線資訊時要使用的連線 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 要使用短期憑證模擬的可選服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（已套用 Jinja 模板）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'job_id', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在建立運算子時衍生。

Context 是與呈現 Jinja 模板時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

airflow.providers.google.cloud.operators.mlengine¶

模組內容¶

類別¶

屬性¶

`airflow.providers.google.cloud.operators.mlengine`¶