airflow.providers.google.cloud.operators.datastore

此模組包含 Google Datastore 運算子。

模組內容

類別

CloudDatastoreExportEntitiesOperator

從 Google Cloud Datastore 匯出實體至 Cloud Storage。

CloudDatastoreImportEntitiesOperator

從 Cloud Storage 匯入實體至 Google Cloud Datastore。

CloudDatastoreAllocateIdsOperator

為不完整的鍵配置 ID。傳回鍵列表。

CloudDatastoreBeginTransactionOperator

開始新的交易。傳回交易句柄。

CloudDatastoreCommitOperator

提交交易，可選擇建立、刪除或修改一些實體。

CloudDatastoreRollbackOperator

回滾交易。

CloudDatastoreRunQueryOperator

執行實體查詢。傳回批次查詢結果。

CloudDatastoreGetOperationOperator

取得長時間執行作業的最新狀態。

CloudDatastoreDeleteOperationOperator

刪除長時間執行的作業。
class airflow.providers.google.cloud.operators.datastore.CloudDatastoreExportEntitiesOperator(*, bucket, namespace=None, datastore_conn_id='google_cloud_default', cloud_storage_conn_id='google_cloud_default', entity_filter=None, labels=None, polling_interval_in_seconds=10, overwrite_existing=False, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

從 Google Cloud Datastore 匯出實體至 Cloud Storage。

另請參閱

有關如何使用此運算子的更多資訊，請查看指南： 匯出實體

另請參閱

https://cloud.google.com/datastore/docs/export-import-entities

參數

  • bucket (str) – 要備份資料的雲端儲存空間儲存桶名稱

  • namespace (str | None) – 雲端儲存空間儲存桶中用於備份資料的可選命名空間路徑。如果此命名空間在 GCS 中不存在，則會建立它。

  • datastore_conn_id (str) – 要使用的 Datastore 連線 ID 名稱

  • cloud_storage_conn_id (str) – 強制寫入備份的雲端儲存空間連線 ID 名稱

  • entity_filter (dict | None) – 專案中包含在匯出中的資料描述，請參閱 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter

  • labels (dict | None) – 用戶端指派的雲端儲存空間標籤

  • polling_interval_in_seconds (int) – 再次輪詢執行狀態前等待的秒數

  • overwrite_existing (bool) – 如果儲存空間儲存桶 + 命名空間不是空的，則會在匯出之前清空它。這可以覆寫現有的備份。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選項：要模擬使用的短期憑證服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（可使用範本）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context（上下文）與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreImportEntitiesOperator(*, bucket, file, namespace=None, entity_filter=None, labels=None, datastore_conn_id='google_cloud_default', polling_interval_in_seconds=10, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

從 Cloud Storage 匯入實體至 Google Cloud Datastore。

另請參閱

有關如何使用此運算子的更多資訊，請查看指南： 匯入實體

另請參閱

https://cloud.google.com/datastore/docs/export-import-entities

參數

  • bucket (str) – Cloud Storage 中用於儲存資料的容器

  • file (str) – 指定 Cloud Storage 儲存桶中備份中繼資料檔案的路徑。它應該具有 .overall_export_metadata 副檔名

  • namespace (str | None) – 指定 Cloud Storage 儲存桶中備份中繼資料檔案的可選命名空間。

  • entity_filter (dict | None) – 專案中包含在匯出中的資料描述，請參閱 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter

  • labels (dict | None) – 用戶端指派的雲端儲存空間標籤

  • datastore_conn_id (str) – 要使用的連線 ID 名稱

  • polling_interval_in_seconds (float) – 再次輪詢執行狀態前等待的秒數

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選項：要模擬使用的短期憑證服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（可使用範本）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'file', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context（上下文）與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreAllocateIdsOperator(*, partial_keys, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

為不完整的鍵配置 ID。傳回鍵列表。

另請參閱

有關如何使用此運算子的更多資訊，請查看指南： 配置 ID

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/allocateIds

參數

  • partial_keys (list) – 部分鍵的列表。

  • project_id (str) – 要對其發出請求的 Google Cloud 專案 ID。

  • gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選項：要模擬使用的短期憑證服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（可使用範本）。

template_fields: collections.abc.Sequence[str] = ('partial_keys', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context（上下文）與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreBeginTransactionOperator(*, transaction_options, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

開始新的交易。傳回交易句柄。

另請參閱

有關如何使用此運算子的更多資訊，請查看指南： 開始交易

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/beginTransaction

參數

  • transaction_options (dict[str, Any]) – 新交易的選項。

  • project_id (str) – 要對其發出請求的 Google Cloud 專案 ID。

  • gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選項：要模擬使用的短期憑證服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（可使用範本）。

template_fields: collections.abc.Sequence[str] = ('transaction_options', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context（上下文）與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreCommitOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

提交交易，可選擇建立、刪除或修改一些實體。

另請參閱

有關如何使用此運算子的更多資訊，請查看指南： 提交交易

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/commit

參數

  • body (dict[str, Any]) – 提交請求的 body（內容）。

  • project_id (str) – 要對其發出請求的 Google Cloud 專案 ID。

  • gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選項：要模擬使用的短期憑證服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（可使用範本）。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context（上下文）與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRollbackOperator(*, transaction, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

回滾交易。

另請參閱

有關如何使用此運算子的更多資訊，請查看指南： 回滾交易

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/rollback

參數

  • transaction (str) – 要回滾的交易。

  • project_id (str) – 要對其發出請求的 Google Cloud 專案 ID。

  • gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選項：要模擬使用的短期憑證服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（可使用範本）。

template_fields: collections.abc.Sequence[str] = ('transaction', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context（上下文）與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRunQueryOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

執行實體查詢。傳回批次查詢結果。

另請參閱

有關如何使用此運算子的更多資訊，請查看指南： 執行查詢

另請參閱

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/runQuery

參數

  • body (dict[str, Any]) – 查詢請求的 body（內容）。

  • project_id (str) – 要對其發出請求的 Google Cloud 專案 ID。

  • gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選項：要模擬使用的短期憑證服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（可使用範本）。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context（上下文）與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreGetOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

取得長時間執行作業的最新狀態。

另請參閱

如需瞭解如何使用此運算子，請參閱指南：取得操作狀態

另請參閱

https://cloud.google.com/datastore/docs/reference/data/rest/v1/projects.operations/get

參數

  • name (str) – 操作資源的名稱。

  • gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選項：要模擬使用的短期憑證服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（可使用範本）。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context（上下文）與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreDeleteOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

刪除長時間執行的作業。

另請參閱

如需瞭解如何使用此運算子，請參閱指南：刪除操作

另請參閱

https://cloud.google.com/datastore/docs/reference/data/rest/v1/projects.operations/delete

參數

  • name (str) – 操作資源的名稱。

  • gcp_conn_id (str) – 用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選項：要模擬使用的短期憑證服務帳戶，或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表，該帳戶將在請求中被模擬。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則列表中的身分必須將「服務帳戶權杖建立者」IAM 角色授予直接前一個身分，列表中的第一個帳戶將此角色授予原始帳戶（可使用範本）。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]
execute(context)[source]

在建立運算子時衍生。

Context（上下文）與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

這個條目是否有幫助？