airflow.providers.google.cloud.transfers.gcs_to_local

模組內容

類別

GCSToLocalFilesystemOperator

從 Google Cloud Storage 下載檔案。

class airflow.providers.google.cloud.transfers.gcs_to_local.GCSToLocalFilesystemOperator(*, bucket, object_name, filename=None, store_to_xcom_key=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, file_encoding='utf-8', **kwargs)[原始碼]

基底類別: airflow.models.BaseOperator

從 Google Cloud Storage 下載檔案。

如果提供檔案名稱,它會將檔案寫入到指定的位置,或者可以設定 store_to_xcom_key 參數為 True,將檔案內容推送到 xcom。當檔案大小超過 xcom 的最大尺寸時,建議寫入到檔案。

參見

有關如何使用此運算子的更多資訊,請查看指南: GCSToLocalFilesystemOperator

參數
  • bucket (str) – Google Cloud Storage 儲存桶,物件位於此處。不得包含 ‘gs://’ 前綴。(已套用範本)

  • object_name (str) – 要在 Google Cloud Storage 儲存桶中下載的物件名稱。(已套用範本)

  • filename (str | None) – 本機檔案系統(運算子正在執行的位置)上的檔案路徑,包括檔案名稱,檔案應下載到此處。(已套用範本)如果未傳遞檔案名稱,則下載的資料將不會儲存在本機檔案系統上。

  • store_to_xcom_key (str | None) – 如果設定此參數,運算子會將下載檔案的內容推送到 XCom,並使用此參數中設定的鍵。如果未設定,下載的資料將不會推送到 XCom。(已套用範本)

  • gcp_conn_id (str) – (選用)用於連線至 Google Cloud 的連線 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 選用服務帳戶,用於模擬使用短期憑證,或取得列表中最後一個帳戶的 access_token 所需的帳戶鏈結列表,該帳戶將在請求中被模擬。如果設定為字串,則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列,則列表中的身分必須授予緊接在前的身分「服務帳戶權杖建立者」IAM 角色,列表中的第一個帳戶將此角色授予原始帳戶(已套用範本)。

  • file_encoding (str) – 選用編碼,用於將 file_bytes 解碼為適合儲存到 XCom 的可序列化字串。(已套用範本)。

template_fields: collections.abc.Sequence[str] = ('bucket', 'object_name', 'filename', 'store_to_xcom_key', 'impersonation_chain', 'file_encoding')[原始碼]
ui_color = '#f0eee4'[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與渲染 jinja 範本時使用的相同字典。

請參閱 get_template_context 以取得更多上下文。

get_openlineage_facets_on_start()[原始碼]

此條目是否有幫助?