airflow.providers.google.cloud.transfers.sftp_to_gcs¶
此模組包含 SFTP 到 Google Cloud Storage 運算子。
模組內容¶
類別¶
從 SFTP 伺服器傳輸檔案到 Google Cloud Storage。 |
屬性¶
- class airflow.providers.google.cloud.transfers.sftp_to_gcs.SFTPToGCSOperator(*, source_path, destination_bucket, destination_path=None, gcp_conn_id='google_cloud_default', sftp_conn_id='ssh_default', mime_type='application/octet-stream', gzip=False, move_object=False, impersonation_chain=None, sftp_prefetch=True, **kwargs)[原始碼]¶
基底類別:
airflow.models.BaseOperator從 SFTP 伺服器傳輸檔案到 Google Cloud Storage。
參見
有關如何使用此運算子的更多資訊，請查看指南： 運算子
- 參數
source_path (str) – sftp 遠端路徑。這是用於從 SFTP 伺服器下載單個檔案或多個檔案的指定檔案路徑。您只能在路徑中使用一個萬用字元。萬用字元可以出現在路徑內部或路徑末尾。
destination_bucket (str) – 要上傳到的儲存桶。
destination_path (str | None) – 目的地 Google Cloud Storage 儲存桶中物件的目的地名稱。如果未提供 destination_path，檔案將放置在主儲存桶路徑中。如果在 destination_path 參數中提供了萬用字元，則這是將前置到最終目的地物件路徑的前綴。
gcp_conn_id (str) – (可選) 用於連線到 Google Cloud 的連線 ID。
sftp_conn_id (str) – sftp 連線 ID。用於建立與 SFTP 伺服器連線的名稱或識別碼。
mime_type (str) – MIME 類型字串
gzip (bool) – 允許將檔案壓縮並以 gzip 格式上傳
move_object (bool) – 當 move_object 為 True 時，物件將被移動而不是複製到新位置。這相當於 mv 命令，而不是 cp 命令。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可選的服務帳戶，用於使用短期憑證模擬身分，或用於取得清單中最後一個帳戶的 access_token 的鏈式帳戶清單，該帳戶將在請求中被模擬身分。如果設定為字串，則該帳戶必須授予原始帳戶「服務帳戶權杖建立者」IAM 角色。如果設定為序列，則清單中的身分必須將「服務帳戶權杖建立者」IAM 角色授予緊鄰的前一個身分，清單中的第一個帳戶將此角色授予原始帳戶（已模板化）。
sftp_prefetch (bool) – 是否啟用 SFTP 預取，預設為 True。
- template_fields: collections.abc.Sequence[str] = ('source_path', 'destination_path', 'destination_bucket', 'impersonation_chain')[原始碼]¶