airflow.providers.microsoft.azure.transfers.sftp_to_wasb

此模組包含 SFTP 至 Azure Blob 儲存體的運算子。

模組內容

類別

SFTPToWasbOperator

從 SFTP 伺服器傳輸檔案至 Azure Blob 儲存體。

屬性

WILDCARD

SftpFile

airflow.providers.microsoft.azure.transfers.sftp_to_wasb.WILDCARD = '*'[原始碼]
airflow.providers.microsoft.azure.transfers.sftp_to_wasb.SftpFile[原始碼]
class airflow.providers.microsoft.azure.transfers.sftp_to_wasb.SFTPToWasbOperator(*, sftp_source_path, container_name, blob_prefix='', sftp_conn_id='sftp_default', wasb_conn_id='wasb_default', load_options=None, move_object=False, wasb_overwrite_object=False, create_container=False, **kwargs)[原始碼]

基底類別： airflow.models.BaseOperator

從 SFTP 伺服器傳輸檔案至 Azure Blob 儲存體。

參見

有關如何使用此運算子的更多資訊，請查看指南： 從 SFTP 來源路徑傳輸資料到 Blob 儲存體

參數

  • sftp_source_path (str) – sftp 遠端路徑。這是指定的檔案路徑，用於從 SFTP 伺服器下載單個檔案或多個檔案。您在路徑中只能使用一個萬用字元。萬用字元可以出現在路徑內部或路徑末尾。

  • container_name (str) – 容器名稱。

  • blob_prefix (str) – Blob 名稱的前綴。

  • sftp_conn_id (str) – sftp 連線 ID。用於建立與 SFTP 伺服器連線的名稱或識別符。

  • wasb_conn_id (str) – 參照 wasb 連線。

  • load_options (dict | None) – WasbHook.load_file() 接受的可選關鍵字引數。

  • move_object (bool) – 當 move_object 為 True 時，物件會被移動而不是複製到新位置。這相當於 mv 命令，而不是 cp 命令。

  • wasb_overwrite_object (bool) – 是否應覆寫要上傳的 Blob 中的目前資料。當 wasb_overwrite_object 為 True 時，它將覆寫現有資料。如果設定為 False，則在 Blob 物件已存在的情況下，操作可能會失敗並出現 ResourceExistsError。

  • create_container (bool) – 嘗試在上傳 Blob 之前建立目標容器。如果目標容器可能尚不存在，這非常有用。預設值為 False。

property source_path_contains_wildcard: bool[原始碼]

檢查 SFTP 來源路徑是否包含萬用字元。

template_fields: collections.abc.Sequence[str] = ('sftp_source_path', 'container_name', 'blob_prefix')[原始碼]
dry_run()[原始碼]

執行運算子的預執行 - 僅呈現範本欄位。

execute(context)[原始碼]

從 SFTP 上傳檔案到 Azure Blob 儲存體。

get_sftp_files_map()[原始碼]

從來源路徑取得 SFTP 檔案，它可能會為此目的使用 WILDCARD。

get_tree_behavior()[原始碼]

從來源路徑提取樹狀結構行為，以與遠端資料夾互動。

check_wildcards_limit()[原始碼]

檢查 SFTP 來源路徑中是否使用了多個萬用字元。

sftp_hook()[原始碼]

要重複使用的 sftp hook 屬性。

get_full_path_blob(file)[原始碼]

根據先前的名稱和 blob_prefix 變數取得 Blob 名稱。

copy_files_to_wasb(sftp_files)[原始碼]

使用新的 Blob 名稱將 sftp_files 列表中的檔案上傳到 Azure Blob 儲存體。

delete_files(uploaded_files)[原始碼]

刪除 SFTP 上已移動到 Azure Blob 儲存體的檔案。

此條目是否有幫助？