SFTP 到 Azure Blob 儲存體傳輸運算子

Blob 服務將文字和二進位資料以物件形式儲存在雲端中。Blob 服務提供以下三種資源:儲存體帳戶、容器和 Blob。在您的儲存體帳戶中,容器提供了一種組織 Blob 集合的方式。有關該服務的更多資訊,請訪問Azure Blob 儲存體 API 文件

開始之前

在 Airflow 中使用 Blob 儲存體之前,您需要使用 Token、登入和密碼驗證您的帳戶。請按照 Azure 指示進行操作。

請參閱以下範例。設定這些欄位的值

SFTP Conn Id: sftp_default
WASB Conn Id: wasb_default

從 SFTP 來源路徑傳輸資料到 Blob 儲存體

運算子將資料從 SFTP 來源路徑傳輸到 Azure Blob 儲存體中指定的容器

若要取得 Azure Blob 儲存體中作業的相關資訊,請使用: SFTPToWasbOperator 使用範例

tests/system/microsoft/azure/example_sftp_to_wasb.py[原始碼]

transfer_files_to_azure = SFTPToWasbOperator(
    task_id="transfer_files_from_sftp_to_wasb",
    # SFTP args
    sftp_source_path=SFTP_SRC_PATH,
    # AZURE args
    container_name=AZURE_CONTAINER_NAME,
    blob_prefix=BLOB_PREFIX,
)

這個條目有幫助嗎?