SFTP 到 Azure Blob 儲存體傳輸運算子¶
Blob 服務將文字和二進位資料以物件形式儲存在雲端中。Blob 服務提供以下三種資源:儲存體帳戶、容器和 Blob。在您的儲存體帳戶中,容器提供了一種組織 Blob 集合的方式。有關該服務的更多資訊,請訪問Azure Blob 儲存體 API 文件。
開始之前¶
在 Airflow 中使用 Blob 儲存體之前,您需要使用 Token、登入和密碼驗證您的帳戶。請按照 Azure 指示進行操作。
請參閱以下範例。設定這些欄位的值
SFTP Conn Id: sftp_default
WASB Conn Id: wasb_default
從 SFTP 來源路徑傳輸資料到 Blob 儲存體¶
運算子將資料從 SFTP 來源路徑傳輸到 Azure Blob 儲存體中指定的容器
若要取得 Azure Blob 儲存體中作業的相關資訊,請使用: SFTPToWasbOperator
使用範例
transfer_files_to_azure = SFTPToWasbOperator(
task_id="transfer_files_from_sftp_to_wasb",
# SFTP args
sftp_source_path=SFTP_SRC_PATH,
# AZURE args
container_name=AZURE_CONTAINER_NAME,
blob_prefix=BLOB_PREFIX,
)