從本機檔案系統上傳資料到 Azure Data Lake¶
Azure Data Lake (ADL) 讓您輕鬆儲存任何大小、形狀和速度的資料。此頁面說明如何從本機檔案系統上傳資料到 ADL。
先決條件任務¶
要使用這些運算子,您必須執行以下幾項操作
使用 AZURE PORTAL 或 AZURE CLI 建立必要的資源。
透過 pip 安裝 API 函式庫。
pip install 'apache-airflow[azure]'詳細資訊請參閱 Airflow® 安裝
設定連線.
LocalFilesystemToADLSOperator¶
LocalFilesystemToADLSOperator
讓您可以從本機檔案系統上傳資料到 ADL。
以下是使用此運算子將檔案上傳到 ADL 的範例。
upload_file = LocalFilesystemToADLSOperator(
task_id="upload_task",
local_path=LOCAL_FILE_PATH,
remote_path=REMOTE_FILE_PATH,
)