Azure DataLake Storage 運算子¶

先決條件任務¶

若要使用這些運算子，您必須執行幾件事

使用 AZURE PORTAL 或 AZURE CLI 建立必要的資源。
透過 pip 安裝 API 函式庫。
pip install 'apache-airflow[azure]'
詳細資訊請參閱 Airflow® 的安裝說明
設定連線.

ADLSCreateObjectOperator¶

ADLSCreateObjectOperator 允許您將資料上傳至 Azure DataLake Storage

以下是如何使用此運算子上傳資料至 ADL 的範例。

tests/system/microsoft/azure/example_adls_create.py[原始碼]

    upload_data = ADLSCreateObjectOperator(
        task_id="upload_data",
        file_system_name="Fabric",
        file_name=REMOTE_FILE_PATH,
        data="Hello world",
        replace=True,
    )

ADLSDeleteOperator¶

使用 ADLSDeleteOperator 從 Azure DataLake Storage 移除檔案

以下是如何使用此運算子從 ADL 刪除檔案的範例。

tests/system/microsoft/azure/example_adls_delete.py[原始碼]

    remove_file = ADLSDeleteOperator(task_id="delete_task", path=REMOTE_FILE_PATH, recursive=True)

ADLSListOperator¶

使用 ADLSListOperator 列出 Azure DataLake Storage 中的所有檔案

以下是如何使用此運算子列出 ADL 中的檔案的範例。

tests/system/microsoft/azure/example_adls_list.py[原始碼]

    adls_files = ADLSListOperator(
        task_id="adls_files",
        path="folder/output/*.parquet",
        azure_data_lake_conn_id="azure_data_lake_default",
    )

參考¶

如需更多資訊，請參閱

Azure Data Lake Storage 文件