airflow.providers.microsoft.azure.transfers.local_to_adls¶
模組內容¶
類別¶
上傳檔案至 Azure Data Lake。 |
- class airflow.providers.microsoft.azure.transfers.local_to_adls.LocalFilesystemToADLSOperator(*, local_path, remote_path, overwrite=True, nthreads=64, buffersize=4194304, blocksize=4194304, extra_upload_options=None, azure_data_lake_conn_id='azure_data_lake_default', **kwargs)[原始碼]¶
繼承自:
airflow.models.BaseOperator上傳檔案至 Azure Data Lake。
另請參閱
關於如何使用此運算子的更多資訊，請參閱指南：LocalFilesystemToADLSOperator
- 參數
local_path (str) – 本地路徑。可以是單一檔案、目錄（在此情況下，會遞迴上傳）或 glob 模式。不支援使用 ** 的遞迴 glob 模式
remote_path (str) – 遠端路徑，用於上傳至；如果有多個檔案，則這是寫入的根目錄
nthreads (int) – 要使用的執行緒數量。如果為 None，則使用核心數量。
overwrite (bool) – 是否強制覆寫現有的檔案/目錄。如果為 False 且遠端路徑是目錄，則無論是否會覆寫任何檔案都將退出。如果為 True，則僅實際覆寫符合的檔名
buffersize (int) – int [2**22] 內部緩衝區的位元組數。此區塊不能大於一個 chunk，也不能小於一個 block
blocksize (int) – int [2**22] 一個 block 的位元組數。在每個 chunk 內，我們為每個 API 呼叫寫入一個較小的 block。此區塊不能大於一個 chunk
extra_upload_options (dict[str, Any] | None) – 要添加到 hook 上傳方法的額外上傳選項
azure_data_lake_conn_id (str) – Azure Data Lake 連線的參考
- template_fields: collections.abc.Sequence[str] = ('local_path', 'remote_path')[原始碼]¶