airflow.providers.microsoft.azure.operators.adls

模組內容

類別

ADLSCreateObjectOperator

從傳入的資料在指定的檔案上於 Azure Data Lake 中建立新的物件。

ADLSDeleteOperator

刪除指定路徑中的檔案。

ADLSListOperator

列出指定路徑中的所有檔案。

屬性

DEFAULT_AZURE_DATA_LAKE_CONN_ID

airflow.providers.microsoft.azure.operators.adls.DEFAULT_AZURE_DATA_LAKE_CONN_ID = 'azure_data_lake_default'[原始碼]
class airflow.providers.microsoft.azure.operators.adls.ADLSCreateObjectOperator(*, file_system_name, file_name, data, length=None, replace=False, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[原始碼]

基底類別： airflow.models.BaseOperator

從傳入的資料在指定的檔案上於 Azure Data Lake 中建立新的物件。

另請參閱

如需如何使用此運算子的更多資訊，請參閱指南： ADLSCreateObjectOperator

參數

  • file_system_name (str) – 檔案系統名稱或 FileSystemProperties 的實例。

  • file_name (str) – 需要在檔案系統中建立的檔案名稱。

  • data (bytes | str | collections.abc.Iterable[AnyStr] | IO[AnyStr]) – 將上傳的資料。

  • length (int | None) – 資料大小，以位元組為單位（選填）。

  • replace (bool) – 是否強制覆寫現有的檔案/目錄。如果為 False 且遠端路徑是目錄，則無論是否會覆寫任何檔案都會退出。如果為 True，則僅實際覆寫相符的檔名。

  • azure_data_lake_conn_id (str) – 參考 Azure Data Lake 連線。

template_fields: collections.abc.Sequence[str] = ('file_system_name', 'file_name', 'data')[原始碼]
ui_color = '#e4f0e8'[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.microsoft.azure.operators.adls.ADLSDeleteOperator(*, path, recursive=False, ignore_not_found=True, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[原始碼]

基底類別： airflow.models.BaseOperator

刪除指定路徑中的檔案。

另請參閱

如需如何使用此運算子的更多資訊，請參閱指南： ADLSDeleteOperator

參數

  • path (str) – 要移除的目錄或檔案

  • recursive (bool) – 是否迴圈進入位置中的目錄並移除檔案

  • ignore_not_found (bool) – 如果找不到要刪除的檔案是否引發錯誤

  • azure_data_lake_conn_id (str) – 參考 Azure Data Lake 連線。

template_fields: collections.abc.Sequence[str] = ('path',)[原始碼]
ui_color = '#901dd2'[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

class airflow.providers.microsoft.azure.operators.adls.ADLSListOperator(*, path, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[原始碼]

基底類別： airflow.models.BaseOperator

列出指定路徑中的所有檔案。

此運算子傳回一個 Python 列表，其中包含可用於

xcom 在下游任務中的檔案名稱。

另請參閱

如需如何使用此運算子的更多資訊，請參閱指南： ADLSListOperator

參數

  • path (str) – 要尋找物件的 Azure Data Lake 路徑。支援 glob 字串（範本化）

  • azure_data_lake_conn_id (str) – 參考 Azure Data Lake 連線。

template_fields: collections.abc.Sequence[str] = ('path',)[原始碼]
ui_color = '#901dd2'[原始碼]
execute(context)[原始碼]

在建立運算子時衍生。

Context 是與呈現 jinja 範本時使用的字典相同。

請參閱 get_template_context 以取得更多上下文。

此條目是否有幫助？