airflow.providers.microsoft.azure.log.wasb_task_handler

模組內容

類別

WasbTaskHandler

WasbTaskHandler 是一個 Python 日誌處理器，用於處理和讀取任務實例日誌。
class airflow.providers.microsoft.azure.log.wasb_task_handler.WasbTaskHandler(base_log_folder, wasb_log_folder, wasb_container, **kwargs)[原始碼]

基底類別： airflow.utils.log.file_task_handler.FileTaskHandler, airflow.utils.log.logging_mixin.LoggingMixin

WasbTaskHandler 是一個 Python 日誌處理器，用於處理和讀取任務實例日誌。

它擴展了 airflow FileTaskHandler，並上傳和讀取 Wasb 遠端儲存體。

trigger_should_wrap = True[原始碼]
hook()[原始碼]

傳回 WasbHook。

set_context(ti, *, identifier=None)[原始碼]

向 airflow 任務處理器提供 task_instance 上下文。

一般來說傳回 None。但是如果 attr maintain_propagate 已設定為傳播，則傳回 sentinel MAINTAIN_PROPAGATE。這具有覆寫預設行為的效果，無論何時呼叫 set_context，都將 propagate 設定為 False。在撰寫本文時，此功能僅用於單元測試。

參數

  • ti (airflow.models.taskinstance.TaskInstance) – 任務實例物件

  • identifier (str | None) – 如果設定，則將字尾新增至日誌檔。用於從任務或觸發器執行以外的上下文向任務日誌中繼例外訊息時使用

close()[原始碼]

關閉並將本機日誌檔上傳到遠端儲存體 Wasb。

wasb_log_exists(remote_log_location)[原始碼]

檢查 remote_log_location 是否存在於遠端儲存體中。

參數

remote_log_location (str) – 日誌在遠端儲存體中的位置

傳回

如果位置存在則為 True，否則為 False

傳回類型

bool

wasb_read(remote_log_location, return_error=False)[原始碼]

傳回在 remote_log_location 找到的日誌。如果找不到日誌或發生錯誤，則傳回 ''。

參數

  • remote_log_location (str) – 日誌在遠端儲存體中的位置

  • return_error (bool) – 如果為 True，則在發生錯誤時傳回字串錯誤訊息。否則，在發生錯誤時傳回 ''。

wasb_write(log, remote_log_location, append=True)[原始碼]

將日誌寫入 remote_log_location。如果未建立 hook，則會靜默失敗。

參數

  • log (str) – 要寫入 remote_log_location 的日誌

  • remote_log_location (str) – 日誌在遠端儲存體中的位置

  • append (bool) – 如果為 False，則會覆寫任何現有的日誌檔。如果為 True，則新日誌會附加到任何現有的日誌。

此條目是否有幫助？