airflow.providers.apache.hdfs.log.hdfs_task_handler

模組內容

類別

HdfsTaskHandler

用於上傳和從 HDFS 讀取的日誌處理程序。
class airflow.providers.apache.hdfs.log.hdfs_task_handler.HdfsTaskHandler(base_log_folder, hdfs_log_folder, **kwargs)[source]

Bases: airflow.utils.log.file_task_handler.FileTaskHandler, airflow.utils.log.logging_mixin.LoggingMixin

用於上傳和從 HDFS 讀取的日誌處理程序。

hook()[source]

返回 WebHDFSHook。

set_context(ti)[source]

為 Airflow 任務處理程序提供 task_instance 上下文。

一般来说返回 None。但是如果 attr maintain_propagate 已设置为 propagate，则返回 sentinel MAINTAIN_PROPAGATE。这具有覆盖默认行为的效果，即每当调用 set_context 时，都将 propagate 设置为 False。在编写本文时，此功能仅在单元测试中使用。

參數

  • ti – 任務實例對象

  • identifier – 如果设置，则将后缀添加到日志文件。用于在任务或触发器运行以外的上下文中将异常消息中继到任务日志时使用

close()[source]

關閉本地日誌文件並上傳到 HDFS。

這個條目有幫助嗎？