組態參考¶
此頁面包含 apache-airflow-providers-elasticsearch 提供者可用的所有 Airflow 組態列表，這些組態可以在 airflow.cfg 檔案中設定，或使用環境變數設定。
注意
嵌入在提供者套件中的組態從 Airflow 2.7.0 開始使用。 以前，組態是在 Airflow 核心套件中描述和設定的 - 因此，如果您使用的 Airflow 版本低於 2.7.0，請查看 Airflow 文件以獲取 Airflow 核心中可用的組態選項列表。
注意
有關更多資訊，請參閱 設定組態選項。
[elasticsearch]¶
end_of_log_mark¶
版本 1.10.4 新增。
用於標記任務日誌流的結束
- 類型
字串
- 預設
end_of_log- 環境變數
AIRFLOW__ELASTICSEARCH__END_OF_LOG_MARK
frontend¶
版本 1.10.4 新增。
Elasticsearch 前端的完整 URL (例如 Kibana)，帶有 log_id 的範本參數。程式碼將使用上述參數中的 log_id 範本建構 log_id。注意：如果未提供 scheme，則預設為 https
- 類型
字串
- 預設
''- 環境變數
AIRFLOW__ELASTICSEARCH__FRONTEND- 範例
https://127.0.0.1:5601/app/kibana#/discover?_a=(columns:!(message),query:(language:kuery,query:'log_id: "{log_id}"'),sort:!(log.offset,asc))
host_field¶
版本 2.1.1 新增。
儲存主機名稱的欄位 (通常是 host 或 host.name)
- 類型
字串
- 預設
host- 環境變數
AIRFLOW__ELASTICSEARCH__HOST_FIELD
index_patterns¶
版本 2.6.0 新增。
搜尋日誌時要使用的索引模式的逗號分隔列表 (預設值：_all)。 index_patterns_callable 優先於此設定。
- 類型
字串
- 預設
_all- 環境變數
AIRFLOW__ELASTICSEARCH__INDEX_PATTERNS- 範例
something-*
index_patterns_callable¶
版本 5.5.0 新增。
表示 Python 可呼叫路徑完整路徑的字串，該路徑接受 TI 物件並傳回索引模式的逗號分隔列表。 這將優先於 index_patterns。
- 類型
字串
- 預設
''- 環境變數
AIRFLOW__ELASTICSEARCH__INDEX_PATTERNS_CALLABLE- 範例
module.callable
json_fields¶
版本 1.10.4 新增。
如果要啟用 JSON 輸出，也要附加到 JSON 輸出的日誌欄位
- 類型
字串
- 預設
asctime, filename, lineno, levelname, message- 環境變數
AIRFLOW__ELASTICSEARCH__JSON_FIELDS
json_format¶
版本 1.10.4 新增。
不使用預設的日誌格式器，而是將日誌行寫入為 JSON
- 類型
字串
- 預設
False- 環境變數
AIRFLOW__ELASTICSEARCH__JSON_FORMAT
log_id_template¶
版本 1.10.4 新增。
log_id 的格式，用於查詢給定任務的日誌
- 類型
字串
- 預設
{dag_id}-{task_id}-{run_id}-{map_index}-{try_number}- 環境變數
AIRFLOW__ELASTICSEARCH__LOG_ID_TEMPLATE
offset_field¶
版本 2.1.1 新增。
儲存偏移量的欄位 (通常是 offset 或 log.offset)
- 類型
字串
- 預設
offset- 環境變數
AIRFLOW__ELASTICSEARCH__OFFSET_FIELD
write_stdout¶
版本 1.10.4 新增。
將任務日誌寫入 worker 的 stdout，而不是預設檔案
- 類型
字串
- 預設
False- 環境變數
AIRFLOW__ELASTICSEARCH__WRITE_STDOUT