組態參考¶
此頁面包含 apache-airflow-providers-common-io
提供者的所有可用 Airflow 組態列表,這些組態可以在 airflow.cfg
檔案中設定或使用環境變數設定。
注意
嵌入在提供者套件中的組態從 Airflow 2.7.0 開始使用。先前,組態在 Airflow 核心套件中描述和設定 - 因此,如果您使用的 Airflow 版本低於 2.7.0,請查看 Airflow 文件,以取得 Airflow 核心中可用的組態選項列表。
注意
如需更多資訊,請參閱 設定組態選項。
章節
[common.io]¶
通用 IO 組態章節
xcom_objectstorage_compression¶
1.3.0 版本新增。
將 XCom 儲存在物件儲存體時要使用的壓縮演算法。支援的演算法包括:snappy、zip、gzip、bz2 和 lzma。如果未指定,則不會使用壓縮。請注意,壓縮演算法必須在 Python 安裝中可用(例如 snappy 的 python-snappy)。Zip、gz、bz2 預設可用。
- 類型
字串
- 預設值
''
- 環境變數
AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_COMPRESSION
- 範例
gz
xcom_objectstorage_path¶
1.3.0 版本新增。
物件儲存體上位置的路徑,XCom 可以 URL 格式儲存在該位置。
- 類型
字串
- 預設值
''
- 環境變數
AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_PATH
- 範例
s3://conn_id@bucket/path
xcom_objectstorage_threshold¶
1.3.0 版本新增。
以位元組為單位的閾值,用於將 XCom 儲存在物件儲存體中。-1 表示始終儲存在資料庫中。0 表示始終儲存在物件儲存體中。任何正數表示如果值的大小大於閾值,則將其儲存在物件儲存體中。
- 類型
整數
- 預設值
-1
- 環境變數
AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_THRESHOLD
- 範例
1000000