組態參考

此頁面包含 apache-airflow-providers-common-io 提供者的所有可用 Airflow 組態列表,這些組態可以在 airflow.cfg 檔案中設定或使用環境變數設定。

注意

嵌入在提供者套件中的組態從 Airflow 2.7.0 開始使用。先前,組態在 Airflow 核心套件中描述和設定 - 因此,如果您使用的 Airflow 版本低於 2.7.0,請查看 Airflow 文件,以取得 Airflow 核心中可用的組態選項列表。

注意

如需更多資訊,請參閱 設定組態選項

章節

[common.io]

通用 IO 組態章節

xcom_objectstorage_compression

1.3.0 版本新增。

將 XCom 儲存在物件儲存體時要使用的壓縮演算法。支援的演算法包括:snappy、zip、gzip、bz2 和 lzma。如果未指定,則不會使用壓縮。請注意,壓縮演算法必須在 Python 安裝中可用(例如 snappy 的 python-snappy)。Zip、gz、bz2 預設可用。

類型

字串

預設值

''

環境變數

AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_COMPRESSION

範例

gz

xcom_objectstorage_path

1.3.0 版本新增。

物件儲存體上位置的路徑,XCom 可以 URL 格式儲存在該位置。

類型

字串

預設值

''

環境變數

AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_PATH

範例

s3://conn_id@bucket/path

xcom_objectstorage_threshold

1.3.0 版本新增。

以位元組為單位的閾值,用於將 XCom 儲存在物件儲存體中。-1 表示始終儲存在資料庫中。0 表示始終儲存在物件儲存體中。任何正數表示如果值的大小大於閾值,則將其儲存在物件儲存體中。

類型

整數

預設值

-1

環境變數

AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_THRESHOLD

範例

1000000

此條目是否有幫助?