Apache Kafka 連線

Apache Kafka 連線類型透過 confluent-kafka Python 套件設定與 Apache Kafka 的連線。

預設連線 ID

Kafka 鉤點和運算子預設使用 kafka_default,此連線非常精簡,不應假定其適用於最簡單的測試以外的用途。

設定連線

連線設定為提供給 extra 欄位的 json 可序列化字串。error_cb 參數可用於透過提供函數路徑來指定回呼函數。例如 "module.callback_func"。參數的完整列表在 Confluent Kafka python 函式庫中描述。

如果您是從 Airflow UI 定義 Airflow 連線,extra 欄位將重新命名為 Config Dict

大多數運算子和鉤點將檢查是否至少存在 bootstrap.servers 鍵,並且已將值設定為有效值。

此條目是否有幫助?