airflow.providers.apache.kafka.operators.produce

模組內容

類別

ProduceToTopicOperator

一個將訊息產生到 Kafka topic 的 operator。

函數

acked(err, msg)

屬性

local_logger

airflow.providers.apache.kafka.operators.produce.local_logger[原始碼]
airflow.providers.apache.kafka.operators.produce.acked(err, msg)[原始碼]
class airflow.providers.apache.kafka.operators.produce.ProduceToTopicOperator(topic, producer_function, kafka_config_id='kafka_default', producer_function_args=None, producer_function_kwargs=None, delivery_callback=None, synchronous=True, poll_timeout=0, **kwargs)[原始碼]

基底類別： airflow.models.BaseOperator

一個將訊息產生到 Kafka topic 的 operator。

註冊一個 producer 到 kafka topic 並發布訊息到日誌。

參數

  • kafka_config_id (str) – 要使用的連線物件，預設為 “kafka_default”

  • topic (str) – producer 應產生訊息的 topic，預設為 None

  • producer_function (str | Callable[Ellipsis, Any]) – 產生鍵/值對作為生產訊息的函數，預設為 None

  • producer_function_args (collections.abc.Sequence[Any] | None) – 要應用於 producer callable 的額外參數，預設為 None

  • producer_function_kwargs (dict[Any, Any] | None) – 要應用於 producer callable 的額外關鍵字參數，預設為 None

  • delivery_callback (str | None) – 在訊息傳遞（或失敗）後應用的 callback，預設為 None

  • synchronous (bool) – 寫入 kafka 是否應完全同步，預設為 True

  • poll_timeout (float) – 在生產到 kafka 後調用 poll 時應用的延遲時間，預設為 0

引發

AirflowException – _description_

參見

有關如何使用此 operator 的更多資訊，請查看指南： ProduceToTopicOperator

template_fields = ('topic', 'producer_function_args', 'producer_function_kwargs', 'kafka_config_id')[原始碼]
execute(context)[原始碼]

在建立 operator 時衍生。

Context 是與渲染 jinja 模板時使用的相同字典。

請參閱 get_template_context 以獲得更多 context。

這個條目有幫助嗎？