airflow.providers.openlineage.utils.spark

模組內容

函式

inject_parent_job_information_into_spark_properties(...)

如果父層任務資訊尚不存在，則將其注入 Spark 屬性中。

屬性

日誌

airflow.providers.openlineage.utils.spark.log[source]
airflow.providers.openlineage.utils.spark.inject_parent_job_information_into_spark_properties(properties, context)[source]

如果父層任務資訊尚不存在，則將其注入 Spark 屬性中。

參數

properties: Spark 屬性。 context: 包含任務實例資訊的上下文。

回傳

如果適用，則回傳已注入 OpenLineage 父層任務資訊屬性的修改後 Spark 屬性。

這個條目對您有幫助嗎？