airflow.providers.databricks.sensors.databricks_partition¶
此模組包含 Databricks 感測器。
模組內容¶
類別¶
感測器，用於偵測 Databricks 中表格分割區的存在。 |
- class airflow.providers.databricks.sensors.databricks_partition.DatabricksPartitionSensor(*, databricks_conn_id=DatabricksSqlHook.default_conn_name, http_path=None, sql_warehouse_name=None, session_configuration=None, http_headers=None, catalog='', schema='default', table_name, partitions, partition_operator='=', handler=fetch_all_handler, client_parameters=None, **kwargs)[原始碼]¶
基底類別：
airflow.sensors.base.BaseSensorOperator感測器，用於偵測 Databricks 中表格分割區的存在。
- 參數
databricks_conn_id (str) – 參考 Databricks 連線 ID (已套用範本)，預設為 DatabricksSqlHook.default_conn_name。
sql_warehouse_name (str | None) – Databricks SQL 倉儲的選用名稱。如果未指定，則必須提供
http_path如下所述，預設為 Nonehttp_path (str | None) – 指定 Databricks SQL 倉儲或通用叢集的 HTTP 路徑的選用字串。如果未指定，則應在 Databricks 連線的額外參數中指定，或者必須指定
sql_warehouse_name。session_configuration – Spark 會議參數的選用字典。如果未指定，則可以在 Databricks 連線的額外參數中指定，預設為 None
http_headers (list[tuple[str, str]] | None) – 將在每個請求上設定為 HTTP 標頭的選用 (k, v) 配對列表。（已套用範本）。
catalog (str) – 要使用的選用初始目錄。需要 Databricks Runtime 9.0+ 版本（已套用範本），預設為 “”
schema (str) – 要使用的選用初始結構描述。需要 Databricks Runtime 9.0+ 版本（已套用範本），預設為 “default”
table_name (str) – 要檢查分割區的表格名稱。
partitions (dict) – 要檢查的分割區名稱。範例：{“date”: “2023-01-03”, “name”: [“abc”, “def”]}
partition_operator (str) – 分割區的選用比較運算子，例如 >=。
handler (Callable[[Any], Any]) – 用於 DbApiHook.run() 以傳回結果的處理常式，預設為 fetch_all_handler
client_parameters (dict[str, Any] | None) – Databricks SQL 連接器參數內部的其他參數。
- template_fields: collections.abc.Sequence[str] = ('databricks_conn_id', 'catalog', 'schema', 'table_name', 'partitions', 'http_headers')[原始碼]¶
- template_ext: collections.abc.Sequence[str] = ('.sql',)[原始碼]¶