airflow.providers.apache.spark.hooks.spark_jdbc_script

模組內容

函數

set_common_options(spark_source[, url, jdbc_table, ...])

從 JDBC 連線取得 Spark 來源。

spark_write_to_jdbc(spark_session, url, user, ...])

將資料從 Spark 傳輸到 JDBC 來源。

spark_read_from_jdbc(spark_session, url, user, ...])

將資料從 JDBC 來源傳輸到 Spark。

屬性

SPARK_WRITE_TO_JDBC

SPARK_READ_FROM_JDBC

airflow.providers.apache.spark.hooks.spark_jdbc_script.SPARK_WRITE_TO_JDBC: str = 'spark_to_jdbc'[原始碼]
airflow.providers.apache.spark.hooks.spark_jdbc_script.SPARK_READ_FROM_JDBC: str = 'jdbc_to_spark'[原始碼]
airflow.providers.apache.spark.hooks.spark_jdbc_script.set_common_options(spark_source, url='localhost:5432', jdbc_table='default.default', user='root', password='root', driver='driver')[原始碼]

從 JDBC 連線取得 Spark 來源。

參數

  • spark_source (Any) – Spark 來源，此處為 Spark 讀取器或寫入器

  • url (str) – JDBC 資源 url

  • jdbc_table (str) – JDBC 資源表名稱

  • user (str) – JDBC 資源使用者名稱

  • password (str) – JDBC 資源密碼

  • driver (str) – JDBC 資源驅動程式

airflow.providers.apache.spark.hooks.spark_jdbc_script.spark_write_to_jdbc(spark_session, url, user, password, metastore_table, jdbc_table, driver, truncate, save_mode, batch_size, num_partitions, create_table_column_types)[原始碼]

將資料從 Spark 傳輸到 JDBC 來源。

airflow.providers.apache.spark.hooks.spark_jdbc_script.spark_read_from_jdbc(spark_session, url, user, password, metastore_table, jdbc_table, driver, save_mode, save_format, fetch_size, num_partitions, partition_column, lower_bound, upper_bound)[原始碼]

將資料從 JDBC 來源傳輸到 Spark。

這個條目是否有幫助？