airflow.providers.apache.hive.transfers.hive_to_mysql

此模組包含一個運算子，用於將資料從 Hive 移動到 MySQL。

模組內容

類別

HiveToMySqlOperator

將資料從 Hive 移動到 MySQL。
class airflow.providers.apache.hive.transfers.hive_to_mysql.HiveToMySqlOperator(*, sql, mysql_table, hiveserver2_conn_id='hiveserver2_default', mysql_conn_id='mysql_default', mysql_preoperator=None, mysql_postoperator=None, bulk_load=False, hive_conf=None, **kwargs)[source]

基底類別：airflow.models.BaseOperator

將資料從 Hive 移動到 MySQL。

請注意，目前資料在推送到 MySQL 之前會先載入到記憶體中，因此此運算子應適用於少量資料。

參數

  • sql (str) – 要對 Hive 伺服器執行的 SQL 查詢。（已範本化）

  • mysql_table (str) – 目標 MySQL 資料表，使用點符號來指定特定的資料庫。（已範本化）

  • mysql_conn_id (str) – 來源 mysql 連線

  • hiveserver2_conn_id (str) – 參考到 Hive Server2 thrift 服務連線 ID。

  • mysql_preoperator (str | None) – 在匯入之前要對 mysql 執行的 sql 陳述式，通常用於截斷或刪除即將匯入的資料，使任務具有冪等性（執行任務兩次不會重複載入資料）。（已範本化）

  • mysql_postoperator (str | None) – 在匯入之後要對 mysql 執行的 sql 陳述式，通常用於將資料從預備環境移動到生產環境並發出清除命令。（已範本化）

  • bulk_load (bool) – 使用 bulk_load 選項的旗標。這會使用 LOAD DATA LOCAL INFILE 命令直接從 Tab 字元分隔的文字檔載入 mysql。MySQL 伺服器必須支援透過此命令載入本機檔案（預設為停用）。

  • hive_conf (dict | None) –

template_fields: collections.abc.Sequence[str] = ('sql', 'mysql_table', 'mysql_preoperator', 'mysql_postoperator')[source]
template_ext: collections.abc.Sequence[str] = ('.sql',)[source]
template_fields_renderers[source]
ui_color = '#a0e08c'[source]
execute(context)[source]

在建立運算子時衍生。

Context 與呈現 jinja 範本時使用的字典相同。

請參考 get_template_context 以取得更多上下文資訊。

此條目是否有幫助？