Apache Hive 運算子¶

Apache Hive 資料倉儲軟體方便使用 SQL 讀取、寫入和管理儲存在分散式儲存系統中的大型資料集。結構可以投射到已儲存的資料上。

HiveOperator¶

此運算子在特定的 Hive 資料庫中執行 hql 程式碼或 Hive 腳本。

tests/system/apache/hive/example_twitter_dag.py[原始碼]

    load_to_hive = HiveOperator(
        task_id=f"load_{channel}_to_hive",
        hql=(
            f"LOAD DATA INPATH '{hdfs_dir}{channel}/{file_name}'"
            f"INTO TABLE {channel}"
            f"PARTITION(dt='{dt}')"
        ),
    )

參考¶

更多資訊請查看Apache Hive 文件。