`airflow.providers.google.cloud.transfers.mysql_to_gcs`¶

MySQL to GCS 運算子。

模組內容¶

類別¶

MySQLToGCSOperator

以 JSON、CSV 或 Parquet 格式從 MySQL 複製資料到 Google Cloud Storage。

class airflow.providers.google.cloud.transfers.mysql_to_gcs.MySQLToGCSOperator(*, mysql_conn_id='mysql_default', ensure_utc=False, **kwargs)[原始碼]¶

基礎類別: airflow.providers.google.cloud.transfers.sql_to_gcs.BaseSQLToGCSOperator

以 JSON、CSV 或 Parquet 格式從 MySQL 複製資料到 Google Cloud Storage。

另請參閱

如需更多關於如何使用此運算子的資訊，請參閱指南： MySQLToGCSOperator

參數

mysql_conn_id – 參考 mysql 連線 ID。
ensure_utc – 確保 TIMESTAMP 欄位以 UTC 格式匯出。若設定為 False，TIMESTAMP 欄位將使用 MySQL 伺服器的預設時區匯出。

ui_color = '#a0e08c'[原始碼]¶

type_map[原始碼]¶

query()[原始碼]¶: 查詢 mysql 並傳回結果的游標。

field_to_bigquery(field)[原始碼]¶

將 DBAPI 欄位轉換為 BigQuery 綱要格式。

convert_type(value, schema_type, **kwargs)[原始碼]¶

從 MySQLdb 取得值並將其轉換為對 JSON/Google Cloud Storage/BigQuery 安全的值。

日期時間會轉換為 str(value) (datetime.isoformat(‘ ‘)) 字串。
時間會轉換為 str((datetime.min + value).time()) 字串。
小數會轉換為浮點數。
如果給定的 schema_type 為 DATE，日期會轉換為 ISO 格式字串，否則轉換為 datetime.isoformat(‘ ‘) 字串。
如果給定的 schema_type 為 INTEGER，二進制類型欄位會轉換為整數，否則以 base64 編碼。根據 BigQuery 文件： https://cloud.google.com/bigquery/data-types，匯入的 BYTES 資料必須以 base64 編碼

參數

value – MySQLdb 欄位值
schema_type (str) – BigQuery 資料類型

airflow.providers.google.cloud.transfers.mysql_to_gcs¶

模組內容¶

類別¶

`airflow.providers.google.cloud.transfers.mysql_to_gcs`¶