AirbyteTriggerSyncOperator¶
使用 AirbyteTriggerSyncOperator
來觸發現有的 Airbyte 連線 ID 同步任務。
警告
此操作器會在 Airbyte 中觸發同步任務。如果再次觸發,此操作器不保證冪等性。您務必注意您正在更新/同步的來源(資料庫、API 等)以及在 Airbyte 中執行操作的應用方法。
使用操作器¶
AirbyteTriggerSyncOperator 需要 `connection_id
,這是 Airbyte 中在來源和目的地同步任務之間建立的 uuid 識別符。使用 `airbyte_conn_id
參數來指定要用於連接到您帳戶的 Airbyte 連線。
Airbyte 為 Cloud 和 OSS 使用者提供單一的驗證方法。您需要提供 `client_id
和 `client_secret
以向 Airbyte 伺服器驗證身分。
您可以使用操作器以兩種方式在 Airflow 中觸發同步任務。第一種是同步程序。此操作器將啟動 Airbyte 任務,並且操作器管理任務狀態。另一種方法是使用標誌 `async = True
,這樣操作器僅觸發任務並返回 `job_id
,並將其傳遞給 AirbyteSensor。
使用同步方式的範例
sync_source_destination = AirbyteTriggerSyncOperator(
task_id="airbyte_sync_source_dest_example",
connection_id=CONN_ID,
)
使用非同步方式的範例
async_source_destination = AirbyteTriggerSyncOperator(
task_id="airbyte_async_source_dest_example",
connection_id=CONN_ID,
asynchronous=True,
)
airbyte_sensor = AirbyteJobSensor(
task_id="airbyte_sensor_source_dest_example",
airbyte_job_id=async_source_destination.output,
)