apache-airflow-providers-google

變更日誌

12.0.0

注意

此供應商版本僅適用於 Airflow 2.9+，如 Apache Airflow 供應商支援政策 中所述。

重大變更

警告

已從 Google 供應商套件中移除已棄用的類別、參數和功能。已導入以下重大變更

  • 運算子

    • 已移除 CreateDataPipelineOperator。請改用 DataflowCreatePipelineOperator。

    • 已移除 RunDataPipelineOperator。請改用 DataflowRunPipelineOperator。

    • 已移除 CreateDataPipelineOperator。請改用 DataflowCreatePipelineOperator。

    • 已移除 RunDataPipelineOperator。請改用 DataflowRunPipelineOperator。

  • Hook

    • 已移除 DataPipelineHook。請改用 DataflowHook。

    • 已移除 DataPipelineHook。請改用 DataflowHook。

  • Google 供應商 刪除 已棄用 即將到達 移除 日期 (2024年12月) (#45084)

功能

  • 新增 Google Vertex AI Feature Store - Feature View 同步 運算子、感測器 (#44891)

  • 導入 gcp 翻譯(V3)、翻譯 文件 供應商 (#44971)

  • 導入 翻譯 API v3 (進階) 模型 運算子。 (#44627)

  • 支援 Dataproc SQL 作業中的 多個 SQL 查詢 (#44890)

  • feat: 新增 對 BigQuery 建立表格 運算子的 OpenLineage 支援 (#44783)

  • feat: 新增 對 S3ToGCSOperator 的 OpenLineage 支援 (#44426)

  • feat: 在 DataprocSubmitJobOperator 中，自動將 OL 資訊注入到 Spark 作業中 (#44477)

  • 實作 AlloyDB 運算子：建立/更新/刪除 叢集 (#45027)

錯誤修正

  • 修正 MetastoreHivePartitionSensor 因重複別名而失敗的問題 (#45001)

  • 修正 InsertBigQueryOperator  的 OpenLineage 發射失敗的問題 (#44650)

  • BigQueryInsertJobOperator：記錄 暫時性錯誤，並在將任務標記為成功之前檢查作業狀態 (#44279)

  • 使 'CloudBatchSubmitJobOperator' 在作業失敗時失敗 (#44425)

雜項

  • 移除 對 AIRFLOW_V_2_9_PLUS 的參考 (#44987)

  • 在供應商中檢查 Airflow 版本的 一致方式 (#44686)

  • 修正 yoda 條件 (#44466)

  • feat: 新增 對 gcs 與 本機之間 傳輸運算子的 OpenLineage 支援 (#44417)

  • 將供應商中的 最低 Airflow 版本 提升至 Airflow 2.9.0 (#44956)

  • chore: 從 OpenLineage utils 中移除 已棄用的 bigquery 刻面 (#44838)

  • 實作 KubernetesInstallKueueOperator (#44568)

  • 修正 dataform 運算子的 文件 (#44729)

  • 棄用 VertexAI PaLM 文字 生成模型 (#44719)

  • 在文件中針對棄用顯示醒目警告 (#44479)

  • chore: 統一 gcs 路徑的處理方式 (#44410)

11.0.0

重大變更

警告

已從 Google 供應商套件中移除已棄用的類別、參數和功能。已導入以下重大變更

  • 運算子

    • 已移除 CreateAutoMLTextTrainingJobOperator。改用 SupervisedFineTuningTrainOperator。

    • 已移除 BigQueryExecuteQueryOperator。改用 BigQueryInsertJobOperator。

    • 已移除 BigQueryPatchDatasetOperator。改用 BigQueryUpdateDatasetOperator。

    • 已移除 DataflowCreateJavaJobOperator。改用 BeamRunJavaPipelineOperator。

    • 已移除 DataflowCreatePythonJobOperator。改用 BeamRunPythonPipelineOperator。

    • 已移除 DataprocSubmitPigJobOperator。改用 DataprocSubmitJobOperator。

    • 已移除 DataprocSubmitHiveJobOperator。改用 DataprocSubmitJobOperator。

    • 已移除 DataprocSubmitSparkSqlJobOperator。改用 DataprocSubmitJobOperator。

    • 已移除 DataprocSubmitSparkJobOperator。改用 DataprocSubmitJobOperator。

    • 已移除 DataprocSubmitHadoopJobOperator。改用 DataprocSubmitJobOperator。

    • 已移除 DataprocSubmitPySparkJobOperator。改用 DataprocSubmitJobOperator。

    • 已移除 GoogleAnalyticsListAccountsOperator。改用 GoogleAnalyticsAdminListAccountsOperator。

    • 已移除 GoogleAnalyticsGetAdsLinkOperator。改用 GoogleAnalyticsAdminGetGoogleAdsLinkOperator。

    • 已移除 GoogleAnalyticsRetrieveAdsLinksListOperator。改用 GoogleAnalyticsAdminListGoogleAdsLinksOperator。

    • 已移除 GoogleAnalyticsDataImportUploadOperator。改用 GoogleAnalyticsAdminCreateDataStreamOperator。

    • 已移除 GoogleAnalyticsDeletePreviousDataUploadsOperator。改用 GoogleAnalyticsAdminDeleteDataStreamOperator。

    • 已移除 GoogleAnalyticsModifyFileHeadersDataImportOperator。由於 Google Analytics API v3 已終止服務，此類別已不再實際使用，因此涵蓋的使用案例已不再相關

    • 已移除 GoogleCampaignManagerDeleteReportOperator.delegate_to。改用 GoogleCampaignManagerDeleteReportOperator.impersonation_chain。

    • 已移除 GoogleCampaignManagerDownloadReportOperator.delegate_to。改用 GoogleCampaignManagerDownloadReportOperator.impersonation_chain。

    • 已移除 GoogleCampaignManagerInsertReportOperator.delegate_to。改用 GoogleCampaignManagerInsertReportOperator.impersonation_chain。

    • 已移除 GoogleCampaignManagerRunReportOperator.delegate_to。改用 GoogleCampaignManagerRunReportOperator.impersonation_chain。

    • 已移除 GoogleCampaignManagerBatchInsertConversionsOperator.delegate_to。改用 GoogleCampaignManagerBatchInsertConversionsOperator.impersonation_chain。

    • 已移除 GoogleCampaignManagerBatchUpdateConversionsOperator.delegate_to。改用 GoogleCampaignManagerBatchUpdateConversionsOperator.impersonation_chain。

    • 已移除 GoogleDisplayVideo360CreateQueryOperator.delegate_to。改用 GoogleDisplayVideo360CreateQueryOperator.impersonation_chain。

    • 已移除 GoogleDisplayVideo360DeleteReportOperator.delegate_to。改用 GoogleDisplayVideo360DeleteReportOperator.impersonation_chain。

    • 已移除 GoogleDisplayVideo360DownloadReportV2Operator.delegate_to。改用 GoogleDisplayVideo360DownloadReportV2Operator.impersonation_chain。

    • 已移除 GoogleDisplayVideo360RunQueryOperator.delegate_to。改用 GoogleDisplayVideo360RunQueryOperator.impersonation_chain。

    • 已移除 GoogleDisplayVideo360DownloadLineItemsOperator.delegate_to。改用 GoogleDisplayVideo360DownloadLineItemsOperator.impersonation_chain。

    • 已移除 GoogleDisplayVideo360UploadLineItemsOperator.delegate_to。改用 GoogleDisplayVideo360UploadLineItemsOperator.impersonation_chain。

    • 已移除 GoogleDisplayVideo360CreateSDFDownloadTaskOperator.delegate_to。改用 GoogleDisplayVideo360CreateSDFDownloadTaskOperator.impersonation_chain。

    • 已移除 GoogleDisplayVideo360SDFtoGCSOperator.delegate_to。改用 GoogleDisplayVideo360SDFtoGCSOperator.impersonation_chain。

    • 已移除 GoogleSheetsCreateSpreadsheetOperator.delegate_to。改用 GoogleSheetsCreateSpreadsheetOperator.impersonation_chain。

    • 已移除 GCSToGoogleDriveOperator.delegate_to。改用 GCSToGoogleDriveOperator.impersonation_chain。

    • 已移除 GCSToGoogleSheetsOperator.delegate_to。改用 GCSToGoogleSheetsOperator.impersonation_chain。

    • 已移除 LocalFilesystemToGoogleDriveOperator.delegate_to。改用 LocalFilesystemToGoogleDriveOperator.impersonation_chain。

    • 已移除 SQLToGoogleSheetsOperator.delegate_to。改用 SQLToGoogleSheetsOperator.impersonation_chain。

    • 已移除 CreateBatchPredictionJobOperator.sync。此參數未實際使用

    • 已移除 CreateHyperparameterTuningJobOperator.sync。此參數未實際使用

    • 已移除 CustomTrainingJobBaseOperator.sync。此參數未實際使用

    • 已移除 GKEStartPodOperator.get_gke_config_file()。請改用 GKEStartPodOperator.fetch_cluster_info()。

  • 觸發器

    • 已移除 delegate_to 欄位在 GCSCheckBlobUpdateTimeTrigger.hook_params 參數中的支援

  • 感測器

    • 已移除 BigQueryTableExistenceAsyncSensor。改用 BigQueryTableExistenceSensor 並將 deferrable 屬性設定為 True。

    • 已移除 BigQueryTableExistencePartitionAsyncSensor。改用 BigQueryTablePartitionExistenceSensor 並將 deferrable 屬性設定為 True。

    • 已移除 CloudComposerEnvironmentSensor。改用 CloudComposerCreateEnvironmentOperator、CloudComposerUpdateEnvironmentOperator 或 CloudComposerDeleteEnvironmentOperator。

    • 已移除 GCSObjectExistenceAsyncSensor。改用 GCSObjectExistenceSensor 並將 deferrable 屬性設定為 True。

    • 已移除 GoogleCampaignManagerReportSensor.delegate_to。改用 GoogleCampaignManagerReportSensor.impersonation_chain。

    • 已移除 GoogleDisplayVideo360GetSDFDownloadOperationSensor.delegate_to。改用 GoogleDisplayVideo360GetSDFDownloadOperationSensor.impersonation_chain。

    • 已移除 GoogleDisplayVideo360RunQuerySensor.delegate_to。改用 GoogleDisplayVideo360RunQuerySensor.impersonation_chain。

    • 已移除 GoogleDriveFileExistenceSensor.delegate_to。改用 GoogleDriveFileExistenceSensor.impersonation_chain。

  • 連結

    • 已移除 BigQueryConsoleIndexableLink。此屬性已不再實際使用

    • 已移除 BigQueryConsoleLink。此屬性已不再實際使用

  • Hook

    • 已移除 GKEDeploymentHook。改用 GKEKubernetesHook。

    • 已移除 GKECustomResourceHook。改用 GKEKubernetesHook。

    • 已移除 GKEPodHook。改用 GKEKubernetesHook。

    • 已移除 GKEJobHook。改用 GKEKubernetesHook。

    • 已移除 GKEPodAsyncHook。改用 GKEKubernetesAsyncHook。

    • 已移除 SecretsManagerHook。改用 GoogleCloudSecretManagerHook。

    • 已移除 GoogleAnalyticsHook。由於 Google Analytics API v3 已終止服務，此類別已不再實際使用

    • 已移除 GoogleBaseHook.delegate_to。請改用 GoogleBaseHook.impersonation_chain。請注意，delegate_to 參數過去會在所有 Google Hook 中繼承，而從現在起，Google 供應商中的所有位置都已移除其支援

    • 已移除 GoogleDiscoveryApiHook.delegate_to。請改用 GoogleDiscoveryApiHook.impersonation_chain。

    • 已移除 GoogleCampaignManagerHook.delegate_to。請改用 GoogleCampaignManagerHook.impersonation_chain。

    • 已移除 GoogleDisplayVideo360Hook.delegate_to。請改用 GoogleDisplayVideo360Hook.impersonation_chain。

    • 已移除 GoogleSearchAdsHook.delegate_to。請改用 GoogleSearchAdsHook.impersonation_chain。

    • 已移除 GoogleCalendarHook.delegate_to。請改用 GoogleCalendarHook.impersonation_chain。

    • 已移除 GoogleDriveHook.delegate_to。請改用 GoogleDriveHook.impersonation_chain。

    • 已移除 GSheetsHook.delegate_to。請改用 GSheetsHook.impersonation_chain。

    • 已移除 BigQueryHook.credentials_path。此屬性已不再實際使用

    • 已移除 GKEHook.get_conn()。請改用 GKEHook.get_cluster_manager_client()。

    • 已移除 GKEHook.get_client()。請改用 GKEHook.get_cluster_manager_client()。

    • 已移除 BigQueryHook.patch_table()。請改用 BigQueryHook.update_table()。

    • 已移除 BigQueryHook.patch_dataset()。請改用 BigQueryHook.update_dataset()。

    • 已移除 BigQueryHook.get_dataset_tables_list()。請改用 BigQueryHook.get_dataset_tables()。

    • 已移除 BigQueryHook.run_table_delete()。請改用 BigQueryHook.delete_table()。

    • 已移除 BigQueryHook.get_tabledata()。請改用 BigQueryHook.list_rows()。

    • 已移除 BigQueryHook.cancel_query()。請改用 BigQueryHook.cancel_job()。

    • 已移除 BigQueryHook.run_with_configuration()。請改用 BigQueryHook.insert_job()。

    • 已移除 BigQueryHook.run_load()。請改用 BigQueryHook.insert_job()。

    • 已移除 BigQueryHook.run_copy()。請改用 BigQueryHook.insert_job()。

    • 已移除 BigQueryHook.run_extract()。請改用 BigQueryHook.insert_job()。

    • 已移除 BigQueryHook.run_query()。請改用 BigQueryHook.insert_job()。

    • 已移除 BigQueryHook.create_external_table()。請改用 BigQueryHook.create_empty_table()。

    • 已移除 BigQueryHook.get_service()。請改用 BigQueryHook.get_client()。

  • 後端

    • 已移除 CloudSecretManagerBackend.get_conn_uri()。請改用 CloudSecretManagerBackend.get_conn_value()。

  • 其他棄用

    • 已移除 BigQueryBaseCursor.create_empty_table()。請改用 BigQueryHook.create_empty_table()。

    • 已移除 BigQueryBaseCursor.create_empty_dataset()。請改用 BigQueryHook.create_empty_dataset()。

    • 已移除 BigQueryBaseCursor.get_dataset_tables()。請改用 BigQueryHook.get_dataset_tables()。

    • 已移除 BigQueryBaseCursor.delete_dataset()。請改用 BigQueryHook.delete_dataset()。

    • 已移除 BigQueryBaseCursor.create_external_table()。請改用 BigQueryHook.create_empty_table()。

    • 已移除 BigQueryBaseCursor.patch_table()。請改用 BigQueryHook.update_table()。

    • 已移除 BigQueryBaseCursor.insert_all()。請改用 BigQueryHook.insert_all()。

    • 已移除 BigQueryBaseCursor.update_dataset()。請改用 BigQueryHook.update_dataset()。

    • 已移除 BigQueryBaseCursor.patch_dataset()。請改用 BigQueryHook.update_dataset()。

    • 已移除 BigQueryBaseCursor.get_dataset_tables_list()。請改用 BigQueryHook.get_dataset_tables()。

    • 已移除 BigQueryBaseCursor.get_datasets_list()。請改用 BigQueryHook.get_datasets_list()。

    • 已移除 BigQueryBaseCursor.get_dataset()。請改用 BigQueryHook.get_dataset()。

    • 已移除 BigQueryBaseCursor.run_grant_dataset_view_access()。請改用 BigQueryHook.run_grant_dataset_view_access()。

    • 已移除 BigQueryBaseCursor.run_table_upsert()。請改用 BigQueryHook.run_table_upsert()。

    • 已移除 BigQueryBaseCursor.run_table_delete()。請改用 BigQueryHook.delete_table()。

    • 已移除 BigQueryBaseCursor.get_tabledata()。請改用 BigQueryHook.list_rows()。

    • 已移除 BigQueryBaseCursor.get_schema()。請改用 BigQueryHook.get_schema()。

    • 已移除 BigQueryBaseCursor.poll_job_complete()。請改用 BigQueryHook.poll_job_complete()。

    • 已移除 BigQueryBaseCursor.cancel_query()。請改用 BigQueryHook.cancel_job()。

    • 已移除 BigQueryBaseCursor.run_with_configuration()。請改用 BigQueryHook.insert_job()。

    • 已移除 BigQueryBaseCursor.run_load()。請改用 BigQueryHook.insert_job()。

    • 已移除 BigQueryBaseCursor.run_copy()。請改用 BigQueryHook.insert_job()。

    • 已移除 BigQueryBaseCursor.run_extract()。請改用 BigQueryHook.insert_job()。

    • 已移除 BigQueryBaseCursor.run_query()。請改用 BigQueryHook.insert_job()。

  • 從 Google 供應商中移除 已棄用的功能 (#43953)

功能

  • feat: 新增 對 BigQueryToBigQueryOperator 的 OpenLineage 支援 (#44214)

  • 導入 gcp 進階 API (V3) 翻譯 原生 資料集 運算子 (#44271)

  • 導入 新的 gcp TranslateText 和 TranslateTextBatch 運算子 (#43860)

  • 將 gcloud 命令新增至 DataprocCreateClusterOperator ，以便能夠在 GKE 叢集上建立 dataproc (#44185)

錯誤修正

  • 修正 'BigQueryAsyncHook.create_job_for_partition_get' 中不正確的查詢。 (#44225)

  • 修正 Dataplex 資料品質 部分更新 (#44262)

雜項

  • 將 'google-cloud-translate' 升級至 '3.16' (#44297)

  • 將 'google-cloud-datacatalog' 升級至 '3.23' (#44281)

  • 在整個程式碼庫中將 execution_date 重新命名為 logical_date (#43902)

10.26.0

功能

  • 為 CloudSQL 連線新增 IAM 資料庫 身份驗證的 支援 (#43631)

  • 為 'GCSToBigQueryOperator' 提供 'force_delete' 的選項 (#43785)

  • 統一 BigQuery 運算子之間的 reattach_states 參數邏輯 (#43259)

錯誤修正

  • 從 ListCustomTrainingJobOperator 的 template_fields 中移除 不存在的欄位  (#43924)

  • 修正 'UploadModelOperator' 中驗證 'parent_model' 參數的問題 (#43473)

雜項

  • 新增 DbApiHook、 PrestoHook 和 TrinoHook 的分號 剝離 支援 (#41916)

  • 移除 Google 供應商 中 Airflow 2.1 相容性 程式碼 (#43952)

  • 說明 如何 在 airflow virtualenv 中使用 uv 並 使其 運作 (#43604)

  • 將 python 運算子 移動 到 Standard 供應商 (#42081)

  • 更新 Google ADS 版本 (#43474)

10.25.0

功能特色

  • feat: 為 GCSHook 新增 Hook 層級 譜系 支援 (#42507)

  • feat: 用於 檢查 Dataform 動作 狀態 的 感應器 (#43055)

  • 為 Google Cloud Vertex AI Context Caching 建立 運算子 (#43008)

錯誤修正

  • 修正 過時的 CloudRunExecuteJobOperator 文件 (#43195)

  • 修正 TestTranslationLegacyModelPredictLink dataset_id 錯誤 (#42463)

其他

  • 為 在 dataproc 中 建立 批次 工作負載 新增 偵錯 日誌 (#43265)

  • 新增 plyvel 的 最低 版本 (#43129)

  • vertex ai 訓練 運算子： 將 display_name 新增 到 rendered 欄位 (#43028)

  • 使 google 供應商 pyarrow 相依性 明確化 (#42996)

  • 限制 looker-sdk 版本 24.18.0 和 microsoft-kiota-http 1.3.4 (#42954)

10.24.0

功能特色

  • 為 DataprocCreateClusterOperator 和 DataprocCreateBatchOperator 新增 'retry_if_resource_not_ready' 邏輯 (#42703)

錯誤修正

  • 在 Dataproc 無伺服器 批次 連結 啟動後 發布 （如果 已提供 batch_id） (#41153)

  • 修正在 PubsubPullTrigger 中使用 gcp_conn_id 的 PubSubAsyncHook (#42671)

  • 修正 PubSubPullSensor 傳回 一致的 回應 (#42080)

  • 從 分割 完整 BigQuery 表格名稱 時， 還原 從 表格名稱 中 排除 分割區 (#42541)

  • 修正 gcp 文字轉語音 uri 擷取 (#42309)

  • 在 ''GCSHook'' 中 重構 ''bucket.get_blob'' 呼叫 以 處理 不存在物件 的 驗證。 (#42474)

  • 錯誤修正/dataflow 工作 位置 傳遞 (#41887)

其他

  • 移除 airflow 2.8.0 及更高版本 中 任務 內容記錄 的 條件檢查 (#42764)

  • 將 資料集 相關的 python 變數名稱 重新命名 為 資產 (#41348)

  • 棄用 AutoMLBatchPredictOperator 並 重構 AutoMl 系統測試 (#42260)

10.23.0

功能特色

  • 新增 在 dataproc 叢集中 建立 Flink 工作的 能力 (#42342)

  • 新增 新的 Google Search 360 報表 運算子 (#42255)

  • 將 return_immediately 作為 引數 新增 到 PubSubPullSensor 類別 (#41842)

  • 在 'UploadModelOperator' 中 新增 parent_model 參數 (#42091)

  • 新增 DataflowStartYamlJobOperator (#41576)

  • 為 Google Vertex AI Rapid Evaluation API 新增 RunEvaluationOperator (#41940)

  • 為 Google Generative AI CountTokensAPI 新增 CountTokensOperator (#41908)

  • 新增 監督式 微調 訓練 運算子、 Hook、 測試、 文件 (#41807)

錯誤修正

  • 對 Vertex AI LLMops 管線 進行 微小修正， 以確保 成功 (#41997)

  • 從 BigQuery 表格名稱 中 排除 分割區 (#42130)

  • [修正 #41763]： 當 未指定 destination_path 或 具有 預設值 時， SFTPToGCSOperator 中 多餘的 正斜線 (#41928)

  • 修正 GKEJobTrigger 中的 poll_interval (#41712)

  • 更新 dataflow 工作 ID 擷取 的 模式 (#41794)

  • 強制執行 google 供應商 套件 的 EOL 棄用訊息 格式 (#41637)

  • 修正 KubernetesJobOperator 的 'do_xcom_push' 和 'get_logs' 功能 (#40814)

其他

  • 標記 VertexAI AutoMLText 棄用 (#42251)

  • 排除 google-cloud-spanner 3.49.0 (#42011)

  • 移除 已棄用的 Google analytics 運算子 的 系統測試 (#41946)

  • 更新 google-cloud-bigquery 套件 的 最低 版本 (#41882)

  • 取消固定 Google 供應商 的 google-cloud-bigquery 套件 版本 (#41839)

  • 從 已棄用的 DAG.following_schedule() 方法 移開 (#41773)

  • 從 供應商 移除 已棄用的 soft_fail (#41710)

  • 更新 google-ads 的版本 (#41638)

  • 移除 已棄用的 記錄處理常式 引數 filename_template (#41552)

主要

警告

先前的 Search Ads 360 Reporting API <https://developers.google.com/search-ads/v2/how-tos/reporting>（目前在 google-provider 中使用）已於 2024 年 6 月 30 日停用（詳情請參閱 <https://developers.google.com/search-ads/v2/migration>）。所有新的報表開發都應使用新的 Search Ads 360 Reporting API。目前，報表運算子、感應器和 Hook 由於停用而失敗。新的 API 不是舊 API 的替代品，它有不同的方法和端點。因此，為新的 API 實作了新的運算子。

10.22.0

注意

此供應商版本僅適用於 Airflow 2.8+，如 Apache Airflow 供應商支援政策中所述。

功能特色

  • 新增 'CloudRunServiceHook' 和 'CloudRunCreateServiceOperator' (#40008)

錯誤修正

  • 修正(providers/google)： 將 遺失的 sync_hook_class 新增 到 CloudDataTransferServiceAsyncHook (#41417)

其他

  • 將 供應商 中的 最低 Airflow 版本 升級 到 Airflow 2.8.0 (#41396)

  • 重構 'DataprocCreateBatchOperator' (#41527)

  • 升級 套件 gcloud-aio-auth>=5.2.0 (#41262)

10.21.1

錯誤修正

  • 修正 CloudSQL hook 的不必要匯入 (#41009)

  • 將 敏感資訊 移動 到 system test google_analytics_admin 的 密碼管理員 (#40951)

  • 修正 自訂 訓練 工作 運算子 以 接受 沒有 受管理模型 的 結果 (#40685)

  • 修正 BigQueryInsertJobOperator 中 reattach_state 參數 的 行為 (#40664)

  • 修正 CloudSQLDatabaseHook 暫存 檔案 處理 (#41092)

其他

  • 重構 dataproc 系統測試 (#40720)

  • openlineage: 將 OpenLineage 供應商 遷移 到 V2 facet。 (#39530)

  • 解決 CloudSQLDatabaseHook 棄用警告 (#40834)

  • 修正 BeamRunJavaPipelineOperator 在未設定 job_name 的情況下 失敗 (#40645)

10.21.0

注意

變更 修正 'GCSToGCSOperator' 移動 單一物件 的 行為差異 (#40162) 已還原，因為它結果破壞了太多現有的工作流程。GCSToGCSOperator 的行為已還原為先前的行為。

功能特色

  • 更新 Google Cloud Generative Model Hook/運算子 以 與 Vertex AI API 保持 對等性 (#40484)

  • DataflowStartFlexTemplateOperator。 在每個 檢查週期 檢查 Dataflow 工作類型。 (#40584)

  • 將 chunk_size 參數 新增 到 LocalFilesystemToGCSOperator (#40379)

  • 為 BigQueryCheckOperator 新增 查詢 參數 支援 (#40558)

  • 在 DataprocCreateBatchOperator 中 新增 dataproc 工作 的 連結 按鈕 (#40643)

錯誤修正

  • 還原 「修正 'GCSToGCSOperator' 移動 單一物件 的 行為差異 (#40162)」 (#40577)

  • 修正在 可延遲模式 下 BigQueryInsertJobOperator 的 傳回值 和 openlineage 擷取 (#40457)

  • 修正 GCP 可延遲運算子 的 OpenLineage 擷取 (#40521)

  • 修正在 CloudBatchSubmitJobOperator 中 尊重 project_id (#40560)

10.20.0

注意

GCSToGCSOperator 現在在移動或複製單一物件時，會保留巢狀資料夾結構，使其行為與多個物件的行為一致。如果此變更影響您的工作流程，您可能需要調整您的 source_object 參數，以包含直到包含單一檔案的資料夾的完整路徑，並明確指定 destination_object 以忽略巢狀資料夾。例如，如果您先前使用 source_object='folder/nested_folder/' 移動檔案 'folder/nested_folder/second_nested_folder/file'，您現在應該使用 source_object='folder/nested_folder/second_nested_folder/' 並指定 destination_object='folder/nested_folder/'。這會將檔案移動到 'folder/nested_folder/file'，而不是移動到 'folder/nested_folder/second_nested_folder/file' 的固定行為。

警告

上述變更已在 10.21.0 版本中還原。GCSToGCSOperator 的行為已還原為先前的行為。

功能特色

  • 將 generation_config 和 safety_settings 新增 到 google cloud 多模態 模型 運算子 (#40126)

  • 將 遺失的 location 參數 新增 到 'BigQueryUpdateTableSchemaOperator' (#40237)

  • 為 Google Cloud 運算子 新增 外部 IdP OIDC 權杖 擷取 支援。 (#39873)

  • 將 encryption_configuration 參數 新增 到 BigQuery 運算子 (#40063)

  • 將 預設 gcp_conn_id 新增 到 GoogleBaseAsyncHook (#40080)

  • 為 PubSubPublishMessageOperator GCP 運算子 新增 排序 金鑰 選項 (#39955)

  • 在 GCSHook 中 新增 從 GCS blob 取得 中繼資料 的方法 (#38398)

  • 將 視窗 參數 新增 到 AutoMLHook 中的 create_auto_ml_forecasting_training_job (#39767)

  • 實作 CloudComposerDAGRunSensor (#40088)

  • 實作 'CloudDataTransferServiceRunJobOperator' (#39154)

  • 擷取 中繼 日誌 async GKEStartPod   (#39348)

  • 在 google 供應商 套件 中 為 AzureBlobStorageToGCSOperator 新增 OpenLineage 支援 (#40290)

錯誤修正

  • 修正 hive_partition_sensor 系統測試 (#40023)

  • 修正 openai 1.32 破壞 openai 測試 (#40110)

  • 修正 google auth 的 mypy 版本 揭露的 憑證 初始化 (#40108)

  • 修正 DataflowHook 中 排除 雙引號 和 換行符號 的 正規表示式 (#39991)

  • 修正 BigQueryToPostgresOperator 的 replace 參數 (#40278)

  • 修正 'GCSToGCSOperator' 移動 單一物件 的 行為差異 (#40162)

其他

  • 重構 datapipeline 運算子 (#39716)

  • 更新 Python 3.12 的 pandas 最低需求 (#40272)

  • 使用 最低直接 相依性 解析 實作 每個供應商的 測試 (#39946)

  • openlineage: 在 個別程序 中 執行 擷取 和 訊息 傳送 (#40078)

  • 將 google-auth 的 最低版本 升級 到 2.29.0 (#40190)

  • 將 google-ads 版本 升級 為 預設使用 v17 (#40158)

  • google: 將 openlineage 匯入 移動 到 方法內部 (#40062)

  • 在 DataplexGetDataQualityScanResultOperator 中 新增 job_id 作為 template_field (#40041)

  • 為 所有位置 新增 httpx >= 0.25.0 的 相依性 (#40256)

10.19.0

注意

在 AutoML Natural Language、Tables、Vision 和 Video Intelligence 服務的舊版關閉後，數個 AutoML 運算子已停止支援。這包括 AutoMLDeployModelOperator、AutoMLTablesUpdateDatasetOperator、AutoMLTablesListTableSpecsOperator 和 AutoMLTablesListColumnSpecsOperator。請參閱運算子文件以了解可用的替代方案（如果有的話）。如需有關 AutoML 關閉的其他資訊，請參閱

功能特色

  • 在 GCP 基本 hook 中 引入 匿名 憑證 (#39695)

錯誤修正

  • 如果 parent_model 版本 字尾 傳遞 到 Vertex AI 運算子， 則移除 (#39640)

  • 修正 如果 位置 遺失， BigQueryCursor execute 方法 (#39659)

  • 修正在 PubSubPullSensor 的 可延遲模式 下的 acknowledged 功能 (#39711)

  • 將 AutoML 運算子 連結 重新導向 到 Google 翻譯 連結 (#39668)

  • 將 google-cloud-bigquery 釘選 到 < 3.21.0 (#39583)

其他

  • 移除 Google 和 Snowflake 供應商中 的 'openlineage.common' 相依性。 (#39614)

  • 棄用 AutoML Tables 運算子 (#39752)

  • 解決 Azure FileShare-to-GCS 測試 中的 棄用警告 (#39599)

  • typo: spec 中 錯誤的 OpenLineage facet 金鑰 (#39782)

  • 從 StackdriverTaskHandler 中 移除 過時的 程式碼 (#39744)

10.18.0

注意

此供應商版本僅適用於 Airflow 2.7+，如 Apache Airflow 供應商支援政策中所述。

功能特色

  • 為 google llm 運算子 新增 範本化 欄位 (#39174)

  • 新增 邏輯 以 在 deferrable=True 時處理 BigQueryInsertJobOperator 的 on_kill (#38912)

  • 建立 'CloudComposerRunAirflowCLICommandOperator' 運算子 (#38965)

  • Dataflow 感應器 的可延遲 模式 (#37693)

  • 自訂 訓練 工作 運算子 的可延遲 模式 (#38584)

  • 增強 CloudSQLExecuteQueryOperator 中的 SSL 支援 (#38894)

  • 建立 GKESuspendJobOperator 和 GKEResumeJobOperator 運算子 (#38677)

  • 為 Google Transfer Service 運算子 中的 aws 憑證 新增 role arn 支援 (#38911)

  • 將 encryption_configuration 參數 新增 到 BigQueryCheckOperator 和 BigQueryTableCheckOperator (#39432)

  • 將 'job_id' 參數 新增 到 'BigQueryGetDataOperator' (#39315)

錯誤修正

  • 修正 DataflowTemplatedJobStartOperator 和 DataflowStartFlexTemplateOperator 的可延遲模式 (#39018)

  • 修正 BigQueryToPostgresOperator 的 批次處理 (#39233)

  • 修正在 task 標記為失敗 時， deferrable mode=True 的 DataprocSubmitJobOperator (#39230)

  • 修正 GCSObjectExistenceSensor 運算子 以 在 可延遲和 非可延遲模式 下 傳回相同的 XCOM 值 (#39206)

  • 修正 conn_id BigQueryToMsSqlOperator (#39171)

  • 修正在 google auth 重新整理 憑證 錯誤 的情況下 新增 重試 邏輯 (#38961)

  • 修正在 可延遲模式 下 BigQueryCheckOperator 略過的值 和 錯誤檢查 (#38408)

  • 修正 在 GCSDeleteObjectsOperator 中 使用 前綴 而非 所有檔案路徑 作為 OpenLineage 資料集 (#39059)

  • 修正 在 GCSToGCSOperator 中 使用 前綴 而非 完整檔案路徑 作為 OpenLineage 資料集 (#39058)

  • 修正 GCSTimeSpanFileTransformOperator 中的 OpenLineage 資料集 (#39064)

  • 修正 'DataprocSubmitPySparkJobOperator' 中的 產生暫存檔名 (#39498)

  • 修正 邏輯，以在 TaskInstance 並非處於執行中或延遲狀態時，取消 DataprocSubmitJobOperator 的外部工作 (#39447)

  • 修正 邏輯，以在 TaskInstance 並非處於執行中或延遲狀態時，取消 BigQueryInsertJobOperator 的外部工作 (#39442)

  • 修正 邏輯，以在 TaskInstance 並非處於執行中或延遲狀態時，取消 DataprocCreateClusterOperator 的外部工作 (#39446)

  • 修正 'DataprocCreateBatchOperator' 搭配 'result_retry' 引發 'AttributeError' 的問題 (#39462)

  • 修正 GKEStartKueueInsideClusterOperator 的 yaml 解析 (#39234)

  • 修正 BigQueryInsertJobOperator 中 標籤 值的 驗證 (#39568)

雜項

  • 提升 providers 中的 最低 Airflow 版本 至 Airflow 2.7.0 (#39240)

  • 改善 'DataprocCreateClusterOperator' 觸發器，以實現更佳的錯誤處理和資源清理 (#39130)

  • 在 Microsoft Azure provider 中 新增 MSGraphOperator (#38111)

  • 在 Google provider 中 跨 provider 應用 PROVIDE_PROJECT_ID mypy 變通方案 (#39129)

  • 處理 KubernetesDeleteJobOperator 導入 (#39036)

  • 移除 Airflow 2.6 向後 相容 程式碼 (#39558)

  • 重新應用 所有 providers 的 範本 (#39554)

  • 更快地 導入 'airflow_version' (#39552)

  • 針對 已棄用的項目 新增 棄用 警告 並 引發 例外 (#38673)

  • 簡化 'airflow_version' 導入 (#39497)

  • 將 GKE 運算子 從 已棄用的 hooks 斷開連接 (#39434)

10.17.0

新功能

  • 新增 'impersonation_scopes' 至 BigQuery (#38169)

  • 新增 可延遲 模式 至 RunPipelineJobOperator (#37969)

  • 新增 GKECreateCustomResourceOperator 和 GKEDeleteCustomResourceOperator 運算子 (#37616)

  • 為 Google Cloud Generative AI 用途 新增 VertexAI Language Model 和 Multimodal Model 運算子 (#37721)

  • 新增 GKEListJobsOperator 和 GKEDescribeJobOperator (#37598)

  • 建立 GKEStartKueueJobOperator 運算子 (#37477)

  • 建立 DeleteKubernetesJobOperator 和 GKEDeleteJobOperator 運算子 (#37793)

  • 更新 GCS hook 以取得 CMEK 保護的物件 的 crc32c 雜湊值 (#38191)

  • 在 BigQuery 工作中 設定 工作 標籤 以實現可追蹤性 (#37736)

  • CreateBatchPredictionJobOperator 的 可延遲 模式 (#37818)

錯誤修正

  • 修正 BigQuery 連線 並 新增 文件 (#38430)

  • 修正(google,log): 避免 日誌 名稱 覆寫 (#38071)

  • 修正 S3ToGCSOperator 觸發器 的 憑證 錯誤 (#37518)

  • 修正 GCP Vertex AI AutoML 和 Custom Job 運算子 中的 'parent_model' 參數 (#38417)

  • 修正(google): 在 觸發器 的 while 迴圈中 ，為 yield 新增 return 語句 (#38394)

  • 修正 'PostgresToGCSOperator' 中 指標 唯一 名稱 超過 Postgres 識別碼 限制 的問題 (#38040)

  • 修正 gcs 匿名 使用者 問題，原因為 none 令牌 (#38102)

  • 修正 BigQueryTablePartitionExistenceTrigger 分割區 查詢 (#37655)

雜項

  • 將 google-cloud-bigquery 新增為 顯式的 google-provider 依賴項 (#38753)

  • 避免 在 'google' provider 的 類別 方法中 使用 'functools.lru_cache' (#38652)

  • 重構 GKE hooks (#38404)

  • 從 airflow 套件中 移除 未使用的 迴圈 變數 (#38308)

  • cloud_storage_transfer_service 的 範本化 欄位 邏輯 檢查 (#37519)

  • 重新命名 mlengine 的 運算子 的 欄位 名稱，以符合範本化欄位驗證 (#38053)

  • 重新命名 Vertex AI AutoML 運算子 的 欄位 名稱，以符合範本化欄位驗證 (#38049)

  • 重新命名 'DeleteCustomTrainingJobOperator' 的 欄位 名稱，以符合範本化欄位驗證 (#38048)

  • 還原 從 Google Cloud 檢索 Google Transfer Operators 的 delegate_to 功能 。 (#37925)

  • 重構 CreateHyperparameterTuningJobOperator (#37938)

  • 升級 google-ads 版本 (#37787)

10.16.0

新功能

  • 'CloudRunExecuteJobOperator': 將 project_id 新增至 hook.get_job 呼叫 (#37201)

  • 將 開發人員 令牌 新增為 GoogleAdsHook 的 身份驗證 方法 (#37417)

  • 新增 GKEStartKueueInsideClusterOperator (#37072)

  • 將 選用的 'location' 參數 新增至 BigQueryInsertJobTrigger (#37282)

  • 功能(GKEPodAsyncHook): 使用 非同步 憑證 令牌 實作 (#37486)

  • 建立 GKEStartJobOperator 和 KubernetesJobOperator (#36847)

錯誤修正

  • 修正 'DataFusionPipelineLinkHelper' 的 無效 棄用 (#37755)

  • 修正 'google/cloud/operators/compute.py' 的 範本化 欄位 賦值 (#37659)

  • 修正 bq_to_mysql 初始化 檢查 (#37653)

  • 修正 Async GCSObjectsWithPrefixExistenceSensor xcom push (#37634)

  • 修正 GCSSynchronizeBucketsOperator 超時 錯誤 (#37237)

  • 修正: insert_rows 的 簽名 與 超類型 DbApiHook 不相容 (#37391)

  • 在 _CredentialsToken 中 使用 無偏移的 datetime (#37539)

  • 在 DataprocInstantiateInlineWorkflowTemplateOperator 中 使用 wait_for_operation (#37145)

雜項

  • 修正 DataflowStartFlexTemplateOperator 文件 中的 錯字 (#37595)

  • 在 'DbApiHook.insert_rows' 中 將 'executemany' 設為 僅限關鍵字 引數 (#37840)

  • 統一 'aws_conn_id' 類型 始終為 'str | None' (#37768)

  • 將 'pandas' 限制為 '<2.2' (#37748)

  • 移除 Google provider 運算子 中 損壞的 已棄用 回退 (#37740)

  • 實作 AIP-60 資料集 URI 格式 (#37005)

  • 解析 'bigquery' 的 範本 欄位 初始化 檢查 (#37586)

  • 更新 DataprocCreateBatchOperator 的 文件 (#37562)

  • 在 providers 中 替換使用 'datetime.utcnow' 和 'datetime.utcfromtimestamp' 的用法 (#37138)

10.15.0

新功能

  • 為 GKEPodAsyncHook 新增 service_file 支援 (#37081)

  • 更新 GCP Dataproc ClusterGenerator 以支援 GPU 參數 (#37036)

  • 建立 DataprocStartClusterOperator 和 DataprocStopClusterOperator (#36996)

  • 為 CreateHyperparameterTuningJobOperator 實作 可延遲 模式 (#36594)

  • 為 GKEPodHook 啟用 '_enable_tcp_keepalive' 功能 (#36999)

錯誤修正

  • 修正(providers/google): 修正 GKEPodAsyncHook.service_file_as_context 的 使用方式 (#37306)

  • 修正 ComputeEngineSSHHook 的 元數據 覆寫 (#37192)

  • 修正 'custom_job' 中 '__init__' 的 範本 欄位 賦值 (#36789)

  • 修正 DataflowTemplatedJobStartOperator 中的 位置 要求 (#37069)

  • 修正 'CloudDataTransferServiceCreateJobOperator' 中 '__init__' 的 範本 欄位 賦值 (#36909)

  • 修正 GCP Data Fusion 連結 的 硬編碼 預設 命名空間 值。 (#35379)

  • 如果 在 Dataproc 叢集 組態中 將 internal_ip_only 設定為 false ，則 不要 忽略 internal_ip_only (#37014)

雜項

  • 還原 針對 google-core-api 的 向後相容性 問題 的 保護措施 (#37111)

  • 功能: 將 所有 類別、函數、方法 棄用 切換為 裝飾器 (#36876)

10.14.0

注意

在 BaseSQLToGCSOperator 中，parquet_row_group_size 的預設值已從 1 變更為 100000，目的是提供更好的壓縮效率和讀取輸出 Parquet 檔案中資料的效能的預設值。在許多情況下，先前的值 1 會導致非常大的檔案、長時間的任務持續時間和記憶體不足的問題。預設值 100000 可能需要更多記憶體才能執行運算子，在這種情況下，使用者可以覆寫運算子中的 parquet_row_group_size 參數。當 export_format 為 parquet 時，所有衍生自 BaseSQLToGCSOperator 的運算子都會受到影響：MySQLToGCSOperator、PrestoToGCSOperator、OracleToGCSOperator、TrinoToGCSOperator、MSSQLToGCSOperator 和 PostgresToGCSOperator。由於上述原因，我們將此變更視為錯誤修正。

新功能

  • 從 'BigQueryToPostgresOperator' 將 範本化 欄位 新增至 'BigQueryToSqlBaseOperator' (#36663)

  • 新增 取消 工作流程 調用的 檢查 ，並 新增 新的 查詢 工作流程 調用 運算子 (#36351)

  • 實作 Google Analytics Admin (GA4) 運算子 (#36276)

  • 新增 診斷 叢集的 運算子 (#36899)

  • 將 範圍 新增至 GCP 令牌 (#36974)

  • 功能: 完整支援 gcloud-aio 用戶端中的 google 憑證 (#36849)

錯誤修正

  • 修正 範本化 欄位 至 父類別 建構子 (#36934)

  • 修正: 在 GKEStartPodOperator 中 尊重 連線 ID 和 模擬 (#36861)

  • 修正 providers 中 warnings.warn 的 stacklevel (#36831)

  • 修正 GCP Dataproc 連結 中的 棄用 (#36834)

  • 修正 建構子中 範本化 欄位的 賦值 (#36603)

  • 在 延遲 Dataproc 運算子 觸發之前 檢查 叢集 狀態 (#36892)

  • 防止 運算子 __init__ 中的 範本化 欄位 邏輯 檢查 (#36489)

  • 直接透過 BigQuery 載入 API 保留 ASCII 控制字元 (#36533)

  • 變更 'BaseSQLToGCSOperator' 中的 預設 'parquet_row_group_size' (#36817)

  • 修正 google 運算子 處理 模擬 鏈的問題 (#36903)

雜項

  • 樣式(providers/google): 改善 BigQueryInsertJobOperator 類型 提示 (#36894)

  • 棄用 Vision 和 Video 的 AutoMLTrainModelOperator (#36473)

  • 移除 KubernetesPodOperator 模組 的 向後 相容性 檢查 (#36724)

  • 移除 KubernetesPodTrigger 模組 的 向後 相容性 檢查 (#36721)

  • 將 所有 providers 和 airflow 的 最低 pandas 依賴項 設定為 1.2.5 (#36698)

  • 移除 不必要的 範本化 欄位 (#36491)

  • 文件(providers/google): 在 docstring 中 將 GoogleBaseHookAsync 重寫為 GoogleBaseAsyncHook (#36946)

10.13.1

雜項

  • 移除 stackdriver 的 向後相容 程式碼 (#36442)

  • 移除 未使用的 '_parse_version' 函數 (#36450)

  • 從 GCS Task Handler 移除 剩餘的 Airflow 2.5 向後相容 程式碼 (#36443) (#36457)

10.13.0

注意

如Apache Airflow providers 支援政策中所述，此 provider 版本僅適用於 Airflow 2.6+。

新功能

  • GCP Secrets Backend 模擬 (#36072)

  • 將 OpenLineage 支援 新增至 GcsOperators - Delete、Transform 和 TimeSpanTransform (#35838)

  • 新增 透過 computeEngineSSHHook (google provider) 和 IAP tunnel 支援 服務帳戶 模擬 (#35136)

  • 新增 資料掃描 分析 (#35696)

  • 將 覆寫 新增至 Google Cloud Run Jobs Execute Operator 的 範本 欄位 (#36133)

  • 為 BeamRunJavaPipelineOperator 實作 可延遲 模式 (#36122)

  • 新增 在 不可延遲 模式下 為 BeamRunPythonPipelineOperator 執行 串流 Job 的能力 (#36108)

  • 將 use_glob 新增至 GCSObjectExistenceSensor (#34137)

錯誤修正

  • 修正 DataprocSubmitJobOperator 以檢索失敗的工作錯誤訊息 (#36053)

  • 修正 CloudRunExecuteJobOperator 無法在可延遲模式下檢索Cloud Run工作狀態 (#36012)

  • 修正 gcs 列表 - 確保 blobs 已載入 (#34919)

  • 允許 模擬 鏈中 有多個 元素 (#35694)

  • 將 Google Dataflow Client 的 重試 類型 變更為 非同步類型 (#36141)

  • DataprocCreateClusterOperator 運算子 文件的 小修正。 (#36322)

  • 修正(bigquery.py): 將 正確的 project_id 傳遞給 觸發器 (#35200)

  • 在 檢查 前綴之前 迭代 blobs (#36202)

  • 修正 與 google-cloud-monitoring 2.18.0 的不相容性 (#36200)

    • 更新 PubSubAsyncHook 中的 'retry' 參數 類型 (#36198)

雜項

  • 將 providers 中的 最低 Airflow 版本 提升至 Airflow 2.6.0 (#36017)

  • 棄用 'CloudComposerEnvironmentSensor' ，改用 具有 延遲 模式的 'CloudComposerCreateEnvironmentOperator' (#35775)

  • 在 子類別中 遵循 BaseHook 連線 欄位 方法 簽名 (#36086)

  • 允許 儲存選項 被傳遞 (#35820)

  • 新增 功能 以建置 "chicken-egg" 套件 從 來源 (#35890)

  • 移除 剩餘的 Airflow 2.5 回溯相容性 程式碼 從 Google Provider (#36366)

  • 移動 KubernetesPodTrigger hook 到 一個 快取屬性 (#36290)

  • 透過 Ruff 在 Docstring 中新增程式碼片段格式 (#36262)

10.12.0

功能特色

  • 新增 主題參數 針對 schema_settings 和 message_retention_duration。 (#35767)

  • 新增 OpenLineage 支援 至 GCSToBigQueryOperator (#35778)

  • 新增 OpenLineage 支援 至 BigQueryToGCSOperator (#35660)

  • 新增 支援 驅動程式集區、 執行個體彈性政策、 和 最小執行個體數 針對 Dataproc (#34172)

  • 新增 「不可搶佔」 作為 一個 有效的 可搶佔性類型 針對 Dataproc 工作站 (#35669)

  • 新增 能力 傳遞 模擬鏈 至 BigQuery 觸發器 (#35629)

  • 新增 一個篩選器 針對 GoogleDisplayVideo360CreateQueryOperator 中的本機檔案 (#35635)

  • 擴展 任務內容記錄支援 針對 使用 GCP GCS 的遠端記錄 (#32970)

錯誤修正

  • 修正 並重新套用 Provider 文件 的範本 (#35686)

  • 修正 檢查 Dataflow 工作狀態的邏輯 (#34785)

其他

  • 移除 BigQueryToBigQueryOperator 中已棄用方法的使用 (#35605)

  • 檢查父層而非自身的屬性，關於 TaskContextLogger set_context (#35780)

  • 移除 Provider 中與 Airflow 2.3/2.4 的回溯相容性 (#35727)

  • 在 GoogleDiscoveryApiHook 中還原 delegate_to 參數 (#35728)

  • 移除 BigQueryCursor 中已棄用方法的使用 (#35606)

  • 對齊 'MSSQLToGCSOperator' 的文件 (#35715)

10.11.1

其他

  • 將 Google Ads API 版本從 v14 更新至 v15 (#35295)

10.11.0

功能特色

  • AIP-58 ：新增 Airflow ObjectStore (AFS) (#34729)

  • 改進 Dataprep Hook (#34880)

其他

  • 在 CloudRunExecuteJobOperator 中新增 'overrides' 參數 (#34874)

10.10.1

其他

  • 新增 Google Cloud Storage 相關文件之間的連結 (#34994)

  • 將舊版 AI Platform Prediction 遷移至 VertexAI (#34922)

  • 在 DataprocInstantiate{Inline}WorkflowTemplateOperator 的 on_kill 中取消工作流程 (#34957)

10.10.0

注意

此 Provider 版本僅適用於 Airflow 2.5+，詳情請參閱 Apache Airflow Provider 支援政策。

功能特色

  • 改進：在 BigQueryIntervalCheckOperator 中引入 project_id (#34573)

錯誤修正

  • 當 Google 感測器引發例外時，採用 soft_fail 參數 (#34501)

  • 修正 GCSToGoogleDriveOperator 和 gdrive 系統測試 (#34545)

  • 修正 LookerHook 序列化遺失 1 個引數錯誤 (#34678)

  • 修正 Dataform 系統測試 (#34329)

其他

  • 提高 Provider 的最低 Airflow 版本 (#34728)

  • 重構 DataFusionInstanceLink 用法 (#34514)

  • 在 Google Provider 範例中使用 'airflow.models.dag.DAG' (#34614)

  • 棄用 Life Sciences Operator 和 Hook (#34549)

  • 在 Provider 中使用 'airflow.exceptions.AirflowException' (#34511)

10.9.0

功能特色

  • 為 CloudDataFusionStartPipelineOperator 新增串流 (即時) 管線的明確支援 (#34271)

  • 為 Dataflow Operator 新增 'expected_terminal_state' 參數 (#34217)

錯誤修正

  • 修正 'ComputeEngineInsertInstanceOperator' 在 body 參數中給定 Jinja 範本執行個體名稱時，未採用該名稱的問題 (#34171)

  • 修正： BigQuery 工作錯誤訊息 (#34208)

  • GKEPodHook 忽略 gcp_conn_id 參數。 (#34194)

其他

  • 提高 Google Provider 的最低 common-sql Provider 版本 (#34257)

  • 移除 對字典 keys() 方法的不必要呼叫 (#34260)

  • 重構：在 Provider 中正面思考 (#34279)

  • 重構：簡化 providers/google 中的程式碼 (#33229)

  • 重構：簡化比較 (#34181)

  • 棄用用於 NL 的 AutoMLTrainModelOperator (#34212)

  • 簡化為  bool(...) (#34258)

  • 使 Google Dataform Operator 的 templated_fields 更加一致 (#34187)

10.8.0

功能特色

  • 為 Dataplex DataQuality 新增可延遲模式。 (#33954)

  • 允許在 Google Cloud 連線中設定模擬鏈 (#33715)

錯誤修正

  • 修正 (providers/google-marketing-platform)：當引發例外時，採用 soft_fail 參數 (#34165)

  • 修正： endpoint_service.py 中的 Docstring (#34135)

  • 修正 BigQueryValueCheckOperator 可延遲模式最佳化 (#34018)

  • 動態設定 Datafusion 管線的成品版本 (#34068)

  • 如果 Dataproc 叢集在 ERROR 狀態下啟動，則提前刪除。 (#33668)

  • 使用 DataFusionAsyncHook 時，透過將 sleep 替換為 asyncio.sleep ，避免封鎖事件迴圈 (#33756)

其他

  • 整合 os.path.* 的匯入 (#34060)

  • 重構 Provider 中的 Regex (#33898)

  • 在 Google Provider 中可能的情況下，將 try 移至迴圈外部 (#33976)

  • 合併 Provider 中類似的 if 邏輯 (#33987)

  • 從 Provider 中移除無用的字串聯結 (#33968)

  • 更新 Azure 檔案共用 Hook 以使用 azure-storage-file-share 而非 azure-storage-file (#33904)

  • 重構 Provider 中不必要的跳躍 (#33833)

  • 在 Provider 中尋找正值時，將迴圈替換為 any (#33984)

  • 在 Provider 中，將 try - except pass 替換為 contextlib.suppress (#33980)

  • 從 Provider 程式碼中移除一些無用的 try/except (#33967)

  • 在 Airflow Provider 中，將序列串聯替換為解包 (#33933)

  • 從 'BigQueryHook.get_pandas_df' 中移除已棄用的選項 (#33819)

  • 在 Provider 中，將不必要的字典理解替換為 dict() (#33857)

  • 透過將 Google Provider 中的某些模組移至類型檢查區塊，改進模組匯入 (#33783)

  • 在 Provider 中，使用具有多個內容的單一陳述式，而非巢狀陳述式 (#33768)

  • 在 Provider 中，使用常值字典而非呼叫 dict() (#33761)

  • 在 Provider 中，移除不必要的程式碼並使用 list 重寫 (#33763)

  • 重構：簡化一些迴圈 (#33736)

  • E731 ：在 Airflow Provider 中，將 Lambda 替換為 def 方法 (#33757)

  • 在 Airflow Provider 中，使用 f-string 而非  (#33752)

10.7.0

功能特色

  • 新增 CloudRunHook 和 Operator (#33067)

  • 新增 'CloudBatchHook' 和 Operator (#32606)

  • 新增對 Google Cloud Data Pipelines Run Operator 的支援 (#32846)

  • 為 SFTPToGCSOperator 新增參數 sftp_prefetch (#33274)

  • 新增 Google Cloud Data Pipelines Create Operator (#32843)

  • 新增 Dataplex Data Quality Operator。 (#32256)

錯誤修正

  • 修正當使用非 CSV 格式時的 BigQueryCreateExternalTableOperator (#33540)

  • 修正 DataplexDataQualityJobStatusSensor 並新增單元測試 (#33440)

  • 避免在執行階段和模組層級匯入 pandas 和 numpy (#33483)

其他

  • 為 DataformCreateCompilationResultOperator 新增遺失的範本欄位 (#33585)

  • 整合 pandas 的匯入和用法 (#33480)

  • 從 datetime 匯入 utc 並正規化其匯入 (#33450)

10.6.0

功能特色

  • OpenLineage 、 BigQuery ：為 BigQueryExecuteQueryOperator 新增 OpenLineage 方法支援 (#31293)

  • 為 GCSToS3Operator 新增 GCS 請求者付費儲存桶支援 (#32760)

  • 為 CloudDataTransferServiceGCSToGCSOperator 新增系統測試和文件 (#32960)

  • 為 SQL Operator 新增一個新參數以指定連線 ID 欄位 (#30784)

錯誤修正

  • 修正 'DataFusionAsyncHook' 攔截 404 錯誤 (#32855)

  • 修正 MetastoreHivePartitionSensor 的系統測試 (#32861)

  • 修正攔截 409 錯誤 (#33173)

  • 使 'sql' 成為 'BigQueryInsertJobOperator' 中的快取屬性 (#33218)

其他

  • 重構 (providers.google)：針對 DATAPROC_JOB_LOG_LINK 至 DATAPROC_JOB_LINK 使用模組層級 __getattr__ ，並新增棄用警告 (#33189)

10.5.0

功能特色

  • OpenLineage 、 GCS ：為 GcsToGcsOperator 新增 OpenLineage 方法 (#31350)

  • 新增 Spot 執行個體支援 搭配 Dataproc Operator (#31644)

  • 將 sqlalchemy-spanner 套件安裝至 Google Provider (#31925)

  • 篩選和排序 DataprocListBatchesOperator 的結果 (#32500)

錯誤修正

  • 修正 BigQueryGetDataOperator 在可延遲模式下未採用 project_id 的問題 (#32488)

  • 重新整理 GKE OAuth2 權杖 (#32673)

  • 修正 'BigQueryInsertJobOperator' 未結束延遲狀態的問題 (#31591)

其他

  • 修正已棄用 DataprocSubmitSparkJobOperator 的 Docstring 並重構系統測試 (#32743)

  • 為 DbApiHook.run 方法新增更精確的類型標註 (#31846)

  • 為 Provider 模組和類別 Docstring 新增棄用資訊 (#32536)

  • 修正已棄用 DataprocSubmitHiveJobOperator 的 Docstring (#32723)

  • 修正已棄用 DataprocSubmitPigJobOperator 的 Docstring (#32739)

  • 修正 Datafusion 系統測試 (#32749)

10.4.0

功能特色

  • 為 S3ToGCSOperator 實作可延遲模式 (#29462)

錯誤修正

  • 錯誤修正：當複製檔案至沒有萬用字元的資料夾時的 GCSToGCSOperator (#32486)

  • 修正 'GCSHook'  中上傳功能的 'cache_control' 參數 (#32440)

  • 修正 BigQuery 傳輸 Operator 以採用 project_id 引數 (#32232)

  • 修正空清單上的 gcp_gcs_delete_objects (#32383)

  • 修正 cloud_build 中無窮迴圈的延遲 (#32387)

  • 修正沒有萬用字元且 exact_match=True 的 GCSToGCSOperator 複製 (#32376)

其他

  • 允許提供目的地資料夾 (#31885)

  • 將 'AzureBlobStorageToGCSOperator' 從 Azure 移至 Google Provider (#32306)

  • 在 BigQueryInsertJobOperator 中提供更好的工作組態文件連結 (#31736)

10.3.0

功能特色

  • 為 'KubernetesPodOperator' 新增 'on_finish_action' (#30718)

  • 為 CloudSQLExportInstanceOperator 新增可延遲模式 (#30852)

  • 將 'src_fmt_configs' 新增至範本欄位清單。 (#32097)

錯誤修正

  • [問題-32069] 修正批次請求中的名稱格式 (#32070)

  • 修正 'BigQueryInsertJobOperator'  在可延遲模式下的錯誤處理 (#32034)

  • 修正 'BigQueryConsoleLink' 中的 'BIGQUERY_JOB_DETAILS_LINK_FMT' (#31953)

  • 使 DataprocCreateBatchOperator 的可延遲版本能夠處理已存在的 batch_id (#32216)

其他

  • 將 Google Ads API 版本從 v13 切換至 v14 (#32028)

  • 棄用 GCS 中的 'delimiter' 參數和來源物件的萬用字元，引入 'match_glob' 參數。 (#31261)

  • 重構 GKECreateClusterOperator 的 body 驗證 (#31923)

  • 最佳化 'BigQueryValueCheckOperator' 的可延遲模式執行 (#31872)

  • 新增 default_deferrable 設定 (#31712)

10.2.0

注意

此版本已停止支援 Python 3.7

功能特色

  • 在迴圈中產生事件時，add a return 以stop the execution (#31985)

  • 新增 deferrable 模式至 PubsubPullSensor (#31284)

  • 新增 a new param 以在 'BaseSQLToGCSOperator' 中設定 parquet row group size (#31831)

  • 新增 'cacheControl' 欄位至 google cloud storage (#31338)

  • 新增 'preserveAsciiControlCharacters' 至 'src_fmt_configs' (#31643)

  • 新增 credential configuation file auth 的支援至 Google Secrets Manager secrets backend (#31597)

  • 新增 credential configuration file 支援至 Google Cloud Hook (#31548)

  • 新增 deferrable 模式至 'GCSUploadSessionCompleteSensor' (#31081)

  • 在 DataflowStartFlexTemplateOperator 中新增 append_job_name parameter (#31511)

  • FIPS 環境：將 md5 的使用標記為 "not-used-for-security" (#31171)

  • 實作 MetastoreHivePartitionSensor (#31016)

錯誤修正

  • Bigquery: 修正 already existing tables 和 datasets 的連結。 (#31589)

  • 為 TabularDataset 提供遺失的 project id 和 creds (#31991)

其他

  • 最佳化 'DataprocSubmitJobOperator' 的 deferrable 模式execution (#31317)

  • 最佳化 'BigQueryInsertJobOperator' 的 deferrable 模式execution (#31249)

  • 移除 yield from triggers class 後的 return statement (#31703)

  • 將 unicodecsv 替換為 standard csv library (#31693)

  • 最佳化 deferrable 模式 (#31758)

  • 移除 Python 3.7 支援 (#30963)

10.1.1

錯誤修正

  • 修正 through the private endpoint 在 'GKEStartPodOperator' 中存取 a GKE cluster 的問題 (#31391)

  • 修正 'BigQueryGetDataOperator' 的 query job bugs 在 deferrable 模式下的問題 (#31433)

10.1.0

注意

此供應商版本僅適用於 Airflow 2.4+，如 Apache Airflow 供應商支援政策中所述。

注意

此版本將預設的 Google Ads 更新為 v13。由於 v12 已被 Google 棄用且即將移除，我們不認為這是 Airflow 中的重大變更。

注意

此供應商版本升級了許多 Google 套件。請查看套件變更日誌

功能

  • 新增 deferrable 模式至 DataprocInstantiateInlineWorkflowTemplateOperator (#30878)

  • 新增 deferrable 模式至 'GCSObjectUpdateSensor' (#30579)

  • 新增 protocol 以定義 KubernetesPodOperator 所依賴的方法 (#31298)

  • 新增 BigQueryToPostgresOperator (#30658)

錯誤修正

  • 'DataflowTemplatedJobStartOperator' 修正 when a region is provided 時，以預設值覆寫 location 的問題。 (#31082)

  • Poke once before defer for GCSObjectsWithPrefixExistenceSensor (#30939)

  • 新增 deferrable 模式至 'GCSObjectsWithPrefixExistenceSensor' (#30618)

  • allow multiple prefixes in gcs delete/list hooks 和 operators (#30815)

  • 修正 deferrable GCS sensor 中已移除的 delegate_to parameter (#30810)

其他

  • 新增 'use_legacy_sql' param 至 'BigQueryGetDataOperator' (#31190)

  • 新增 'as_dict' param 至 'BigQueryGetDataOperator' (#30887)

  • 新增 flag apply_gcs_prefix 至 S3ToGCSOperator (b/245077385) (#31127)

  • 新增 'priority' parameter 至 BigQueryHook (#30655)

  • Bump providers 中的 minimum Airflow version (#30917)

  • 為 BigQueryCreateExternalTableOperator 實作 gcs_schema_object (#30961)

  • 最佳化 deferred execution 模式 (#30946)

  • 最佳化 deferrable 模式execution (#30920)

  • 最佳化 'GCSObjectExistenceSensor' 中的 deferrable 模式 (#30901)

  • 'CreateBatchPredictionJobOperator' 為 Vertex AI BatchPredictionJob objects 新增 batch_size param (#31118)

  • GKEPodHook 需要擁有 KPO calls 的所有方法 (#31266)

  • 新增 CloudBuild build id log (#30516)

  • 將預設的 Google ads 切換至 v13 (#31382)

  • 切換至 google ads v13 (#31369)

  • 更新 google provider package 的 SDKs (#30067)

10.0.0

重大變更

Google 已宣布 Campaign Manager 360 v3.5 將於 2023 年 4 月 20 日停止服務。如需更多資訊，請查看：https://developers.google.com/doubleclick-advertisers/deprecation 。因此，Campaign Manager 360 operator 的預設 API 版本已更新至最新的 v4 版本。

警告

在此供應商版本中，已棄用的 delegate_to 參數已從所有 GCP operators、hooks 和 triggers 中移除，以及從與 GCS 互動的 firestore 和 gsuite transfer operators 中移除。可以使用 impersonation_chain 參數來達成模擬身分。 delegate_to 參數仍僅適用於不與 Google Cloud 互動的 gsuite 和 marketing platform hooks 和 operators。

  • 從 GCP operators 和 hooks 中移除 delegate_to (#30748)

  • 更新 Google Campaign Manager360 operators 以使用 API v4 (#30598)

錯誤修正

  • 更新 DataprocCreateCluster operator 以正確地使用 'label' parameter (#30741)

其他

  • 在 BigQueryGetDataOperator 中新增遺失的 project_id (#30651)

  • Display Video 360 cleanup v1 API usage (#30577)

9.0.0

重大變更

Google 宣布 Bid manager API v1 和 v1.1 將於 2023 年 4 月 27 日停止服務，如需更多資訊，請查看：docs 因此，GoogleDisplayVideo360Hook 和相關 operators 中的 api_version 預設值已更新為 v2

此供應商版本包含針對 v11 版本 google-ads API 停止服務問題的臨時解決方案，同時 google 供應商的依賴性阻止安裝任何支援 v12 API 的 google-ads client。此版本包含僅支援 20.0.0 v12 版本的 vendored-in 版本 google-ads library。一旦供應商的依賴性允許使用支援較新 API 版本的 google-ads，此解決方案（和 vendored-in library）將會移除。

注意

僅支援 v12 版本的 google ads。當您建立 operator 或 client 時，應設定 v12。

  • 更新 DV360 operators 以使用 API v2 (#30326)

  • 修正 google ads vendored in library 中的 dynamic imports (#30544)

  • 修正 vendored-in google ads 所需的另一個 dynamic import (#30564)

功能

  • 新增 deferrable 模式至 GKEStartPodOperator (#29266)

錯誤修正

  • BigQueryHook list_rows/get_datasets_list 可以傳回 iterator (#30543)

  • 修正 cloud build async credentials (#30441)

8.12.0

功能

  • 在 Bigquery operator 中新增遺失的 'poll_interval' (#30132)

  • 在 BigQueryInsertJobOperator 中新增 poll_interval param (#30091)

  • 新增 'job_id' 至 'BigQueryToGCSOperator' templated_fields (#30006)

  • 支援 when using remote logging 時刪除 local log files (#29772)

錯誤修正

  • 修正 for gs to bq 和 bq to gs 設定 project_id 的問題 (#30053)

  • 修正 cloud build operators 上的 location (#29937)

  • 'GoogleDriveHook': 修正 log message + adding more verbose documentation (#29694)

  • 新增 MSSQLToGCSOperator 的 type_map 的 "BOOLEAN" ，修正 incorrect bit->int type conversion by specifying BIT fields explicitly (#29902)

  • Google Cloud Providers - 修正 _MethodDefault deepcopy failure (#29518)

  • 處理 async BigQuery dts trigger 上的 project location param (#29786)

  • 支援 CloudDataTransferServiceJobStatusSensor without specifying a project_id (#30035)

  • Wait insert_job result in normal mode (#29925)

其他

  • merge BigQueryTableExistenceAsyncSensor into BigQueryTableExistenceSensor (#30235)

  • Remove  google provider 中不必要的 upper constraints (#29915)

  • Merge BigQueryTableExistencePartitionAsyncSensor into BigQueryTableExistencePartitionSensor (#30231)

  • Merge GCSObjectExistenceAsyncSensor logic to GCSObjectExistenceSensor (#30014)

  • Align cncf provider file names with AIP-21 (#29905)

  • 切換至使用 vendored-in google ads。 (#30410)

  • Merging google ads vendored-in code。 (#30399)

8.11.0

功能

  • 新增 deferrable 模式至 BigQueryTablePartitionExistenceSensor。 (#29735)

  • 為 BigQuery operators 新增一個 new param 以支援 when resource exists 時的 additional actions (#29394)

  • 新增 deferrable 模式至 DataprocInstantiateWorkflowTemplateOperator (#28618)

  • Dataproc batches (#29136)

  • 新增 'CloudSQLCloneInstanceOperator' (#29726)

錯誤修正

  • 修正 'NoneType' object is not subscriptable 的問題。 (#29820)

  • 修正和擴充 'check-for-inclusive-language' CI check (#29549)

  • Don't push secret in XCOM in BigQueryCreateDataTransferOperator (#29348)

其他

  • Google Cloud Providers - Introduce GoogleCloudBaseOperator (#29680)

  • 更新 google cloud dlp package 並調整 hook 和 operators (#29234)

  • Refactor Dataproc Trigger (#29364)

  • Remove <2.0.0 limit on google-cloud-bigtable (#29644)

  • Move help message to the google auth code (#29888)

8.10.0

功能

  • 新增 defer 模式至 GKECreateClusterOperator 和 GKEDeleteClusterOperator (#28406)

錯誤修正

  • Move cloud_sql_binary_path from connection to Hook (#29499)

  • Check that cloud sql provider version is valid (#29497)

  • 'GoogleDriveHook': 為 upload_file 新增 folder_id param (#29477)

其他

  • 為 BigQuery transfer operators 新增文件 (#29466)

8.9.0

功能

  • 為現有的 ''DataprocDeleteClusterOperator'' 新增 deferrable capability (#29349)

  • 新增 deferrable 模式至 dataflow operators (#27776)

  • 新增 deferrable 模式至 DataprocCreateBatchOperator (#28457)

  • 新增 deferrable 模式至 DataprocCreateClusterOperator 和 DataprocUpdateClusterOperator (#28529)

  • 新增 deferrable 模式至 MLEngineStartTrainingJobOperator (#27405)

  • 新增 deferrable 模式至 DataFusionStartPipelineOperator (#28690)

  • 為 Big Query Transfer operator 新增 deferrable 模式 (#27833)

  • 在 BaseSQLToGCSOperator 中新增 write_on_empty 的支援 (#28959)

  • 新增 DataprocCancelOperationOperator (#28456)

  • Enable individual trigger logging (#27758)

  • Auto ML assets (#25466)

錯誤修正

  • 修正 upload v2 時，GoogleDriveHook 將檔案寫入 trashed folders 的問題 (#29119)

  • 修正 Google provider CHANGELOG.rst (#29122)

  • 修正 Google provider CHANGELOG.rst (#29114)

  • Keyfile dict can be dict not str (#29135)

  • GCSTaskHandler may use remote log conn id (#29117)

其他

  • Deprecate GCP operators 中的 'delegate_to' param 並更新文件 (#29088)

8.8.0

功能

  • 新增 deferrable ''GCSObjectExistenceSensorAsync'' (#28763)

  • 在 BaseSQLToGCSOperator 中支援 partition_columns (#28677)

錯誤修正

  • 'BigQueryCreateExternalTableOperator' 修正 field delimiter not working with csv 的問題 (#28856)

  • 修正 using private _get_credentials instead of public get_credentials 的問題 (#28588)

  • Fix'GoogleCampaignManagerReportSensor' with 'QUEUED' status (#28735)

  • 修正 BigQueryColumnCheckOperator runtime error (#28796)

  • assign "datasetReference" attribute to dataset_reference dict。 by default if not already set in create_empty_dataset method of bigquery hook (#28782)

8.7.0

功能

  • 為 BigQueryCreateEmptyTableOperator 的 template fields 新增 table_resource (#28235)

  • 在 GCSObjectExistenceSensor 中新增 retry param (#27943)

  • 新增 preserveAsciiControlCharacters 至 src_fmt_configs (#27679)

  • 新增 deferrable 模式至 CloudBuildCreateBuildOperator (#27783)

  • GCSToBigQueryOperator allows autodetect None 並推斷 schema (#28564)

  • 改善 Dataproc deferrable operators 中的 memory usage (#28117)

  • 在 dataproc submit job op 的 xcom 中Push job_id (#28639)

錯誤修正

  • 修正 GCSToBigQueryOperator 中讀取 JSON files 的 schema fields 的問題 (#28284)

  • 修正 GCSToBigQueryOperator not respecting schema_obj 的問題 (#28444)

  • 修正 GCSToGCSOperator copying list of objects without wildcard 的問題 (#28111)

  • Fix: re-enable use of parameters in gcs_to_bq which had been disabled (#27961)

  • 正確地在 job config 中設定 bigquery ''use_legacy_sql'' param (#28522)

其他

  • 移除 'pylint' messages control instructions (#28555)

  • 從 google/provider.yaml 移除已棄用的 AIPlatformConsoleLinkk (#28449)

  • 在 config template 的 config.yml 中使用 object instead of array (#28417)

  • [misc] Get rid of 'pass' statement in conditions (#27775)

  • Change log level to DEBUG when secret not found for google secret manager (#27856)

  • [misc] Replace providers 中的 XOR '^' conditions by 'exactly_one' helper (#27858)

8.6.0

功能

  • Persist DataprocLink for workflow operators regardless of job status (#26986)

  • BigQueryToGCSOperator 的 Deferrable 模式 (#27683)

  • 在 BigQueryToGCSOperator 的 Template Fields 中新增 Export Format (#27910)

錯誤修正

  • 修正在 BigQueryToBigQueryOperator 中正確讀取 location parameter 的問題 (#27661)

  • Bump common.sql provider to 1.3.1 (#27888)

8.5.0

注意

此供應商版本僅適用於 Airflow 2.3+，如 Apache Airflow 供應商支援政策中所述。

其他

  • Move min airflow version to 2.3.0 for all providers (#27196)

  • Rename  hook bigquery function '_bq_cast' to 'bq_cast' (#27543)

  • Use non-deprecated method for on_kill in BigQueryHook (#27547)

  • Typecast biquery job response col value (#27236)

  • Remove <2 limit on google-cloud-storage (#26922)

  • Replace urlparse with urlsplit (#27389)

功能

在環境變數或密鑰後端定義連線時，先前需要使用前綴 extra__google_cloud_platform__ 定義 extra 欄位。現在已不再需要這樣做。因此，舉例來說，您可以將 keyfile json 儲存為 keyfile_dict，而不是 extra__google_cloud_platform__keyfile_dict。如果兩者都存在，則將優先使用簡短名稱。

  • 新增 與 舊版 Apache Beam 的回溯相容性 (#27263)

  • 為 GCSToBigQueryOperator 新增 可延遲 模式 + 測試 (#27052)

  • 為 新方法中的 Vertex AI 運算子 新增 系統 測試 (#27053)

  • Dataform 運算子、 連結、 更新 系統 測試 和 文件 (#27144)

  • 允許 WorkflowsCreateExecutionOperator 執行 引數中的 值 為 字典 (#27361)

  • DataflowStopJobOperator 運算子 (#27033)

  • 允許 覆寫 Postgres 中 json/jsonb 欄位 資料類型 的 stringify_dict #26875 (#26876)

  • 允許 並 優先使用 dataprep hook 的 非前綴 extra 欄位 (#27039)

  • 更新 google hooks 以 優先使用 非前綴 extra 欄位 (#27023)

錯誤修正

  • 新增 新的 Compute Engine 運算子 並 修正 系統 測試 (#25608)

  • 常見 sql 錯誤修正 與 改進 (#26761)

  • 修正 Dataproc CreateBatch 運算子 中的 延遲 (#26126)

  • 移除 簽章中 單一 引數 周圍 不必要的 換行符號 (#27525)

  • 在 取消 BigQuery 作業時 設定 project_id 和 location (#27521)

  • 使用 正確的 key 來 檢索 dataflow job_id (#27336)

  • 使 GSheetsHook 在 沒有值時 傳回 空 列表 (#27261)

  • Cloud ML Engine 運算子 資產 (#26836)

8.4.0

功能

  • 新增 BigQuery 欄位 和 表格 檢查 運算子 (#26368)

  • 新增 可延遲的 big query 運算子 和 感測器 (#26156)

  • 為 MappedOperator 新增 'output' 屬性 (#25604)

  • 為 DataflowTemplatedJobStartOperator 新增了 append_job_name 參數 (#25746)

  • 在 GoogleDriveHook 中 新增 排除 已刪除檔案 的 參數 (#25675)

  • Cloud Data Loss Prevention 運算子 資產 (#26618)

  • Cloud Storage Transfer 運算子 資產 & 系統 測試 遷移 (AIP-47) (#26072)

  • 合併 可延遲的 BigQuery 運算子 到 現有的 運算子 (#26433)

  • 在 delete/create 叢集中 呼叫 wait_for_operation 時 指定 project id (#26418)

  • 在 Web UI 中 自動 追蹤 檔案 記錄檔 (#26169)

  • Cloud Functions 運算子 資產 & 系統 測試 遷移 (AIP-47) (#26073)

  • GCSToBigQueryOperator 解決 'max_id_key' job 檢索 和 xcom 傳回 (#26285)

  • 允許 覆寫 BaseSQLToGCSOperator 上 json 匯出 格式 的 'stringify_dict' (#26277)

  • 在 連結類別中 附加 GoogleLink base (#26057)

  • Cloud Video Intelligence 運算子 資產 & 系統 測試 遷移 (AIP-47) (#26132)

  • Life Science 資產 & 系統 測試 遷移 (AIP-47) (#25548)

  • GCSToBigQueryOperator 允許 在 替代 GCS 儲存桶中 使用 schema_object (#26190)

  • 在 可延遲模式中 為 Composer 運算子 使用 AsyncClient (#25951)

  • 使用 project_id 來 取得 已驗證的 用戶端 (#25984)

  • Cloud Build 資產 & 系統 測試 遷移 (AIP-47) (#25895)

  • Dataproc 提交 job 運算子 非同步 (#25302)

  • 在 BigQueryGetDataOperator 中 支援 project_id 引數 (#25782)

錯誤修正

  • 修正 Datafusion 運算子 中的 JSONDecodeError (#26202)

  • 修正 CreateWorkflowInvocation 中 永不結束的 迴圈 (#25737)

  • 更新 gcs.py (#26570)

  • 當 BQ cusor 作業 沒有 schema 時，不要 擲出 例外 (#26096)

  • Google Cloud Tasks 感測器 用於 佇列 為空 的情況 (#25622)

  • 修正 傳輸 組態 名稱。 (#25719)

  • 修正 BigQuery 結果 Schema 中 選用 'mode' 欄位 的 剖析 (#26786)

  • 修正 GCSToBigQueryOperator 的 MaxID 邏輯 (#26768)

其他

  • Sql to GSC 運算子 更新 parquet 格式 的文件 (#25878)

  • 限制 Google Protobuf 以 相容於 biggtable 用戶端 (#25886)

  • 使 GoogleBaseHook 憑證 函式 公開 (#25785)

  • 合併 為 單一 'schedule' 參數 (#25410)

8.3.0

功能

  • 在 BigQueryCursor 類別中 新增 description 方法 (#25366)

  • 在 兩個 BQ 運算子中 新增 project_id 作為 範本化 變數 (#24768)

  • 移除 Amazon 供應商中 已棄用的 模組 (#25543)

  • 將 所有 "舊" SQL 運算子 移至 common.sql 供應商 (#25350)

  • 使用 ParamSpec 改進 taskflow 類型 提示 (#25173)

  • 使用 覆寫它的 方法 統一 DbApiHook.run() 方法 (#23971)

  • 為 ParamSpec 提升 typing-extensions 和 mypy (#25088)

  • 棄用 hql 參數 並 同步 DBApiHook 方法 API (#25299)

  • Dataform 運算子 (#25587)

錯誤修正

  • 修正 GCSListObjectsOperator 文件字串 (#25614)

  • 修正 BigQueryInsertJobOperator cancel_on_kill (#25342)

  • 修正 BaseSQLToGCSOperator approx_max_file_size_bytes (#25469)

  • 修正 PostgresToGCSOperat bool dtype (#25475)

  • 修正 Vertex AI Custom Job 訓練 問題 (#25367)

  • 修正 Flask 2.2 和 Flask-Login 0.6.2 的 Flask Login 使用者 設定 (#25318)

8.2.0

功能

  • PubSub 資產 & 系統 測試 遷移 (AIP-47) (#24867)

  • 新增 Dataproc 批次處理 現有 狀態 的 處理 (#24924)

  • 為 Google Kubernetes Engine 運算子 新增 連結 (#24786)

  • 為 'GoogleBaseHook' 新增 test_connection 方法 (#24682)

  • 為 GoogleDriveToLocalOperator 新增 gcp_conn_id 引數 (#24622)

  • 為 AutoML 中的 column_transformations 參數 新增 DeprecationWarning (#24467)

  • 修改 BigQueryCreateExternalTableOperator 以 使用 更新的 hook 函式 (#24363)

  • 將 所有 SQL 類別 移至 common-sql 供應商 (#24836)

  • Datacatalog 資產 & 系統 測試 遷移 (AIP-47) (#24600)

  • 升級 FAB 至 4.1.1 (#24399)

錯誤修正

  • GCSDeleteObjectsOperator 空 前綴 錯誤 修正 (#24353)

  • perf(BigQuery): 將 table_id 作為 str 類型 傳遞 (#23141)

  • 更新 供應商 以 使用 functools compat 作為 ''cached_property'' (#24582)

8.1.0

功能

  • 將 Oracle 程式庫 更新至 最新版本 (#24311)

  • 公開 SQL to GCS Metadata (#24382)

錯誤修正

  • 修正 google 供應商 其他 extras 中的 錯字 (#24431)

  • 在 BigQueryToGCPOpertor 中使用 insert_job 並 調整 連結 (#24416)

8.0.0

重大變更

注意

此供應商版本僅適用於 Airflow 2.2+，如 Apache Airflow 供應商支援政策中所述。

功能

  • 新增 key_secret_project_id 參數， 用於 指定 具有 KeyFile 的 專案 (#23930)

  • 為 DataflowStartFlexTemplateOperator 和 DataflowStartSqlJobOperator 新增了 impersonation_chain (#24046)

  • 將 欄位 新增至 CLOUD_SQL_EXPORT_VALIDATION。 (#23724)

  • 在使用 Compute Engine 中的 ADC 時 更新 憑證 (#23773)

  • 在 cloud_sql.py 中 為 運算子 設定 顏色 (#24000)

  • 具有 排除 欄位的 Sql to gcs (#23695)

  • [Issue#22846] 允許 在 從 Cassandra 上傳到 GCS 時 選擇 是否 編碼 UUID (#23766)

  • Workflows 資產 & 系統 測試 遷移 (AIP-47) (#24105)

  • Spanner 資產 & 系統 測試 遷移 (AIP-47) (#23957)

  • Speech To Text 資產 & 系統 測試 遷移 (AIP-47) (#23643)

  • Cloud SQL 資產 & 系統 測試 遷移 (AIP-47) (#23583)

  • Cloud Storage 資產 & StorageLink 更新 (#23865)

錯誤修正

  • 修正 BigQueryInsertJobOperator (#24165)

  • 修正 google workplace 的 連結 (#24080)

  • 修正 DataprocJobBaseOperator 與 點狀名稱 不相容的問題 (#23439). (#23791)

  • 從 BigQuery DTS hook 中 移除 hack (#23887)

  • 修正 GCSToGCSOperator 無法 複製 單一 檔案/資料夾， 而不複製 具有該 前綴的其他 檔案/資料夾 (#24039)

  • 解決 biguery 到 gcs 傳輸 的 作業競爭 錯誤 (#24330)

其他

  • 修正 BigQuery 系統 測試 (#24013)

  • 確保 @contextmanager 裝飾器 裝飾 產生器 函式 (#23103)

  • 將 Dataproc 遷移到 新的 系統 測試 設計 (#22777)

  • AIP-47 - 將 google leveldb DAG 遷移到 新設計 ##22447 (#24233)

  • 將 每次執行的 記錄範本 套用至 記錄處理常式 (#24153)

7.0.0

重大變更

  • 從 PubSub 運算子中 移除 已棄用的 參數： (#23261)

  • 升級 以 支援 Google Ads v10 (#22965)

  • 'DataprocJobBaseOperator' 變更 (#23350)

    • 'DataprocJobBaseOperator': 參數順序已變更。

    • 'region' 參數 沒有 預設值， 影響的函式/類別： 'DataprocHook.cancel_job' 'DataprocCreateClusterOperator' 'DataprocJobBaseOperator'

  • 'DatastoreHook': 移除 'datastore_conn_id'。 請使用 'gcp_conn_id' (#23323)

  • 'CloudBuildCreateBuildOperator': 移除 'body'。 請使用 'build' (#23263)

  • 複本叢集 id 移除 (#23251)

    • 'BigtableCreateInstanceOperator' 移除 'replica_cluster_id'、 'replica_cluster_zone'。 請使用 'replica_clusters'

    • 'BigtableHook.create_instance': 移除 'replica_cluster_id'、 'replica_cluster_zone'。 請使用 'replica_clusters'

  • 移除 參數 (#23230)

    • 'GoogleDisplayVideo360CreateReportOperator': 移除 'params'。 請使用 'parameters'

    • 'FacebookAdsReportToGcsOperator': 移除 'params'。 請使用 'parameters'

  • 'GoogleDriveToGCSOperator': 移除 'destination_bucket' 和 'destination_object'。 請使用 'bucket_name' 和 'object_name' (#23072)

  • 'GCSObjectsWtihPrefixExistenceSensor' 已移除。 請使用 'GCSObjectsWithPrefixExistenceSensor' (#23050)

  • 移除 'project': (#23231)

    • 'PubSubCreateTopicOperator': 移除 'project'。 請使用 'project_id'

    • 'PubSubCreateSubscriptionOperator': 移除 'topic_project'。 請使用 'project_id'

    • 'PubSubCreateSubscriptionOperator': 移除 'subscription_project'。 請使用 'subscription_project_id'

    • 'PubSubDeleteTopicOperator': 移除 'project'。 請使用 'project_id'

    • 'PubSubDeleteSubscriptionOperator': 移除 'project'。 請使用 'project_id'

    • 'PubSubPublishMessageOperator': 移除 'project'。 請使用 'project_id'

    • 'PubSubPullSensor': 移除 'project'。 請使用 'project_id'

    • 'PubSubPullSensor': 移除 'return_immediately'

  • 移除 'location' - 已替換為 'region' (#23250)

    • 'DataprocJobSensor': 移除 'location'。 請使用 'region'

    • 'DataprocCreateWorkflowTemplateOperator': 移除 'location'。 請使用 'region'

    • 'DataprocCreateClusterOperator': 移除 'location'。 請使用 'region'

    • 'DataprocSubmitJobOperator': 移除 'location'。 請使用 'region'

    • 'DataprocHook': 移除 'location' 參數。 請使用 'region'

    • 受影響的函式為：

      • 'cancel_job'

      • 'create_workflow_template'

      • 'get_batch_client'

      • 'get_cluster_client'

      • 'get_job'

      • 'get_job_client'

      • 'get_template_client'

      • 'instantiate_inline_workflow_template'

      • 'instantiate_workflow_template'

      • 'submit_job'

      • 'update_cluster'

      • 'wait_for_job'

    • 'DataprocHook': 'wait_for_job' 函式中的 參數順序已變更

    • 'DataprocSubmitJobOperator': 參數順序已變更。

  • 移除 xcom_push (#23252)

    • 'CloudDatastoreImportEntitiesOperator': 移除 'xcom_push'。 請使用 'BaseOperator.do_xcom_push'

    • 'CloudDatastoreExportEntitiesOperator': 移除 'xcom_push'。 請使用 'BaseOperator.do_xcom_push'

  • 'bigquery_conn_id' 和 'google_cloud_storage_conn_id' 已移除。 請使用 'gcp_conn_id' (#23326).

    • 受影響的類別：

      • 'BigQueryCheckOperator'

      • 'BigQueryCreateEmptyDatasetOperator'

      • 'BigQueryDeleteDatasetOperator'

      • 'BigQueryDeleteTableOperator'

      • 'BigQueryExecuteQueryOperator'

      • 'BigQueryGetDataOperator'

      • 'BigQueryHook'

      • 'BigQueryIntervalCheckOperator'

      • 'BigQueryTableExistenceSensor'

      • 'BigQueryTablePartitionExistenceSensor'

      • 'BigQueryToBigQueryOperator'

      • 'BigQueryToGCSOperator'

      • 'BigQueryUpdateTableSchemaOperator'

      • 'BigQueryUpsertTableOperator'

      • 'BigQueryValueCheckOperator'

      • 'GCSToBigQueryOperator'

      • 'ADLSToGCSOperator'

      • 'BaseSQLToGCSOperator'

      • 'CassandraToGCSOperator'

      • 'GCSBucketCreateAclEntryOperator'

      • 'GCSCreateBucketOperator'

      • 'GCSDeleteObjectsOperator'

      • 'GCSHook'

      • 'GCSListObjectsOperator'

      • 'GCSObjectCreateAclEntryOperator'

      • 'GCSToBigQueryOperator'

      • 'GCSToGCSOperator'

      • 'GCSToLocalFilesystemOperator'

      • 'LocalFilesystemToGCSOperator'

  • 'S3ToGCSOperator': 移除 'dest_gcs_conn_id'。 請使用 'gcp_conn_id' (#23348)

  • 'BigQueryHook' 變更 (#23269)

    • 'BigQueryHook.create_empty_table' 移除 'num_retries'。 請使用 'retry'

    • 'BigQueryHook.run_grant_dataset_view_access' 移除 'source_project'。 請使用 'project_id'

  • 'DataprocHook': 移除 已棄用的函式 'submit' (#23389)

功能

  • [FEATURE] google provider - BigQueryInsertJobOperator 記錄 查詢 (#23648)

  • [FEATURE] google provider - 分割 GkeStartPodOperator execute (#23518)

  • 將 exportContext.offload 旗標 新增至 CLOUD_SQL_EXPORT_VALIDATION。 (#23614)

  • 為 BiqTable 運算子 建立 連結 (#23164)

  • 實作 #22859 - 將 .sql 新增為 可範本化的 副檔名 (#22920)

  • 'GCSFileTransformOperator': 新的 可範本化欄位 'source_object'、 'destination_object' (#23328)

錯誤修正

  • Fix 'PostgresToGCSOperator' 不允許巢狀 JSON (#23063)

  • Fix GCSToGCSOperator 忽略 replace 參數 當沒有萬用字元 (#23340)

  • update 處理器 以修復 損壞的 download URLs (#23299)

  • 'LookerStartPdtBuildOperator', 'LookerCheckPdtBuildSensor' : fix 空的 materialization id 處理 (#23025)

  • Change ComputeSSH 為拋出 provider import error 而不是 paramiko (#23035)

  • Fix DataprocSubmitJobOperator 在執行逾時後的 cancel_on_kill (#22955)

  • Fix BigQueryGetDataOperator 的 select * query xcom push (#22936)

  • MSSQLToGCSOperator 失敗：datetime 不是 JSON Serializable (#22882)

其他雜項

  • Add Stackdriver assets 並將系統測試遷移到 AIP-47 (#23320)

  • CloudTasks assets & 系統測試遷移 (AIP-47) (#23282)

  • TextToSpeech assets & 系統測試遷移 (AIP-47) (#23247)

  • Fix google provider 中的 code-snippets (#23438)

  • Bigquery assets (#23165)

  • Remove 'BigQueryUpdateTableSchemaOperator' 中多餘的 docstring (#23349)

  • Migrate gcs 到新的 系統測試設計 (#22778)

  • add 'BigQueryHook.create_empty_table' 中遺失的 docstring (#23270)

  • Cleanup Google provider CHANGELOG.rst (#23390)

  • migrate system test gcs_to_bigquery 到新的 設計 (#22753)

  • Add example DAG 以示範 GCS sensors 的用法 (#22808)

  • Clean up in-line f-string concatenation (#23591)

  • Bump pre-commit hook versions (#22887)

  • Use new Breese 來建置、pulling 和驗證映像檔。 (#23104)

  • Fix main 中新的 MyPy errors (#22884)

6.8.0

功能特色

  • Add BQCreateExternalTable Operator 中的 autodetect arg (#22710)

  • Add BigQuery Data Transfer 的連結 (#22280)

  • Modify transfer operators 以處理更多資料 (#22495)

  • Create Endpoint 和 Model Service、Batch Prediction 和 Hyperparameter Tuning Jobs operators for Vertex AI service (#22088)

  • PostgresToGoogleCloudStorageOperator - BigQuery schema type for time zone naive fields (#22536)

  • Update secrets backends 以使用 get_conn_value 而不是 get_conn_uri (#22348)

錯誤修正

  • Fix docstrings (#22497)

  • Fix 'GoogleDisplayVideo360SDFtoGCSOperator' 中的 'download_media' url (#22479)

  • Fix 'CloudBuildRunBuildTriggerOperator' 無法找到 build id. (#22419)

  • Fail ''LocalFilesystemToGCSOperator'' 如果 src 不存在 (#22772)

  • Remove GCSTimeSpanFileTransformOperator 中的 coerce_datetime 用法 (#22501)

其他雜項

  • Refactor: BigQuery to GCS Operator (#22506)

  • Remove PubSub operators 中對已棄用的 operators/params 的參考 (#22519)

  • New system tests 設計 (#22311)

6.7.0

功能特色

  • Add dataflow_default_options 到 templated_fields (#22367)

  • Add 'LocalFilesystemToGoogleDriveOperator' (#22219)

  • Add timeout 和 retry 到 BigQueryInsertJobOperator (#22395)

錯誤修正

  • Fix 跳過 非GCS located jars (#22302)

  • [FIX] gcs operator 的 typo doc (#22290)

  • Fix mistakenly added install_requires for all providers (#22382)

6.6.0

功能特色

  • Support Uploading Bigger Files to Google Drive (#22179)

  • Change default 'chunk_size' 為清楚的 representation & add documentation (#22222)

  • Add DataprocInstantiateInlineWorkflowTemplateOperator 的指南 (#22062)

  • Allow 使用 GCS Hook Upload 上傳metadata (#22058)

  • Add Dataplex operators (#20377)

其他雜項

  • Add ARM platform 的支援 (#22127)

  • Add PyPI 中的 Trove classifiers (Framework :: Apache Airflow :: Provider)

  • Use yaml safe load (#22091)

6.5.0

功能特色

  • Add Looker PDT operators (#20882)

  • Add autodetect arg to GCSToBigQueryOperator 中外部表格建立 (#21944)

  • Add Dataproc assets/links (#21756)

  • Add Vertex AI service 的 Auto ML operators (#21470)

  • Add GoogleCalendarToGCSOperator (#20769)

  • Make project_id argument 在所有 dataproc operators 中成為選用 (#21866)

  • Allow templates 在更多 DataprocUpdateClusterOperator fields (#21865)

  • Dataflow Assets (#21639)

  • Extract ClientInfo 到模組層級 (#21554)

  • Datafusion assets (#21518)

  • Dataproc metastore assets (#21267)

  • Normalize BigQuery sensors 中的 *_conn_id parameters (#21430)

錯誤修正

  • Fix bigquery_dts parameter docstring typo (#21786)

  • Fixed PostgresToGCSOperator 在empty resultset 上失敗 for use_server_side_cursor=True (#21307)

  • Fix bigquery example DAG 中的 multi query scenario (#21575)

其他雜項

  • Support Python 3.10 的支援

  • Unpin 'google-cloud-memcache' (#21912)

  • Unpin ''pandas-gbq'' 並移除未使用的 code (#21915)

  • Suppress Bigquery transfers 的hook warnings (#20119)

6.4.0

功能特色

  • Add hook 以整合 Google Calendar (#20542)

  • Add encoding parameter to 'GCSToLocalFilesystemOperator' 以修復 #20901 (#20919)

  • batch as templated field in DataprocCreateBatchOperator (#20905)

  • Make timeout 在wait_for_operation 中成為 Optional (#20981)

  • Add more SQL template fields renderers (#21237)

  • Create Vertex AI service 的 CustomJob 和 Datasets operators (#21253)

  • Support 上傳檔案到 Google Shared Drive (#21319)

  • (providers_google) add bigquery 中的 location check (#19571)

  • Add BeamGoPipelineOperator 的支援 (#20386)

  • Google Cloud Composer opearators (#21251)

  • Enable BigQuery hook 中的 asynchronous job submission (#21385)

  • Optionally raise an error if GCSToGCSOperator 中來源檔案不存在 (#21391)

錯誤修正

  • Cloudsql import links fix. (#21199)

  • Fix BigQueryDataTransferServiceHook.get_transfer_run() request parameter (#21293)

  • :bug: (BigQueryHook) fix 與sqlalchemy engine 的相容性 (#19508)

其他雜項

  • Refactor operator links 以不建立 ad hoc TaskInstances (#21285)

6.3.0

功能特色

  • Add optional location to bigquery data transfer service (#15088) (#20221)

  • Add Google Cloud Tasks how-to documentation (#20145)

  • Added MSSQL to Google Cloud Storage (GCS) 的範例 DAG (#19873)

  • Support 區域性 GKE cluster 的支援 (#18966)

  • Delete KubernetesPodOperator 中預設刪除 pods (#20575)

錯誤修正

  • Fixes PubSubCreateSubscriptionOperator 的docstring (#20237)

  • Fix Dataproc Metastore 遺失的 get_backup method (#20326)

  • BigQueryHook fix run_load doc string 中的 typo (#19924)

  • Fix 在sftp_to_gcs 上傳遞 gzip compression parameter (#20553)

  • switch to CloudSQL provider 中的 httpx.get call 上的 follow_redirects (#20239)

  • avoid BigQuery transfer operators 中的 deprecation warnings (#20502)

  • Change download_video parameter 為 resourceName (#20528)

  • Fix big query to mssql/mysql transfer issues (#20001)

  • Fix ''provide_authorized_gcloud'' 中設定 project ID (#20428)

其他雜項

  • Move source_objects datatype check out of GCSToBigQueryOperator.__init__ (#20347)

  • Organize Amazon Provider 中的 S3 Classes (#20167)

  • Providers facebook hook multiple account (#19377)

  • Remove 已棄用的 method call (blob.download_as_string) (#20091)

  • Remove GoogleDriveToGCSOperator 中已棄用的 template_fields (#19991)

注意！ apache-airflow-providers-facebook 和 apache-airflow-providers-amazon 的選用功能需要較新版本的 providers（如 dependencies 中所指定）。

6.2.0

功能特色

  • Added wait mechanizm to DataprocJobSensor 以避免 Job 無法使用時發生 509 errors (#19740)

  • Add GCP connection 中從 Secret Manager 讀取金鑰的支援 (#19164)

  • Add dataproc metastore operators (#18945)

  • Add 'GCloud Storage Transfer Service operators' 的 'path' parameter 的支援 (#17446)

  • Move 'bucket_name' validation out of '__init__' in Google Marketing Platform operators (#19383)

  • Create dataproc serverless spark batches operator (#19248)

  • updates CloudDataFusionStartPipelineOperator 的 pipeline_timeout (#18773)

  • Support GKEStartPodOperator 中的 impersonation_chain parameter (#19518)

錯誤修正

  • Fix GKEPodOperator 中badly merged impersonation (#19696)

6.1.0

功能特色

  • Add value to 'namespaceId' of query (#19163)

  • Add pre-commit hook for files 中常見的 misspelling check (#18964)

  • Support CassandraToGCSOperator 中作為參數的 query timeout (#18927)

  • Update BigQueryCreateExternalTableOperator doc 和參數 (#18676)

  • Replacing BigQueryToMsSqlOperator 的非屬性 template_fields (#19052)

  • Upgrade Dataproc package 到 3.0.0 並從 v1beta2 遷移到 v1 api (#18879)

  • Use google cloud credentials when executing subprocess 中的 beam command (#18992)

  • Replace FacebookAdsReportToGcsOperator 的預設 api_version (#18996)

  • Dataflow Operators - 在on_kill method 中使用 job 的 project 和 location。 (#18699)

錯誤修正

  • Fix CloudSQL Hook 中hard-coded /tmp directory (#19229)

  • Fix Dataflow hook 在沒有jobs returned 時的 bug (#18981)

  • Fix BigQueryToMsSqlOperator documentation (#18995)

  • Move templated input params 的驗證到context init 後執行 (#19048)

  • Google provider catch invalid secret name (#18790)

6.0.0

重大變更

  • Migrate Google Cloud Build from Discovery API to Python SDK (#18184)

功能特色

  • Add index to dataset name 以為每個 example DAG 建立個別的 dataset (#18459)

  • Add 一些測試套件遺失的 __init__.py files (#18142)

  • Add possibility to run system tests 中的 DAGs 並查看DAGs logs (#17868)

  • Rename AzureDataLakeStorage 為 ADLS (#18493)

  • Make next_dagrun_info take a data interval (#18088)

  • Use parameters instead of params (#18143)

  • New google operator: SQLToGoogleSheetsOperator (#17887)

錯誤修正

  • Fix 部分 Google system tests (#18494)

  • Fix kubernetes engine system test (#18548)

  • Fix BigQuery system test (#18373)

  • Fix 使用表格資源建立外部表格時發生錯誤 (#17998)

  • Fix ''BigQueryToMySqlOperator'' 中''BigQuery'' data extraction (#18073)

  • Fix providers tests in main branch with eager upgrades (#18040)

  • fix(CloudSqlProxyRunner): don't query Airflow DB 的connections (#18006)

  • Remove GCSToBigquery 中至少一個 schema 的檢查 (#18150)

  • deduplicate BigQueryInsertJobOperator 上執行的 jobs (#17496)

5.1.0

功能特色

  • Add GKEStartPodOperator 中config_file parameter 的錯誤檢查 (#17700)

  • Gcp ai hyperparameter tuning (#17790)

  • Allow omission of 'initial_node_count' if 'node_pools' is specified (#17820)

  • [Airflow 13779] use wait_for_pipeline_state hook 中提供的 parameters (#17137)

  • Enable specifying 'template_fields_renderers' 中的 dictionary paths (#17321)

  • Don't cache Google Secret Manager client (#17539)

  • [AIRFLOW-9300] Add DatafusionPipelineStateSensor 和 CloudDataFusionStartPipelineOperator 的aync option (#17787)

錯誤修正

  • GCP Secret Manager error handling for missing credentials (#17264)

其他雜項

  • Optimise Airflow 2.2.0 的connection importing

  • Adds secrets backend/logging/auth information to provider yaml (#17625)

5.0.0

重大變更

  • Updated GoogleAdsHook to support google deprecated v5 後較新版本的 API versions。 Google Ads v8 是新的 default API。 (#17111)

  • Google Ads Hook: Support newer versions of the google-ads library (#17160)

警告

底層的 google-ads 程式庫有重大變更。

過去，google ads 程式庫以原生 protobuf 訊息形式傳回資料。現在，它以 proto-plus 物件形式傳回資料，這些物件的行為更像傳統的 Python 物件。

為了保持相容性，hook 的 search() 方法會在傳回資料之前將資料轉換回原生 protobuf。您現有的運算子 應該 可以像以前一樣運作，但由於 v5 API 即將被棄用，因此沒有經過非常徹底的測試。因此，您應該仔細評估您的運算子和 hook 在這個新版本中的功能。

為了使用 API 的新 proto-plus 格式，您可以使用 search_proto_plus() 方法。

如需更多資訊，請參閱 google-ads 遷移文件

功能

  • Standardise dataproc location param to region (#16034)

  • Adding custom Salesforce connection type + SalesforceToS3Operator updates (#17162)

錯誤修正

  • Update alias for field_mask in Google Memmcache (#16975)

  • fix: dataprocpysparkjob project_id as self.project_id (#17075)

  • Fix GCStoGCS operator with replace diabled and existing destination object (#16991)

4.0.0

重大變更

  • Auto-apply apply_default decorator (#15667)

警告

由於移除了 apply_default 裝飾器，此供應商版本需要 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您想要安裝此供應商版本，請先將 Airflow 升級至至少 2.1.0 版本。否則您的 Airflow 套件版本將會自動升級，並且您必須手動執行 airflow upgrade db 才能完成遷移。

  • Move plyvel to google provider extra (#15812)

  • Fixes AzureFileShare connection extras (#16388)

功能

  • Add extra links for google dataproc (#10343)

  • add oracle  connection link (#15632)

  • pass wait_for_done parameter down to _DataflowJobsController (#15541)

  • Use api version only in GoogleAdsHook not operators (#15266)

  • Implement BigQuery Table Schema Update Operator (#15367)

  • Add BigQueryToMsSqlOperator (#15422)

錯誤修正

  • Fix: GCS To BigQuery source_object (#16160)

  • Fix: Unnecessary downloads in ``GCSToLocalFilesystemOperator (#16171)``

  • Fix bigquery type error when export format is parquet (#16027)

  • Fix argument ordering and type of bucket and object (#15738)

  • Fix sql_to_gcs docstring lint error (#15730)

  • fix: ensure datetime-related values fully compatible with MySQL and BigQuery (#15026)

  • Fix deprecation warnings location in google provider (#16403)

3.0.0

重大變更

AutoMLPredictOperator 的變更

airflow.providers.google.cloud.operators.automl.AutoMLPredictOperator 類別中的 params 參數已重新命名為 operation_params，因為它與 BaseOperator 類別中的 param 參數衝突。

與 apache.beam 供應商整合

在 3.0.0 版本的供應商中，我們變更了與 apache.beam 供應商整合的方式。先前版本的供應商在嘗試使用 PIP > 20.2.4 一起安裝時會造成衝突。PIP 20.2.4 及更低版本無法偵測到衝突，但衝突確實存在，而且 Google BigQuery python 用戶端的版本在兩端不符。因此，當 apache.beam 和 google 供應商都安裝時，BigQuery 運算子的某些功能可能無法正常運作。這是因為當使用 apache-beam[gcp] 額外項目時，apache-beam 用戶端尚不支援新的 google python 用戶端所導致。Dataflow 運算子會使用 apache-beam[gcp] 額外項目，雖然它們可能適用於較新版本的 Google BigQuery python 用戶端，但無法保證。

此版本為 google 供應商的 apache.beam 額外項目引入了額外的額外需求，並對稱地為 apache.beam 供應商的 google 額外項目引入了額外的需求。google 和 apache.beam 供應商預設都不使用這些額外項目，但您可以在安裝供應商時指定它們。這樣做的後果是 Dataflow 運算子的某些功能可能無法使用。

遺憾的是，解決此問題的唯一完整解決方案是讓 apache.beam 遷移到新的 (>=2.0.0) Google Python 用戶端。

這是 google 供應商的額外項目

extras_require = (
    {
        # ...
        "apache.beam": ["apache-airflow-providers-apache-beam", "apache-beam[gcp]"],
        # ...
    },
)

同樣地，這是 apache.beam 供應商的額外項目

extras_require = ({"google": ["apache-airflow-providers-google", "apache-beam[gcp]"]},)

您仍然可以使用 PIP 版本 <= 20.2.4 執行此操作，並返回先前的行為

pip install apache-airflow-providers-google[apache.beam]

或

pip install apache-airflow-providers-apache-beam[google]

但請注意，在這種情況下，某些 BigQuery 運算子的功能可能無法使用。

功能

  • [Airflow-15245] - passing custom image family name to the DataProcClusterCreateoperator (#15250)

錯誤修正

  • Bugfix: Fix rendering of ''object_name'' in ''GCSToLocalFilesystemOperator'' (#15487)

  • Fix typo in DataprocCreateClusterOperator (#15462)

  • Fixes wrongly specified path for leveldb hook (#15453)

2.2.0

功能

  • Adds 'Trino' provider (with lower memory footprint for tests) (#15187)

  • update remaining old import paths of operators (#15127)

  • Override project in dataprocSubmitJobOperator (#14981)

  • GCS to BigQuery Transfer Operator with Labels and Description parameter (#14881)

  • Add GCS timespan transform operator (#13996)

  • Add job labels to bigquery check operators. (#14685)

  • Use libyaml C library when available. (#14577)

  • Add Google leveldb hook and operator (#13109) (#14105)

錯誤修正

  • Google Dataflow Hook to handle no Job Type (#14914)

2.1.0

功能

  • Corrects order of argument in docstring in GCSHook.download method (#14497)

  • Refactor SQL/BigQuery/Qubole/Druid Check operators (#12677)

  • Add GoogleDriveToLocalOperator (#14191)

  • Add 'exists_ok' flag to BigQueryCreateEmptyTable(Dataset)Operator (#14026)

  • Add materialized view support for BigQuery (#14201)

  • Add BigQueryUpdateTableOperator (#14149)

  • Add param to CloudDataTransferServiceOperator (#14118)

  • Add gdrive_to_gcs operator, drive sensor, additional functionality to drive hook  (#13982)

  • Improve GCSToSFTPOperator paths handling (#11284)

錯誤修正

  • Fixes to dataproc operators and hook (#14086)

  • #9803 fix bug in copy operation without wildcard  (#13919)

2.0.0

重大變更

更新 google-cloud-* 程式庫

此供應商套件版本包含第三方程式庫更新，如果您使用的是這些程式庫中的物件，可能需要更新您的 DAG 檔案或自訂 hook 和運算子。更新這些程式庫是必要的，以便能夠使用新版本程式庫提供的新功能，並取得僅適用於新版本程式庫的錯誤修正。

詳細資訊涵蓋在每個程式庫的 UPDATING.md 檔案中，但有些細節您應該注意。

程式庫名稱

先前限制

目前限制

升級文件

google-cloud-automl

>=0.4.0,<2.0.0

>=2.1.0,<3.0.0

升級 google-cloud-automl

google-cloud-bigquery-datatransfer

>=0.4.0,<2.0.0

>=3.0.0,<4.0.0

升級 google-cloud-bigquery-datatransfer

google-cloud-datacatalog

>=0.5.0,<0.8

>=3.0.0,<4.0.0

升級 google-cloud-datacatalog

google-cloud-dataproc

>=1.0.1,<2.0.0

>=2.2.0,<3.0.0

升級 google-cloud-dataproc

google-cloud-kms

>=1.2.1,<2.0.0

>=2.0.0,<3.0.0

升級 google-cloud-kms

google-cloud-logging

>=1.14.0,<2.0.0

>=2.0.0,<3.0.0

升級 google-cloud-logging

google-cloud-monitoring

>=0.34.0,<2.0.0

>=2.0.0,<3.0.0

升級 google-cloud-monitoring

google-cloud-os-login

>=1.0.0,<2.0.0

>=2.0.0,<3.0.0

升級 google-cloud-os-login

google-cloud-pubsub

>=1.0.0,<2.0.0

>=2.0.0,<3.0.0

升級 google-cloud-pubsub

google-cloud-tasks

>=1.2.1,<2.0.0

>=2.0.0,<3.0.0

升級 google-cloud-task

欄位名稱使用 snake_case 慣例

如果您的 DAG 使用從上方提及的程式庫透過 XCom 傳遞的物件，則必須更新所讀取欄位的命名慣例。先前，欄位使用 CamelSnake 慣例，現在使用 snake_case 慣例。

之前

set_acl_permission = GCSBucketCreateAclEntryOperator(
    task_id="gcs-set-acl-permission",
    bucket=BUCKET_NAME,
    entity="user-{{ task_instance.xcom_pull('get-instance')['persistenceIamIdentity'].split(':', 2)[1] }}",
    role="OWNER",
)

之後

set_acl_permission = GCSBucketCreateAclEntryOperator(
    task_id="gcs-set-acl-permission",
    bucket=BUCKET_NAME,
    entity="user-{{ task_instance.xcom_pull('get-instance')['persistence_iam_identity']"
    ".split(':', 2)[1] }}",
    role="OWNER",
)

功能

  • Add Apache Beam operators (#12814)

  • Add Google Cloud Workflows Operators (#13366)

  • Replace 'google_cloud_storage_conn_id' by 'gcp_conn_id' when using 'GCSHook' (#13851)

  • Add How To Guide for Dataflow (#13461)

  • Generalize MLEngineStartTrainingJobOperator to custom images (#13318)

  • Add Parquet data type to BaseSQLToGCSOperator (#13359)

  • Add DataprocCreateWorkflowTemplateOperator (#13338)

  • Add OracleToGCS Transfer (#13246)

  • Add timeout option to gcs hook methods. (#13156)

  • Add regional support to dataproc workflow template operators (#12907)

  • Add project_id to client inside BigQuery hook update_table method (#13018)

錯誤修正

  • Fix four bugs in StackdriverTaskHandler (#13784)

  • Decode Remote Google Logs (#13115)

  • Fix and improve GCP BigTable hook and system test (#13896)

  • updated Google DV360 Hook to fix SDF issue (#13703)

  • Fix insert_all method of BigQueryHook to support tables without schema (#13138)

  • Fix Google BigQueryHook method get_schema() (#13136)

  • Fix Data Catalog operators (#13096)

1.0.0

供應商的初始版本。

這個條目有幫助嗎？