apache-airflow-providers-amazon
變更日誌¶
注意
此供應商版本僅適用於 Airflow 2.9+，如 Apache Airflow 供應商支援政策 中所述。
9.2.0¶
功能¶
新增 DMS Serverless 運算子 (#43988)新增 fail_on_file_not_exist 選項 至 SFTPToS3Operator (#44320)新增 'wait_policy' 選項 至 'EmrCreateJobFlowOperator' (#44055)新增 meta_data_directive 至 'S3CopyObjectOperator' (#44160)
雜項¶
移除 對 AIRFLOW_V_2_9_PLUS 的參考 (#44987)將 供應商中的 最低 Airflow 版本 提升 至 Airflow 2.9.0 (#44956)在 供應商中 檢查 Airflow 版本 的一致 方式 (#44686)移除 S3 資產 匯入中 不必要的 相容性 程式碼 (#44714)從 taskinstance 移除 AIP-44 (#44540)在 EcsRunTaskOperator 中 新增 do_xcom_push 文件 (#44440)將 Asset 使用者 面向的 組件 移動 到 task_sdk (#43773)在 Fast API 中 設定 JWT 令牌 驗證 (#42634)Bump 至 mypy-boto3-appflow 並 在沒有 '# type: ignore[arg-type]' 的情況下 通過 (#44115)更新 多個 供應商 文件中的 DAG 範例 連結 (#44034)
9.1.0¶
功能¶
feat: 為 RedshiftToS3Operator 新增 OpenLineage 支援 (#41632)新增 'SageMakerProcessingSensor' (#43144)使 'RedshiftDataOperator' 處理 多個 查詢 (#42900)
錯誤修正¶
fix(providers/amazon): 將 is_authorized_dataset 別名設定為 is_authorized_asset (#43470)移除 athena hooks 最終子句中的 returns (#43426)fix: 在 EksHook 中 將 \s 替換為 space (#43849)修正 'HttpToS3Operator' 在未傳遞 s3_bucket 參數時 拋出 例外 (#43828)新增 'container_name' 並 更新 'awslogs_stream_prefix' 模式 (#43138)檢查 awslogs_stream_prefix 是否已 以 container_name 結尾 (#43724)bugfix 描述 對於 與 'AthenaOperator' 的 openlineage 整合 應為 選填 (#43576)(bugfix): 'EcsRunTaskOperator' 將 'volume_configurations' 與 'capacity_provider_strategy' 解耦 (#43047)GlueJobOperator: 新增 在 返回 任務 狀態 之前 等待 清理 的選項 (#43688)解決 'GlueJobTrigger' 序列化 錯誤 導致 verbose 始終為 True 的問題 (#43622)移除 S3ToDynamoDBOperator 最終子句中的 returns (#43456)
雜項¶
移除 sqlalchemy-redshift 依賴性 (#43271)feat(providers/amazon): 在 通用 供應商中 使用 資產 (#43110)限制 looker-sdk 版本 24.18.0 和 microsoft-kiota-http 1.3.4 (#42954)限制 mypy-boto3-appflow (#43436)將 PythonOperator 移動 到 標準 供應商 (#42081)為 DbApiHook、 PrestoHook 和 TrinoHook 新增 分號 剝離 支援 (#41916)從 cncf.kubernetes 供應商 移除 棄用 (#43689)修正 AthenaTrigger 的文件字串 (#43616)
9.0.0¶
重大變更¶
警告
為了支援 RedshiftData 運算子中的會話重用，引入了以下重大變更
database 參數現在為選填，因此被移至位置參數 sql 之後。如果您的 DAG 依賴參數順序，請相應地更新。適用於
RedshiftDataHook的execute_query方法RedshiftDataOperator
RedshiftDataHook 的 execute_query 方法現在返回 QueryExecutionOutput 物件，而不是僅返回語句 ID 字串。
RedshiftDataHook 的 parse_statement_resposne 方法已重新命名為 parse_statement_response。
S3ToRedshiftOperator 的 schema 參數現在為選填，並已移至位置參數 s3_key 之後。如果您的 DAG 依賴參數順序，請相應地更新。
警告
所有已棄用的類別、參數和功能都已從 Amazon 供應商套件中移除。引入了以下重大變更
Hooks
從
AthenaHook移除sleep_time參數。請改用poll_query_status移除
BaseAsyncSessionFactory移除
AwsBaseAsyncHook從
AwsLogsHook.get_log_events方法移除start_from_head參數從
QuickSightHook移除sts_hook屬性移除
RedshiftAsyncHook移除 S3 連線類型。請改用
aws作為conn_type，並在extras中的service_config.s3中指定bucket_name從
SageMakerHook.start_pipeline方法移除wait_for_completion、check_interval和verbose參數從
SageMakerHook.stop_pipeline方法移除wait_for_completion、check_interval和verbose參數
運算子
從
AppflowRunOperator移除source參數從
BatchOperator移除overrides參數。請改用container_overrides從
BatchCreateComputeEnvironmentOperator移除status_retries參數從
DataSyncOperator移除get_hook方法。請改用hook屬性從
EcsDeregisterTaskDefinitionOperator移除wait_for_completion、waiter_delay和waiter_max_attempts參數。請改用waiter_max_attempts和waiter_delay從
EcsRegisterTaskDefinitionOperator移除wait_for_completion、waiter_delay和waiter_max_attempts參數。請改用waiter_max_attempts和waiter_delay從
EksCreateClusterOperator移除eks_hook屬性。請改用hook屬性從
EksPodOperator移除pod_context、pod_username和is_delete_operator_pod參數從
EmrStartNotebookExecutionOperator移除waiter_countdown和waiter_check_interval_seconds參數。請改用waiter_max_attempts和waiter_delay從
EmrStopNotebookExecutionOperator移除waiter_countdown和waiter_check_interval_seconds參數。請改用waiter_max_attempts和waiter_delay從
EmrContainerOperator移除max_tries參數。請改用max_polling_attempts從
EmrCreateJobFlowOperator移除waiter_countdown和waiter_check_interval_seconds參數。請改用waiter_max_attempts和waiter_delay從
EmrServerlessCreateApplicationOperator移除waiter_countdown和waiter_check_interval_seconds參數。請改用waiter_max_attempts和waiter_delay從
EmrServerlessStartJobOperator移除waiter_countdown和waiter_check_interval_seconds參數。請改用waiter_max_attempts和waiter_delay從
EmrServerlessStopApplicationOperator移除waiter_countdown和waiter_check_interval_seconds參數。請改用waiter_max_attempts和waiter_delay從
EmrServerlessDeleteApplicationOperator移除waiter_countdown和waiter_check_interval_seconds參數。請改用waiter_max_attempts和waiter_delay從
GlueDataBrewStartJobOperator移除delay參數。請改用waiter_delay從
RdsBaseOperator移除hook_params參數從
SageMakerProcessingOperator的action_if_job_exists參數中移除可能的數值increment從
SageMakerTransformOperator的action_if_job_exists參數中移除可能的數值increment從
SageMakerTrainingOperator的action_if_job_exists參數中移除可能的數值increment
密鑰
從
SecretsManagerBackend的kwargs中移除可能的鍵full_url_mode和are_secret_values_urlencoded
感測器
從
BatchSensor移除get_hook方法。請改用hook屬性從
DmsTaskBaseSensor移除get_hook方法。請改用hook屬性從
EmrBaseSensor移除get_hook方法。請改用hook屬性從
GlueCatalogPartitionSensor移除get_hook方法。請改用hook屬性從
GlueCrawlerSensor移除get_hook方法。請改用hook屬性從
QuickSightSensor移除quicksight_hook屬性。請改用QuickSightSensor.hook從
QuickSightSensor移除sts_hook屬性從
RedshiftClusterSensor移除get_hook方法。請改用hook屬性從
S3KeySensor移除get_hook方法。請改用hook屬性從
SageMakerBaseSensor移除get_hook方法。請改用hook屬性從
SqsSensor移除get_hook方法。請改用hook屬性從
StepFunctionExecutionSensor移除get_hook方法。請改用hook屬性
傳輸
從
AwsToAwsBaseOperator移除aws_conn_id參數。請改用source_aws_conn_id從
GCSToS3Operator移除bucket和delimiter參數。請改用gcs_bucket而非bucket
觸發器
移除
BatchOperatorTrigger。請改用BatchJobTrigger移除
BatchSensorTrigger。請改用BatchJobTrigger從
EksCreateFargateProfileTrigger移除region參數。請改用region_name從
EksDeleteFargateProfileTrigger移除region參數。請改用region_name從
EmrCreateJobFlowTrigger移除poll_interval和max_attempts參數。請改用waiter_delay和waiter_max_attempts從
EmrTerminateJobFlowTrigger移除poll_interval和max_attempts參數。請改用waiter_delay和waiter_max_attempts從
EmrContainerTrigger移除poll_interval參數。請改用waiter_delay從
GlueCrawlerCompleteTrigger移除poll_interval參數。請改用waiter_delay從
GlueDataBrewJobCompleteTrigger移除delay和max_attempts參數。請改用waiter_delay和waiter_max_attempts移除
RdsDbInstanceTrigger。請使用其他 RDS 觸發器，例如RdsDbDeletedTrigger、RdsDbStoppedTrigger或RdsDbAvailableTrigger從
RedshiftCreateClusterTrigger移除poll_interval和max_attempts參數。請改用waiter_delay和waiter_max_attempts從
RedshiftPauseClusterTrigger移除poll_interval和max_attempts參數。請改用waiter_delay和waiter_max_attempts從
RedshiftCreateClusterSnapshotTrigger移除poll_interval和max_attempts參數。請改用waiter_delay和waiter_max_attempts從
RedshiftResumeClusterTrigger移除poll_interval和max_attempts參數。請改用waiter_delay和waiter_max_attempts從
RedshiftDeleteClusterTrigger移除poll_interval和max_attempts參數。請改用waiter_delay和waiter_max_attempts移除
SageMakerTrainingPrintLogTrigger。請改用SageMakerTrigger
工具程式
從
AwsConnectionWrapper的extra_config中移除可能的鍵test_endpoint_url。請在extras中的service_config.sts中設定endpoint_url從
AwsConnectionWrapper的conn_type中移除可能的數值s3。請更新您的連線以具有conn_type='aws'移除連線額外組態中的鍵
session_kwargs。請直接指定傳遞至 boto3 會話的引數從 AWS 連線移除
host，請改在extra['endpoint_url']中設定從
AwsHookParams移除region參數。請改用region_name
移除 Amazon 供應商 套件中 已棄用的 內容 (#42450)支援 'RedshiftDataOperator' 中的 會話 重用 (#42218)
功能¶
將 STOPPED 新增 到 Sagemaker 訓練 任務的 失敗 案例 (#42423)
錯誤修正¶
'S3DeleteObjects' 運算子: 處理 以字串形式 傳遞的 日期 (#42464)對 AWS AVP cli 初始化 腳本的 小 修正 (#42479)透過 減少 睡眠 量 來 加快 AWS 日誌記錄速度 (#42449)修正 AWS 驗證管理器中的 登出問題 (#42447)fix(providers/amazon): 處理 在 table.get_item 期間 金鑰遺失後 引發的 ClientError (#42408)
雜項¶
捨棄 python3.8 支援 核心和 供應商 (#42766)移除 條件式 檢查，針對 Airflow 版本 2.8.0 及以上版本中的 任務 上下文 日誌記錄 (#42764)重新命名 資料集 相關的 python 變數 名稱 為 資產 (#41348)移除 身分 中心 驗證 管理器 cli (#42481)重構 AWS 驗證 管理器 使用者 輸出 (#42454)從 Amazon 供應商 移除 'sqlalchemy-redshift' 依賴項 (#42830)還原 「從 Amazon 供應商移除 'sqlalchemy-redshift' 依賴項」 (#42864)
8.29.0¶
功能¶
在 ECSRunTaskOperator 中新增 對 磁碟區 組態的 支援 (#42087)Openlineage s3 到 redshift 運算子 整合 (#41575)
錯誤修正¶
ECSExecutor: 捨棄 與 EC2 不相容的 參數 (#42228)修正 'GlueDataBrewStartJobOperator' 範本 欄位 (#42073)驗證 等待器 中的 aws 服務 例外 (#41941)修正 S3Hook.parse_s3_url() 中 "#" 的 處理方式 (#41796)修正： 從 S3ToRedshiftOperator 移除 openlineage 提取的 一部分 (#41631)供應商 檔案 任務 處理常式 中的 filename 範本 引數 向後 相容性 支援 (#41633)修正： 在 RedshiftToS3Operator 中， select_query 應優先於 預設 query (#41634)
其他¶
實際上將 saml 移動到 amazon 供應商 （錯誤地新增於 papermill 中） (#42148)在 AWS Glue DataBrew Operators/Triggers 中使用 基礎 aws 類別 (#41848)將 'register_views' 移動到 驗證 管理器 介面 (#41777)airflow.models.taskinstance 棄用項目已 移除 (#41784)從 供應商 移除 已棄用的 soft_fail (#41710)從 供應商 移除 已棄用的 soft_fail 第 2 部分 (#41727)限制 watchtower 作為 依賴項，版本 3.3.0 會 中斷 moin。 (#41612)移除 已棄用的 日誌 處理常式 引數 filename_template (#41552)
8.28.0¶
注意
如 Apache Airflow 供應商支援政策 中所述，此供應商版本僅適用於 Airflow 2.8+。
警告
當版本 8.17.0 為 RedshiftDataOperator 引入可延遲模式時，組態為 deferrable=True 和 wait_for_completion=True 的任務不會進入延遲狀態。相反地，任務會佔用執行器插槽，直到陳述式完成。可能的解決方法是設定 wait_for_completion=False。在此版本中，無論 deferrable 的值為何，設定為 wait_for_completion=False 的任務將不再等待。
功能¶
在 'DynamoDBToS3Operator' 中新增 增量 匯出 和 跨帳戶 匯出 功能 (#41304)AWS Batch submit_job 的 EKS 覆寫 (#40718)
錯誤修正¶
修正 'AwsTaskLogFetcher' 遺失 日誌 (#41515)修正 'RdsHook' 中的 例外 名稱 並 取消釘選 依賴項 (#41256)修正 RedshiftDataOperator 未如預期在 延遲 模式下執行 (#41206)
其他¶
example_dynamodb_to_s3.py 的部分 修正 (#41517)移除 AWS 供應商中 已棄用的 程式碼 (#41407)將 供應商中的 最低 Airflow 版本 提升至 Airflow 2.8.0 (#41396)暫時限制 moto - 5.0.12 正在 中斷 我們的 測試 (#41244)
8.27.0¶
功能¶
為 'StepFunctionStartExecutionOperator' 新增 RedriveExecution 支援 (#40976)openlineage: 為 S3Hook 新增 hook 譜系 支援 (#40819)導入 Amazon Kinesis Analytics V2 （適用於 Apache Flink 應用程式的 受管服務） (#40765)
錯誤修正¶
使 EMR Container Trigger 最大 嘗試次數 重試 次數 與 Operator 相符 (#41008)修正 延遲 模式下的 'RdsStopDbOperator' 運算子 (#41059)修正 'RedshiftCreateClusterOperator' 以 始終 指定 'PubliclyAccessible' (#40872)修正 使用 延遲 模式的 Redshift 叢集 運算子 和 感測器 (#41191)修正 延遲 模式下的 'EmrServerlessStartJobOperator' (#41103)
其他¶
更新 'example_redshift' 和 'example_redshift_s3_transfers' 以 使用 'RedshiftDataHook' 而非 'RedshiftSQLHook' (#40970)openlineage: 將 OpenLineage 供應商 遷移到 V2 構面。 (#39530)[AIP-62] 將 AIP-60 URI 翻譯為 OpenLineage (#40173)將 適用於 Apache Flink 感測器 狀態的 AWS 受管服務 移至 Hook (#40896)將 任務 上下文 記錄器 的使用 取代為 日誌 表格 (#40867)棄用 'SageMakerTrainingPrintLogTrigger' (#41158)
8.26.0¶
注意
減少 S3KeyTrigger Decorator 的記憶體佔用空間，provide_bucket_name_async 已移除。Async 不需要個別的裝飾器。舊的裝飾器已移除，使用者可以針對協程函式、async 迭代器和一般同步函式使用 provide_bucket_name。Hook 方法 get_file_metadata_async 現在是 async 迭代器。先前，中繼資料物件會累積在清單中。現在，物件會在我們逐頁瀏覽結果時產生。若要取得清單，您可以清單理解中使用 async for。在某些情況下，S3KeyTrigger 避免將所有正向比對載入記憶體
注意
此版本包含針對 async 工作階段的重大資源利用率改進
功能¶
不要 動態判斷 emr serverless 的 運算連結 (#40627)能夠 在 S3 hook 的 copy_object 中 移除 ACL (#40518)feat(aws): 在 S3 感測器中 提供 內容給 check_fn (#40686)
錯誤修正¶
修正 AthenaOperator 的 OpenLineage 提取 (#40545)減少 s3 key 觸發器的 記憶體 佔用空間 (#40473)將 叢集 新增至 ecs 觸發器 事件，以 避免 延遲 錯誤 (#40482)修正 可延遲的 AWS SageMaker 運算子 (#40706)使 'AwsAuthManager' 與僅限 Airflow >= 2.9 相容 (#40690)將 序列化 選項 新增至 s3 運算子 (#40659)
其他¶
在 AWS Glue Data Catalog Sensors 中使用 基礎 aws 類別 (#40492)在 AWS Glue Crawlers Operators/Sensors/Triggers 中使用 基礎 aws 類別 (#40504)跨 asyncio boto 工作階段 共用 資料 載入器 (#40658)在 'EcsExecutor' 中將 執行器 日誌 傳送至 任務 日誌 (#40468)在 'AwsBatchExecutor' 中將 執行器 日誌 傳送至 任務 日誌 (#40698)
8.25.0¶
功能¶
新增 Amazon Comprehend 文件 分類器 (#40287)
錯誤修正¶
修正 aws utils 中的 'importlib_metadata' 匯入 (#40134)openlineage, redshift: 對於 Airflow 2.10 以下的 版本，不要 呼叫 DB 以取得 結構描述 (#40197)在 'RedshiftToS3Operator' 中延遲 比對 逸出引號 (#40206)使用 stdlib 'importlib.metadata' 來 擷取 'botocore' 套件 版本 (#40137)
其他¶
更新 Python 3.12 的 pandas 最低 需求 (#40272)
8.24.0¶
功能¶
AWS Batch submit_job 的 ECS 覆寫 (#39903)新增 傳輸 運算子 S3ToDynamoDBOperator (#39654)新增 Glue 資料 品質 規則 建議 執行 (#40014)允許 在 S3KeySensor 的 check_fn 中使用 使用者指定的 物件 屬性 (#39950)新增 Amazon Glue 資料 品質 服務 (#39923)
錯誤修正¶
在 SageMakerTransformOperator 中 重複資料刪除 模型 名稱 (#39956)修正： 從 templated_fields 移除 process_func (#39948)修正在 可延遲 時 aws assume role 工作階段 建立 (#40051)
其他¶
解決 ECS fargate 已棄用 警告 (#39834)解決 EMR notebook 已棄用 警告 (#39829)提升 boto 最低 版本 (#40052)文件： 提及 使用 Batch 'ecs_properties_override' 時，AWS 供應商的 最低 boto3 1.34.52 (#39983)
8.23.0¶
功能¶
Amazon Bedrock - 擷取 和 擷取並產生 (#39500)導入 Amazon Comprehend 服務 (#39592)
錯誤修正¶
修正： AthenaExtractor 的 空白 openlineage 資料集 名稱 (#39677)修正 aws batch 運算子 重試 策略的 預設 值 (#39608)Sagemaker 觸發器： 將 工作 名稱 作為 事件 的一部分 傳遞 (#39671)處理 batch 執行器的 任務 採用 (#39590)錯誤修正： 處理 NeptuneStopDbClusterOperator 中的 無效 叢集 狀態 (#38287)修正在 延遲 觸發器 中確保 已設定 'waiter_max_attempts' 來修正 'EmrOperator' 中的 自動 終止 問題 (#38658)
其他¶
解決 EMR 已棄用 警告 (#39743)其他： 新增 關於 移除 未使用的 程式碼 的註解 (#39748)
8.22.0¶
功能¶
'S3DeleteObjectsOperator' 新增 依上次修改時間 篩選 金鑰 的功能 (#39151)Amazon Bedrock - 新增 知識庫 和 資料 來源 整合 (#39245)
錯誤修正¶
EcsExcecutor 排程器 處理 try_number 的 遞增 (#39336)ECS Executor: 一旦啟用，將任務設定為 RUNNING 狀態 (#39212)
其他¶
新增 'jmespath' 作為 明確的 依賴項 (#39350)捨棄 'xmlsec' 依賴項 (#39534)重新套用 所有 供應商的 範本 (#39554)更快的 'airflow_version' 匯入 (#39552)enh(amazon_hook): 下載 檔案時，引發 找不到 例外狀況，而非 一般 例外狀況 (#39509)簡化 'airflow_version' 匯入 (#39497)
8.21.0¶
注意
如 Apache Airflow 供應商支援政策 中所述，此供應商版本僅適用於 Airflow 2.7+。
功能¶
為 aws lambdacreatefunctionoperator 新增 logging_config,snapstart,ephemeral_storage 參數 (#39300)
錯誤修正¶
修正在 使用 本機 指令碼 檔案 時，連續 執行 失敗的 GlueJobOperator 中的 錯誤 (#38960)更新 auth 管理器中的 'is_authorized_custom_view' 以 處理 自訂 動作 (#39167)更新 邏輯，以允許 AWS Batch Client hook 中的 重試 生效 (#38998)Amazon Bedrock - 模型 輸送量 佈建 (#38850)
其他¶
在 Microsoft Azure 供應商中 新增 MSGraphOperator (#38111)將 供應商中的 最低 Airflow 版本 提升至 Airflow 2.7.0 (#39240)允許 使用 較短的路徑 匯入 aws 執行器 (#39093)從 AWS 驗證 管理器 移除 標記以 使用它 (#39033)限制 xmlsec<1.3.14 (#39104)
8.20.0¶
功能¶
AWS Batch 執行器 (#37618)為 AWS 執行器 新增 回退 'region_name' 值 (#38704)導入 Amazon Bedrock 服務 (#38602)Amazon Bedrock - 模型 自訂 工作 (#38693)ECS Executor - 新增 對 採用 孤立 任務的支援。 (#37786)更新 AWS 驗證 管理器 CLI 命令，使其 不 停用 AVP 結構描述 驗證 (#38301)
錯誤修正¶
減少 's3hook' 記憶體 使用量 (#37886)在 AWS 驗證 管理器中 新增 檢查，以 檢查 Amazon Verified Permissions 結構描述 是否為 最新版本 (#38333)修復： EmrServerlessStartJobOperator 在 partial/expand 被使用時， 未正確序列化 DAGs 。 (#38022)修復(amazon)： 在 triggers 中的 while 迴圈內， 新增 return statement 至 yield 。 (#38396)修復 在 'MappedOperator' 中設定已棄用的 amazon operators arguments 。 (#38346)'ECSExecutor' API Retry 錯誤 修復 (#38118)修復 基於 'AwsBaseOperator' / 'AwsBaseSensor' 的 'MappedOperator' 中的 'region' argument 。 (#38178)修復 ECS Executor 的錯誤， 當一個 task 失敗時， tasks 被略過。 (#37979)修復 aws redshift to s3 operator 的 init 檢查。 (#37861)
其他雜項¶
使 'BaseAuthManager.is_authorized_custom_view' 方法成為抽象方法。 (#37915)在 AWS auth manager 中， 將 "Role" 替換為 "Group" 。 (#38078)避免在測試之外使用 'assert' 。 (#37718)在提取 Glue job logs 時，使用 'AwsLogsHook' 。 (#38010)在 AWS auth manager 中實作 'filter_permitted_dag_ids' 。 (#37666)AWS auth manager CLI： 在進行更新時，持久化 policy store description 。 (#37946)將 f-string 變更為格式化為 Batch Executor 的記錄訊息。 (#37929)
8.19.0¶
新功能¶
在 AWS auth manager 中實作 'filter_permitted_menu_items' 。 (#37627)在 AWS auth manager 中實作 'batch_is_authorized_*' APIs 。 (#37430)
錯誤修復¶
修復 aws 'eks' 的 init 檢查。 (#37674)修復 aws gcs_to_s3 的 init 檢查。 (#37662)
其他雜項¶
使用具名的 loggers 取代 root logger 。 (#37801)避免不建議的 logging 用法。 (#37792)統一 'aws_conn_id' 類型始終為 'str | None' 。 (#37768)限制 'pandas' 版本低於 '<2.2' 。 (#37748)實作 AIP-60 Dataset URI 格式。 (#37005)提高 openapi validators 的最低版本。 (#37691)更新 AWS auth manager 中的動作名稱。 (#37572)
8.18.0¶
新功能¶
ECS Executor - 在 task 重試失敗時新增退避機制。 (#37109)SqlToS3Operator： feat/ 新增 max_rows_per_file 參數。 (#37055)新增 Amazon Neptune Hook 和 Operators 。 (#37000)在 'EmrContainerOperator' 中新增重試配置。 (#37426)為 AWS auth manager 建立 CLI commands 以建立 AWS Identity Center 相關資源。 (#37407)為 EMR Serverless 新增額外的 operator 連結。 (#34225)
錯誤修復¶
修復 'AthenaOperator' 中的 'log_query' 以正確格式化 SQL statement 。 (#36962)在延遲 'SageMakerTrainingOperator' 之前，檢查 sagemaker training job 狀態。 (#36685)
其他雜項¶
合併所有 ECS executor configs ，遵循遞迴 python dict 更新。 (#37137)更新 'BatchSensor' 的預設值。 (#37234)從 download_file 中移除 info log 。 (#37211)S3ToRedshiftOperator 樣板 aws_conn_id 。 (#37195)更新 ECS 文件。 (#37125)feat： 將所有類別、函數、方法棄用切換為裝飾器。 (#36876)在 providers 中，替換 'datetime.utcnow' 和 'datetime.utcfromtimestamp' 的用法。 (#37138)為 Amazon provider "execute_coplete" 方法新增類型註釋。 (#36330)
8.17.0¶
新功能¶
為 RedshiftDataOperator 新增可延遲模式。 (#36586)為 ECS Executor 新增容量提供者支援。 (#36722)為允許 'S3KeySensor' 檢查帶有正規表示式的 s3 keys ，新增 use_regex argument 。 (#36578)為 RedshiftClusterSensor 新增可延遲模式。 (#36550)AthenaSqlHook 實作。 (#36171)為 AWS auth manager 建立 CLI commands 以建立 Amazon Verified Permissions 相關資源。 (#36799)在 AWS auth manager 中實作 'is_authorized_dag' 。 (#36619)
錯誤修復¶
修復 providers 中 warnings.warn 的 stacklevel 。 (#36831)EC2 'CreateInstance'： 在 on_kill 中終止 instances 。 (#36828)如果未設定 '[aws] cloudwatch_task_handler_json_serializer' ，則回退到預設值。 (#36851)AWS auth manager： 為 AVP command 引發 AirflowOptionalProviderfeature exception 。 (#36824)在延遲 SageMakerTransformOperator 之前，檢查 transform job 狀態。 (#36680)在延遲之前，檢查 sagemaker processing job 狀態。 (#36658)在可延遲模式下，在 BatchOperator execute 之前檢查 job_status 。 (#36523)更新 redshift hostname 檢查以避免可能的錯誤。 (#36703)在 'AwsEcsExecutor' 中重新整理憑證。 (#36179)
其他雜項¶
修復 'S3ListOperator' 中 apply_wildcard 參數的文件字串。 變更了文件字串的順序以進行修復。 (#36679)在 AWS DMS Operators/Sensors 中使用基本 aws classes 。 (#36772)在 AWS Redshift Data API Operators 中使用基本 aws classes 。 (#36764)在 Amazon EventBridge Operators 中使用基本 aws classes 。 (#36765)在 Amazon QuickSight Operators/Sensors 中使用基本 aws classes 。 (#36776)在 AWS Datasync Operators 中使用基本 aws classes 。 (#36766)在 Amazon DynamoDB Sensors 中使用基本 aws classes 。 (#36770)在 AWS CloudFormation Operators/Sensors 中使用基本 aws classes 。 (#36771)為所有 providers 和 airflow 設定 pandas dependency 的最低版本為 1.2.5 。 (#36698)提高 amazon-provider 相關dependencies 的最低版本。 (#36660)
8.16.0¶
新功能¶
新增 AWS Step Functions 連結。 (#36599)為 Redshift SQL 新增 OpenLineage 支援。 (#35794)
錯誤修復¶
修復 'AwsToAwsBaseOperator' 中 '__init__' 中 template field 的賦值。 (#36604)修復 'DataSyncOperator' 中 '__init__' 中 template field 的賦值。 (#36605)在延遲到 triggerer 之前，檢查 redshift cluster 狀態。 (#36416)
其他雜項¶
在 Amazon SQS Operators/Sensors/Triggers 中使用基本 aws classes 。 (#36613)在 Amazon SNS Operators 中使用基本 aws classes 。 (#36615)在 AWS Step Functions Operators/Sensors/Triggers 中使用基本 aws classes 。 (#36468)
8.15.0¶
新功能¶
新增 Amazon Athena query results 額外連結。 (#36447)
錯誤修復¶
修復(providers/amazon)： 移除 EmrContainerOperator.execute_complete|as 中的 event['message'] 呼叫，因為鍵 message 已不再存在。 (#36417)處理 S3Hook.is_keys_unchanged_async 中的 tzinfo 。 (#36363)
其他雜項¶
在 Amazon ECS Operators/Sensors/Triggers 中使用基本 aws classes 。 (#36393)
8.14.0¶
新功能¶
為 'SqsSensor' 新增 'jsonpath_ng.ext.parse' 支援。 (#36170)將 ConflictException 重試次數增加到總共 4 次。 (#36337)增加 trigger.html 中 execution_date 輸入的寬度。 (#36278) (#36304)允許傳遞 storage options 。 (#35820)
錯誤修復¶
從 auth manager 中移除 'is_authorized_cluster_activity' 。 (#36175)在子類別中遵循 BaseHook connection fields 方法簽名。 (#36086)
其他雜項¶
透過 Ruff 在文件字串中新增程式碼片段格式化。 (#36262)從 Amazon Provider 中移除剩餘的 Airflow 2.6 向下相容程式碼。 (#36324)
8.13.0¶
注意
如Apache Airflow providers 支援政策中所述，此 provider 版本僅適用於 Airflow 2.6+。
新功能¶
支援 Redshift serverless 的 IAM authentication 。 (#35897)在 AWS auth manager 中實作 'is_authorized_variable' 。 (#35804)增強 'DynamoDBValueSensor' 中的 'attribute_value' 以接受 list 。 (#35831)
錯誤修復¶
修復 'RedshiftToS3Operator' 中單引號的處理。 (#35986)修復 Redshift Serverless 的 get_iam_token 中的錯誤。 (#36001)修復 'AthenaHook.get_output_location' 中 try block 外的 reraise 。 (#36008)修復 EKS trigger 中存取 hooks 的錯誤。 (#35989)修復 'GlacierToGCSOperator' 中使用的方法名稱錯誤。 (#35978)修復 client_type api 的 EC2Hook get_instance 。 (#35960)避免在 EmrServerlessCancelJobsTrigger init 中建立 hook 。 (#35992)在將 'EmrContainerTrigger' 遷移到 'AwsBaseWaiterTrigger' 之後，停止從 event 獲取 message 。 (#35892)修復 'EksCreateClusterOperator' 可延遲模式的問題。 (#36079)
其他雜項¶
將 providers 中的最低 Airflow 版本提高到 Airflow 2.6.0 。 (#36017)更新 'boto3' 和 'botocore' 版本說明。 (#36073)改進 only_client_type decorator 的類型提示。 (#35997)重構 EmrContainerHook 中的某些方法。 (#35999)重構 AthenaHook 中的 get_output_location 。 (#35996)將 RDS hook 移動到 RDS trigger 中的快取屬性。 (#35990)在 AzureBlobStorageToS3Operator 中，將預設空 dict 值替換為 None 。 (#35977)更新 'set_context' 簽名以匹配超類別簽名，並停止在 CloudwatchTaskHandler 中設定實例屬性。 (#35975)在 AWS S3 FS 中使用 S3 hook 而不是 AwsGenericHook 。 (#35973)AWS auth manager： 實作所有 'is_authorized_*' 方法（但 'is_authorized_dag' 除外）。 (#35928)移除設定不存在的物件參數，並在 S3Hook 中使用本機變數代替。 (#35950)
8.12.0¶
新功能¶
新增 'EC2HibernateInstanceOperator' 和 'EC2RebootInstanceOperator' 。 (#35790)為 'S3FileTransformOperator' 新增 OpenLineage 支援。 (#35819)為 S3Operators - Copy、Delete 和 Create Object 新增 OpenLineage 支援。 (#35796)為 Amazon AWS provider Batch Operator 新增 retry strategy 參數，以允許動態 Batch retry strategies 。 (#35789)在 EmrServerlessStartJobOperator 中，為 template_fields 新增 name 欄位。 (#35648)openlineage，aws： 為 AthenaOperator 新增 OpenLineage 支援。 (#35090)在 AWS auth manager 中實作登入和登出。 (#35488)
錯誤修復¶
修復 Batch operator 的 retry_strategy 。 (#35808)修復並重新應用 provider 文件樣板。 (#35686)使 EksPodOperator exec config 不依賴記錄層級。 (#35771)修復 'EmrServerlessStartJobOperator' 中的 'configuration_overrides' 參數。 (#35787)
其他雜項¶
更新文件字串： 'check_key_async' 現在與 '_check_key_async' 的描述一致。 (#35799)檢查父類別上的 attr 而不是 TaskContextLogger set_context 上的 self re 。 (#35780)允許更廣泛的 watchtower 版本範圍。 (#35713)擴展使用 AWS S3 進行遠端記錄的 task context logging 支援。 (#32950)如果 ECS Executor 的 task 失敗，則記錄 containers 的失敗原因。 (#35496)
8.11.0¶
重大變更¶
新功能¶
為 objectstorage 新增對 s3 buckets 的匿名存取支援。 (#35273)ECS Executor 健康檢查。 (#35412)
錯誤修復¶
修復 AWS RDS hook 的 DB instance 狀態檢查。 (#34773)修復 Amazon 文件字串中的參數語法。 (#35349)改進 AWS 連結中的錯誤處理。 (#35518)使用 catchall except 更新 ECS executor 健康檢查。 (#35512)
其他雜項¶
將 ECS Executor 移動到其自己的檔案中。 (#35418)在 ECS Executor 記錄訊息中，闡明 "task" 。 (#35304)使 'AthenaOperator' 中的 'output_location' 屬性成為可選。 (#35265)
8.10.0¶
注意
此版本引入實驗性功能：AWS ECS Executor。
新功能¶
新增 AWS ECS Executor 。 (#34381)AIP-58： 新增 Airflow ObjectStore (AFS) 。 (#34729)新增 Http to s3 operator 。 (#35176)
錯誤修復¶
在 S3 download_files() hook 中啟用加密。 (#35037)
其他雜項¶
在 Amazon AppFlow Operators 中使用基本 aws classes 。 (#35082)在 Amazon Athena Operators/Sensors/Triggers 中使用基本 aws classes 。 (#35133)在 Amazon Lambda Operators/Sensors 中使用基本 aws classes 。 (#34890)在 Amazon S3 Glacier Operators/Sensors 中使用基本 aws classes 。 (#35108)在 'AthenaOperator' 中公開 catalog 參數。 (#35103)
8.9.0¶
新功能¶
新增 Glue 'DataBrew' operator 。 (#34807)新增 'check_interval' 和 'max_attempts' 作為 'DynamoDBToS3Operator' 的參數。 (#34972)
錯誤修復¶
將 'EcsRunTaskOperator' 預設 waiter duration 設定為 70 天。 (#34928)
8.8.0¶
注意
此供應商版本僅適用於 Airflow 2.5+，如Apache Airflow 供應商支援政策中所述。
功能¶
實作 'AwsBaseOperator' 和 'AwsBaseSensor' （#34784）將 hooks 引數 擴展 到 'AwsBaseWaiterTrigger' （#34884）允許 在 AWS 連線中 針對每個服務 設定 'endpoint_url' （#34593）將 AWS Lambda 執行 日誌 包含 到 任務 日誌 中 （#34692）
錯誤修正¶
fix(providers/amazon): 當 引發 例外 時，尊重 soft_fail 引數 （#34134）如果 我們 找不到 日誌 ，則 不要 使 operator 失敗 （#34570）在 執行 'BatchSensors' 時，尊重 'soft_fail' 引數 （#34592）在 執行 'SqsSensor' 時，尊重 'soft_fail' 引數 （#34569）在 執行 'EcsBaseSensor' 時，尊重 'soft_fail' 引數 （#34596）在 執行 'SageMakerBaseSensor' 時，尊重 'soft_fail' 引數 （#34565）在 'S3KeysUnchangedSensor' 和 'S3KeySensor' 中，尊重 'soft_fail' 參數 （#34550）在 'LambdaFunctionStateSensor' 中，尊重 'soft_fail' 參數 （#34551）在 'AthenaSensor' 中，尊重 'soft_fail' 參數 （#34553）在 'QuickSightSensor' 中，尊重 'soft_fail' 參數 （#34555）在 'GlacierJobOperationSensor' 中，尊重 'soft_fail' 參數 （#34557）在 'GlueJobSensor'、 'GlueCatalogPartitionSensor' 和 'GlueCrawlerSensor' 中，尊重 'soft_fail' 參數 （#34559）在 'StepFunctionExecutionSensor' 中，尊重 'soft_fail' 參數 （#34560）
其他¶
重構 providers 中 從 io 匯入 的 consolidate （#34378）將 watchtower 升級 至 3.0.1 （#25019） （#34747）提高 providers 的 最低 airflow 版本 （#34728）重構： providers 中 time 匯入 的 consolidate （#34402）重構 providers 中 str() 的 用法 （#34320）重構 從 collections 匯入 （#34406）闡明 Amazon Lambda 調用 和 感測 （#34653）重構 providers 中 多個 equals 為 contains （#34441）在 'GCSToS3Operator' 中，將 'bucket' 重新命名為 'gcs_bucket' （#33031）移除 Amazon Provider 中重複的 'asgiref' 相依性 （#34580）更新 'BatchOperator' operator_extra_links 屬性 （#34506）sagemaker.py 拼字 錯誤 修正 （#34445）在 providers 中使用 'airflow.exceptions.AirflowException' （#34511）在 Amazon provider 中已棄用的 裝飾器 中使用 'AirflowProviderDeprecationWarning' （#34488）在 EMR Operators 中使用 'AirflowProviderDeprecationWarning' （#34453）棄用 DataSyncOperator 中的 get_hook ，並 改用 hook （#34427）重構 providers 中 更短的 預設值 （#34347）
8.7.1¶
錯誤修正¶
錯誤修正： 修正 RDS 觸發器 參數，以便它們 處理 序列化/反序列化 （#34222）在 EmrAddStepsOperator 延遲 模式 中使用 基於 AwsBaseWaiterTrigger 的 觸發器 （#34216）
其他¶
重構： 在 providers 中 正面思考 （#34279）從 'EksPodOperator' 的 docstring 中移除 未使用的 'cluster_role_arn' 參數 （#34300）修正 'S3CreateObjectOperator' 的 docstring 中的 參數 名稱 （#34263）重構： 簡化 比較 （#34181）簡化 為 bool(...) （#34258）
8.7.0¶
警告
8.0.0 版本中引入的錯誤導致所有 EcsRunTaskOperator 任務與 ECS 任務分離，並在 10 分鐘後失敗，即使 ECS 任務仍在執行。在此版本中，我們透過將預設 waiter_max_attempts 值恢復為 sys.maxsize 來修正此問題。
功能¶
新增 Amazon SQS 通知器 （#33962）新增 Amazon SNS 通知器 （#33828）
錯誤修正¶
增加 'EcsRunTaskOperator' 中 'waiter_max_attempts' 的 預設 值 （#33712）修正 AWS 'EmrStepSensor' 在 延遲 模式 中 忽略 指定的 'aws_conn_id' 的問題 （#33952）修正 AppflowHook 中的 類型 註解 （#33881）使 Amazon Chime 連線 延遲載入 ，並 與 文件 一致 （#34000）當 在 可延遲 模式 中 執行 BatchSensor 時，尊重 "soft_fail" 引數 （#33405）
其他¶
重構： Consolidate random 的 匯入 和 用法 （#34108）
Consolidate os.path.* 的 匯入 （#34060）
重構 providers 中的 regex （#33898）
重構： 簡化 aws/triggers/batch.py 中的 迴圈 （#34052）
合併 providers 中 類似的 if 邏輯 （#33987）
在 tests 中，將 單引號 替換為 雙引號 （#33864）
從 providers 中移除 無用的 字串 join （#33968）
使 'aws.session_factory' 成為 Amazon provider 組態 文件 的一部分 （#33960）
重構 providers 中 不必要的 跳躍 （#33833）
在 providers 中，將 try - except pass 替換為 contextlib.suppress （#33980）
從 providers 程式碼 中移除 一些 無用的 try/except （#33967）
重構： 在 providers 中，將 lambdas 替換為 comprehensions （#33771）
在 Airflow providers 中，將 序列 串連 替換為 unpacking （#33933）
重新組織 airflow's setup.py 中的 devel_only extra （#33907）
從 Airflow providers 套件 和 tests 中移除 顯式的 str concat （#33860）
透過 將 一些 模組 移至 類型檢查 區塊 中，改善 AWS provider 中的 模組 匯入 （#33780）
始終 使用 來自 'typing_extensions' 的 'Literal' （#33794）
在 providers 中使用 literal dict 而不是 調用 dict() （#33761）
移除 不必要的 並 在 providers 中使用 list 重寫它 （#33763）
8.6.0¶
功能¶
新增 Amazon SageMaker Notebook hook 和 operators （#33219）將 'deferrable' 選項 新增 至 'LambdaCreateFunctionOperator' （#33327）將 可延遲 模式 新增 至 GlueCatalogPartitionSensor （#33239）將 'sql_hook_params' 參數 新增 至 'S3ToSqlOperator' （#33427）將 'sql_hook_params' 參數 新增 至 'SqlToS3Operator' （#33425）將 參數 新增 到 'GlueJobOperator ' 以傳遞 角色 ARN （#33408）新增 RdsStartExportTaskOperator 參數 （#33251）
錯誤修正¶
修正 當 使用 AWS CloudWatch 時，任務 日誌 中的 錯誤。 不要 設定 'start_time' （#33673）修正 AWS Batch waiter 失敗 狀態 （#33656）修正 AWS appflow waiter （#33613）修正 在 'SageMakerEndpointOperator' 中，當 fallback 到 update 時，剝離 標籤 的問題 （#33487）
其他¶
簡化 providers/amazon 中對 len() 的 條件 （#33565）移除 EcsRunTaskOperator 中 非公開 介面 用法 （#29447）升級 botocore/aiobotocore 最低 需求 （#33649）Consolidate itertools 的 匯入 和 用法 （#33479）Consolidate pandas 的 匯入 和 用法 （#33480）始終 在 'EcsRunTaskOperator' 中，將 ECS 任務 ARN 推送 到 xcom （#33703）使用 連結到 resource meta 的 'boto3.client' ，而不是 為 waiters 建立 新的 一個 （#33552）
8.5.1¶
錯誤修正¶
取得 EMR 作業 失敗 的 失敗 資訊 （#32151）修正 AWS logs hook 中的 get_log_events() （#33290）
其他¶
改善 從 AWS 擷取 日誌 （#33231）重構： 簡化 providers/amazon 中的 程式碼 （#33222）實作 EventBridge 啟用 和 停用 規則 operators （#33226）更新 mypy-boto3-appflow 相依性 （#32930）在 'RdsBaseOperator' 中使用 來自 functools 的 'cached_property' （#33133）為 'EcsDeregisterTaskDefinitionOperator' 的 'template_fields' 使用 set （#33129）
8.5.0¶
功能¶
openlineage, sagemaker: 為 SageMaker 的 Processing、 Transform 和 Training operators 新增 OpenLineage 支援 （#31816）新增 Amazon EventBridge PutRule hook 和 operator （#32869）將 GCS Requester Pays bucket 支援 新增 至 GCSToS3Operator （#32760）
錯誤修正¶
在 GCSToS3Operator 中，在 提供 match_glob 參數 之前，檢查 google provider 版本 （#32925）為 延遲 BatchJobOperator 設定 更長的 預設 'waiter_max_attempts' （#33045）
其他¶
openlineage, sagemaker: 新增 遺失的 OpenLineage 類型 簽章 （#33114）為 mypy 新增 S3Bucket （#33028）
8.4.0¶
功能¶
在 test_connection 中新增 endpoint_url （#32664）新增 對 查詢 Redshift Serverless 叢集 的 支援 （#32785）將 可延遲 模式 新增 至 StepFunctionStartExecutionOperator （#32563）為 EMR Serverless Start Job Operator 新增 可延遲 模式 （#32534）新增 Eventbridge PutEvents operator 和 hook （#32498）將 可延遲 模式 新增 至 rds start & stop DB （#32437）EMR serverless Create/Start/Stop/Delete Application 可延遲 模式 （#32513）使 Start 和 Stop SageMaker Pipelines operators 可延遲 （#32683）EKS Create/Delete Operator 的 可延遲 模式 （#32355）
錯誤修正¶
FIX AWS 可延遲 operators，方法是當 使用 'assume_role' 時，使用 AioCredentials （#32733）[bugfix] 修正 AWS 觸發器，如果 未指定 區域，反序列化 會崩潰 的問題 （#32729）修正 prune_dict 中的 錯誤，即使在 strict 模式 下，也會移除 空 dict 和 list （#32573）修正 S3ToRedshiftOperator 不支援 UPSERT 的 預設 值 的問題 （#32558）在 max_attempts 之後，不要 從 AWS ECS 觸發器 傳回 success （#32589）
其他¶
將 所有 k8S 類別 移至 cncf.kubernetes provider （#32767）將 Appflow mypy 限制為 1.28.12 ，因為它 引入了 奇怪的 類型 問題 （#32901）進一步 限制 mypy-boto3-appflow ，因為 修復 尚不明朗 （#32927）
8.3.0¶
功能¶
新增 'ChimeWebhookHook' （#31939）新增 'ChimeNotifier' （#32222）將 可延遲 模式 新增 至 S3KeysUnchangedSensor （#31940）將 可延遲 模式 新增 至 'RdsCreateDbInstanceOperator' 和 'RdsDeleteDbInstanceOperator' （#32171）為 'AthenaOperator' 新增 可延遲 模式 （#32186）為 'BatchCreateComputeEnvironmentOperator' 新增 可延遲 模式 （#32036）在 EMR operator 和 sensor 中新增 可延遲 模式 （#32029）將 async wait 方法 新增 至 "with logging" aws utils （#32055）將 自訂 waiters 新增 至 EMR Serverless （#30463）新增 一個選項 到 'GlueJobOperator' ，以便在 TI 被 終止 時 停止 作業 執行 （#32155）'SageMakerTuningOperator' 和 'SageMakerEndpointOperator' 的 可延遲 模式 （#32112）EKS Create/Delete Nodegroup 可延遲 模式 （#32165）ECS operators 的 可延遲 模式 （#31881）feature: AWS - GlueJobOperator - job_poll_interval （#32147）新增 'AzureBlobStorageToS3Operator' 傳輸 operator （#32270）為 aws 觸發器 引入 一個 基底 類別 （#32274）
錯誤修正¶
bugfix: 分解 ECS operator 中的 run+wait 方法 （#32104）處理 剖析 無效的 's3_url' 時的 'UnboundLocalError' （#32120）修正 'LambdaInvokeFunctionOperator' payload 參數 類型 （#32259）Bug fix GCSToS3Operator: 當 'replace=False' 且 S3 中已存在 檔案 時，避免 'ValueError' （#32322）
其他¶
棄用 'delimiter' 參數 和 來源物件的 萬用字元 在 GCS 中，引入 'match_glob' 參數。 （#31261）aws waiter util: 在 waiter 錯誤 時，使用 錯誤 層級 記錄 狀態 資訊 （#32247）重寫 ecs 中用於 擷取 更少 日誌 的方法 （#31786）重構 Eks Create Cluster Operator 程式碼 （#31960）在 'AthenaHook' 中使用 waiter （#31942）將 'on_finish_action' 新增 至 'KubernetesPodOperator' （#30718）新增 default_deferrable config 設定 (#31712)棄用傳遞任意參數至 RDS hook (#32352)快速修復 RDS operator 以防止參數衝突 (#32436)移除在 AWS RDS trigger 中指定任意 hook 參數的功能 (#32386)僅在 config dict 中存在時更新 crawler 標籤 (#32331)
8.2.0¶
注意
此版本已移除對 Python 3.7 的支援
新功能¶
新增 deferrable 選項至 EmrTerminateJobFlowOperator (#31646)新增 Deferrable 選項至 EmrCreateJobFlowOperator (#31641)新增 deferrable 模式至 'BatchSensor' (#30279)新增 deferrable 模式至 S3KeySensor (#31018)新增 Deferrable 模式至 Emr Add Steps operator (#30928)在 Redshift 刪除叢集中新增 deferrable 模式 (#30244)新增 deferrable 模式至 AWS glue operators (Job & Crawl) (#30948)在 BatchOperator 中新增 deferrable 參數 (#30865)新增 Deferrable 模式至 RedshiftCreateClusterSnapshotOperator (#30856)EksCreateFargateProfileOperator 和 EksDeleteFargateProfileOperator 的 Deferrable 模式 (#31657)允許匿名 AWS 存取 (#31659)支援 S3ListOperator 和 S3ToGCSOperator 中的萬用字元 (#31640)在 'EmrContainerSensor' 中新增 'deferrable' 參數 (#30945)為 BatchOperator 新增即時容器執行日誌 (#31837)
錯誤修正¶
ECS 執行任務 operator 的多項修復 (#31838)修正 glue operators deferrable 模式的傳回值 (#31694)加回遺失的 AsyncIterator 導入 (#31710)使用續傳令牌 (continuation token) 以取得 ecs 中的日誌 (#31824)在 while 迴圈中提取狀態，以避免過早退出 (#31804)[AWS hook] 使用提供的客戶端以在備用 (fallback) 時取得官方的 waiter (#31748)處理 emr 'describe_cluster' API 回應中遺失的 LogUri (#31482)
其他¶
新增 Python 3.11 支援 (#27264)為 EmrServerlessStartJobOperator 新增 config 範本欄位 (#31746)在 Amazon Redshift 連線中為主機 (host) 新增空值檢查 (#31567)將 workgroup 新增至範本化欄位 (#31574)為 _read_remote_logs 新增文件字串 (docstring) 和簽名 (#31623)棄用 'EcsRegisterTaskDefinitionOperator' 和 'EcsDeregisterTaskDefinitionOperator' 中的 'wait_for_completion' (#31884)移除 Python 3.7 支援 (#30963)變更 RedshiftResumeClusterOperator 的 Deferrable 實作以符合標準 (#30864)變更 RedshiftPauseClusterOperator 的 Deferrable 實作以符合標準 (#30853)
8.1.0¶
注意
此供應商版本僅適用於 Airflow 2.4+，如 Apache Airflow 供應商支援政策中所述。
新功能¶
DynamoDBToS3Operator - 新增將表格匯出到時間點的功能。 (#31142)在 SageMakerTransformOperator 中新增 deferrable 參數 (#31063)在 SageMakerTrainingOperator 中新增 deferrable 參數 (#31042)在 SageMakerProcessingOperator 中新增 deferrable 參數 (#31062)透過 AWS Connection 為 Amazon Redshift Connection 新增 IAM 驗證 (#28187)'StepFunctionStartExecutionOperator': 在失敗時取得日誌 (#31072)為 EMR Serverless Job Operator 新增 on_kill 功能 (#31169)為 EC2StateSensor 新增 Deferrable 模式 (#31130)
錯誤修正¶
重大修正：EMRHook 迴圈遍歷分頁回應以檢查叢集 ID (#29732)
其他¶
提升供應商中的最低 Airflow 版本 (#30917)為 S3ToRedshiftOperator 新增範本欄位 (#30781)為更多 EMR Operators 和 Sensors 新增額外連結 (#31032)為 S3 delete_bucket 新增重試機制 (#31192)在 RedshiftCreateClusterSnapshotOperator 中新增 tags 參數 (#31006)改善/修正 glue 工作日誌列印 (#30886)僅在 deferrable 為 true 時導入 aiobotocore (#31094)更新 'S3Hook' 上 'get_key' 方法的傳回類型 (#30923)支援 BatchOperator 中的 'shareIdentifier' (#30829)BaseAWS - 當 resource_type 為 user 時覆寫客戶端，以取得自訂 waiter (#30897)新增未來相容的 mongo Hook 型別標註 (typing) (#31289)當 resource_type 用於取得自訂 waiter 時，處理臨時憑證 (#31333)
8.0.0¶
重大變更¶
警告
在此供應商版本中，已從以下 operators 移除已棄用的 GCS hook 參數 delegate_to：GCSToS3Operator、GlacierToGCSOperator 和 GoogleApiToS3Operator。可以改用 impersonation_chain 參數來實現模擬身分。
從 GCSToS3Operator 移除已棄用的參數 google_cloud_storage_conn_id，應改用 gcp_conn_id。
從 Athena 和 EMR hook & operators 移除已棄用的參數 max_tries，改用 max_polling_attempts。
從 emr hook 移除已棄用的方法 waiter，改用更通用的 airflow.providers.amazon.aws.utils.waiter.waiter
從 Redshift Cluster 的 hook 方法 get_cluster_snapshot_status 移除已棄用且未使用的參數 cluster_identifier
從 Sagemaker hook 移除已棄用的方法 find_processing_job_by_name，改用 count_processing_jobs_by_name。
移除已棄用的模組 airflow.providers.amazon.aws.operators.aws_lambda，改用 airflow.providers.amazon.aws.operators.lambda_function
移除 EcsOperator，改用 EcsRunTaskOperator。EcsTaskLogFetcher 和 EcsProtocol 應從 hook 導入。
移除 AwsLambdaInvokeFunctionOperator，改用 LambdaInvokeFunctionOperator。
從 RedshiftDataOperator 移除已棄用的參數 await_result，改用 wait_for_completion。此 operator 的某些方法應改為從 hook 導入。
移除已棄用的 RedshiftSQLOperator，改用通用的 SQLExecuteQueryOperator。原本作為 redshift_conn_id 傳遞的參數需要變更為 conn_id，行為應保持不變。
從 secrets manager 移除已棄用的方法 get_conn_uri，改用 get_conn_value。同時也從 systems manager 移除已棄用的方法 get_conn_uri。應改用 deserialize_connection(...).get_uri()。
從 ImapAttachmentToS3Operator、MongoToS3Operator 和 S3ToSFTPOperator 移除已棄用且未使用的參數 s3_conn_id。
從 GCP operators 和 hooks 移除 delegate_to (#30748)從 Amazon 供應商移除已棄用的程式碼 (#30755)
新功能¶
為 emr serverless 新增停止 operator (#30720)SqlToS3Operator - 新增分割 SQL 表格的功能 (#30460)新的 AWS sensor — DynamoDBValueSensor (#28338)為 emr serverless 停止/刪除 operator 新增 "force" 選項 (#30757)在 AMPP 中新增對 deferrable operators 的支援 (#30032)
錯誤修正¶
修正日誌記錄問題 (#30703)DynamoDBHook - waiter_path() 需考量 'resource_type' 或 'client_type' (#30595)在 EcsRunTaskOperator 中新增覆寫 waiter 延遲的能力 (#30586)在 AWS Batch Operator 中新增對多節點工作的支援 (#29522)AWS 日誌。當從 AWS Cloudwatch 日誌傳回 3 個連續回應時快速退出 (#30756)修正無 aws_session_token 時的非同步連線 (#30868)
其他¶
從 EmrStepSensor 移除 @poke_mode_only (#30774)整理 Amazon 供應商文件索引 (#30541)移除 EksPodOperator 中重複的參數文件字串 (docstring) (#30634)更新 AWS EMR Cluster 連結以使用新的儀表板 (#30844)將 aiobotocore 還原為 amazon 供應商的可選相依性 (#30874)
7.4.1¶
錯誤修正¶
修正 'RedshiftResumeClusterOperator' deferrable 實作 (#30370)
其他¶
為 quicksight 錯誤訊息新增更多資訊 (#30466)為 s3 bucket 新增範本欄位 (#30472)在 SFTP to S3 operator 中將 s3_bucket 新增至範本欄位 (#30444)
7.4.0¶
新功能¶
為 'RedshiftResumeClusterOperator' 新增 deferrable 模式 (#30090)新增 'AwsToAwsBaseOperator' (#30044)在 RedshiftPauseClusterOperator 中新增 deferrable 模式 (#28850)為 DynamoDB 新增對不同 AWS 連線的支援 (#29452)新增 'EC2CreateInstanceOperator', 'EC2TerminateInstanceOperator' (#29548)使 GlueJobOperator 中的更新設定行為成為可選 (#30162)具有動態值的自訂 waiters，應用於 appflow (#29911)在使用遠端日誌記錄時，支援刪除本機日誌檔案 (#29772)
其他¶
將字串列舉類別移動到 utils 模組 + 新增測試 (#29906)使 cncf 供應商檔案名稱與 AIP-21 對齊 (#29905)為 appflow hook 重寫輪詢程式碼 (#28869)
7.3.0¶
新功能¶
將受影響的列數新增至 Redshift Data API hook (#29797)在 'RedshiftCreateClusterOperator' 中新增 'wait_for_completion' 參數 (#29657)新增 Amazon Redshift-data 至 S3<>RS 傳輸 Operators (#27947)允許使用 *_lookup_pattern 參數指定在後端查找哪個連線、變數或設定 (#29580)為 AWS hook AssumeRoleWithWebIdentity 實作檔案憑證供應商 (#29623)為某些 EMR operators 實作自訂 boto waiters (#29822)
錯誤修正¶
修正檢查 sagemaker 中工作名稱的程式碼 (#29245)如果正在串流日誌，避免為 S3TaskHandler 發出備用訊息 (#29708)在 ECS Operators 中使用 waiters 而非內部 sensors (#29761)
其他¶
RedshiftDataOperator 的改進：更好的錯誤報告和傳回 SQL 結果的能力 (#29434)標準化 AWS lambda 命名 (#29749)AWS Glue 工作 hook：使 s3_bucket 參數成為可選 (#29659)'RedshiftDataOperator' 將 'await_result' 替換為 'wait_for_completion' (#29633)
7.2.1¶
錯誤修正¶
明確處理 AWS 供應商中設定解析引發的例外 (#29587)
其他¶
修正 EcsRunTaskOperator 的文件字串 (docstring) region_name -> region (#29562)
7.2.0¶
新功能¶
在 EmrCreateJobFlowOperator 上新增等待完成的選項 (#28827)新增傳輸 operator S3 to (generic) SQL (#29085)在衝突時為 stop_pipeline 新增重試機制 (#29077)為 AWS Glue 工作主控台 URL 新增日誌 (#28925)啟用個別 trigger 日誌記錄 (#27758)
錯誤修正¶
修正：'num_of_dpus' 型別提示 - GlueJobHook/Operator (#29176)修正 DataSyncHook 中用於在 NFS 和 EFS 中建立位置的 boto3 方法中的錯字 (#28948)解密 SsmHook 取得的 SecureString 值 (#29142)
其他¶
記錄 redshift sensor 中觀察到的狀態 (#29274)使用 thin/passthrough hook 而非單行 hook 方法 (#29252)將 AWS SqlToS3Operator 傳輸中的導入移動到可呼叫函式 (#29045)為 EKS sensors 引入基礎類別 (#29053)引入一種將字典轉換為 boto 樣式鍵值列表的方法 (#28816)更新 provide_bucket_name() decorator 以處理新的 conn_type (#28706)uniformize getting hook through cached property in aws sensors (#29001)在 AWS 感測器中，uniformize 透過快取屬性取得 hook。 (#29001)
7.1.0¶
功能¶
在樣板化欄位中新增 ''configuration_overrides''。 (#28920)新增一個新的 SSM hook，並在系統測試環境建構器中使用它。 (#28755)在 emr.add_job_flow_steps 中新增 waiter config params。 (#28464)新增 AWS SageMaker Auto ML operator 和 sensor。 (#28472)新增 operator 以建立 sagemaker 實驗。 (#28837)
錯誤修正¶
避免從 S3HookUriParseFailure 循環匯入。 (#28908)在 AWS Batch 模組中使用 compat 支援 cached_property。 (#28835)在 "provide bucket" 之前套用 "unify bucket and key"。 (#28710)
雜項¶
更新 S3ToRedshiftOperator 文件，以告知使用者關於多個 key 功能。 (#28705)重構 waiter 函式並改進單元測試。 (#28753)在 numpy 遺失的情況下，提出更佳的例外。 (#28722)不要從 provide_bucket_name 呼叫 get_connection 函式。 (#28716)
7.0.0¶
重大變更¶
‘SecretsManagerBackend’ 中的 JSON secrets 永遠不會被解讀為 urlencoded。在 5.x 和 6.x 版本中，程式碼會根據上下文線索推斷 JSON secret 值是否為 urlencoded；現在總是使用未修改的值來建構 Connection 物件。
Pandas 現在是 provider 的可選依賴項。SqlToS3Operator 和 HiveToDynamoDBOperator 需要安裝 Pandas (您可以在安裝 provider 時新增 [pandas] extra 來自動安裝)。
使 pandas 依賴項目對於 Amazon Provider 成為可選。 (#28505)
功能¶
棄用 SecretsManagerBackend 的 'full_url_mode'；無論 secret 是 JSON 還是 URL，都會被推斷出來。 (#27920)在 AddStepsOperator 中新增執行角色參數。 (#28484)新增 AWS SageMaker operator 以註冊模型的版本。 (#28024)為 EMR Steps Sensor 日誌新增連結。 (#28180)新增 Amazon Elastic Container Registry (ECR) Hook。 (#28279)新增 EMR Notebook 運算子。 (#28312)建立 'LambdaCreateFunctionOperator' 和 sensor。 (#28241)更佳地支援 Boto Waiters。 (#28236)Amazon Provider Package 使用者代理程式。 (#27823)允許透過 EmrServerless Operators 配置 waiter。 (#27784)為 aws sagemaker pipelines 新增 operators + sensor。 (#27786)更新 RdsHook docstrings，以符合正確的參數名稱。 (#28108)在 aws athena hook 中新增一些重要的日誌訊息。 (#27917)Lambda hook: 使 runtime 和 handler 成為可選項目。 (#27778)
錯誤修正¶
修正 EmrAddStepsOperature wait_for_completion 參數無法運作的問題。 (#28052)正確地樣板化 Glue Jobs 'create_job_kwargs' 參數。 (#28403)修正 S3KeySensor 中樣板呈現的 bucket_key。 (#28340)修正使用 DynamoDBToS3Operator 時的型別錯誤。 (#28158)如果 AWSGlueJobHook 存在，則更新 job configuration。 (#27893)修正使用 tags 時 GlueCrawlerOperature 失敗的問題。 (#28005)
雜項¶
修正 S3KeySensor 文件。 (#28297)改進 'AwsLambdaInvokeFunctionOperator' 的文件字串。 (#28233)從 providers 中移除過時的 compat imports/code。 (#28507)新增重大變更的描述。 (#28582)[雜項] 在條件中移除 'pass' 陳述式。 (#27775)[雜項] 在 providers 中將 XOR '^' 條件替換為 'exactly_one' 輔助函式。 (#27858)
6.2.0¶
功能¶
對於 RDS 運算子，使用 Boto waiters 而不是 customer _await_status 方法。 (#27410)處理 'RedshiftResumeClusterOperator' 和 'RedshiftPauseClusterOperator' 中的暫態狀態錯誤。 (#27276)在 RedshiftDeleteClusterOperator 中新增重試選項，以便在叢集中有 operation 正在執行時重試。 (#27820)
錯誤修正¶
修正 SagemakerProcessingOperator 中的 job name 比對。 (#27634)將 common.sql provider 版本升級至 1.3.1。 (#27888)
6.1.0¶
注意
此 provider 版本僅適用於 Airflow 2.3+，如 Apache Airflow providers 支援政策中所述。
雜項¶
將所有 providers 的最低 Airflow 版本移至 2.3.0。 (#27196)將 urlparse 取代為 urlsplit。 (#27389)
功能¶
為 AWS SSM Parameter Store Secrets Backend 新增關於 JSON 連線格式的資訊。 (#27134)為 EMR Serverless jobs 新增預設名稱。 (#27458)在 'S3Hook.download_file' 方法中新增 'preserve_file_name' 參數。 (#26886)新增 GlacierUploadArchiveOperator。 (#26652)新增 RdsStopDbOperator 和 RdsStartDbOperator。 (#27076)'GoogleApiToS3Operator'：在樣板欄位中新增 'gcp_conn_id'。 (#27017)新增 SQLExecuteQueryOperator。 (#25717)新增關於 Amazon Elastic MapReduce 連線的資訊。 (#26687)新增 BatchOperator 樣板欄位。 (#26805)改進測試 AWS 連線回應。 (#26953)
錯誤修正¶
SagemakerProcessingOperator 停止遵循 'existing_jobs_found' 設定。 (#27456)當找不到 Amazon CloudWatch 日誌時，CloudWatch task handler 不會退回到 local 日誌。 (#27564)修正 RedshiftSQLOperator 的回溯相容性。 (#27602)修正 redshift sql hook get_ui_field_behaviour 中的錯字。 (#27533)修正 example_emr_serverless 系統測試。 (#27149)修正文件字串 RedshiftSQLHook get_table_primary_key 方法中的參數。 (#27330)在樣板欄位中新增 s3_key_prefix。 (#27207)如果使用者明確設定憑證，則修正 assume role 行為。 (#26946)修正 EmrServerlessStartJobOperator 的 waiter call 中的失敗狀態。 (#26853)修正 AWS 測試中的多個棄用警告。 (#26857)修正在非 Parquet 格式的 SqlToS3Operator 中的 null strings 錯誤。 (#26676)Sagemaker hook: 在等待完成時移除結尾的額外呼叫。 (#27551)ECS 小錯誤 (#26921)如果從 config 取得 secrets，則避免在 AWS Secrets Backends 中循環匯入。 (#26784)
6.0.0¶
重大變更¶
警告
在此 provider 版本中，Amazon S3 連線 (conn_type="s3") 已移除，因為它始終是 AWS 連線 conn_type="aws" 的別名。實際上，唯一影響是您將無法在 Web UI / API 中測試連線。為了恢復測試連線的能力，您需要手動將連線類型從 Amazon S3 (conn_type="s3") 變更為 Amazon Web Services (conn_type="aws")。
移除 Amazon S3 連線類型。 (#25980)
功能¶
在 amazon provider package 中新增 RdsDbSensor。 (#26003)在 RDS 運算子上設定 template_fields。 (#26005)在 Web UI 中自動追蹤檔案日誌。 (#26169)
錯誤修正¶
修正 SageMakerEndpointConfigOperator 的傳回值。 (#26541)修正即使在失敗時，仍標記為成功的 EMR Serverless Jobs 的問題。 (#26218)修正無效 'profile_name' 參數的 AWS 連線警告條件。 (#26464)Athena 和 EMR 運算子 max_retries 混淆修正。 (#25971)修正 SageMaker 運算子傳回值。 (#23628)在 Amazon Log Task Handlers 中移除多餘的 catch exception。 (#26442)
雜項¶
在 provider 內移除重複的 connection-type。 (#26628)
5.1.0¶
功能¶
額外的遮罩 aws credentials。 (#26014)新增 RedshiftDeleteClusterSnapshotOperator。 (#25975)新增 redshift create cluster snapshot operator。 (#25857)為 common-sql 新增 common-sql 下限版本限制。 (#25789)允許 AWS Secrets Backends 使用 AWS 連線功能。 (#25628)實作 'EmrEksCreateClusterOperator'。 (#25816)改進 bucket exist check 周圍的錯誤處理/訊息。 (#25805)
錯誤修正¶
修正顯示 aws connection info。 (#26025)修正 'EcsBaseOperator' 和 'EcsBaseSensor' 參數。 (#25989)修正 RDS 系統測試。 (#25839)在實例化 AWS SM backend 時避免循環匯入問題。 (#25810)修正在 5.0.0rc3 版本中建構 Connection 物件的錯誤。 (#25716)
5.0.0¶
重大變更¶
避免 AWS Secret Manager JSON 值必須為 urlencoded 的要求。 (#25432)移除已棄用的模組。 (#25543)在 wrapper 中解析 Amazon Hook 的 'region_name' 和 'config' 屬性。 (#25336)在 wrapper 中解析和驗證 AWS 連線參數。 (#25256)標準化 AwsLambda。 (#25100)將單體式 ECS 運算子重構為運算子、感測器和 Hook。 (#25413)從 Amazon provider 套件中移除已棄用的模組。 (#25609)
功能¶
新增 EMR Serverless 運算子和 Hooks。 (#25324)隱藏 Amazon Web Services 連線的未使用欄位。 (#25416)在 SageMakerTransformOperator 中啟用自動遞增 Transform job 名稱。 (#25263)將 DbApiHook.run() 方法與覆寫它的方法統一。 (#23971)SQSPublishOperator 應允許將訊息傳送到 FIFO 佇列。 (#25171)Glue Job Driver 日誌記錄。 (#25142)為 ParamSpec 升級 typing-extensions 和 mypy 版本。 (#25088)在 RedshiftDataOperator 中啟用多個查詢執行。 (#25619)
錯誤修正¶
修正 S3Hook 傳輸設定參數驗證。 (#25544)修正在 wait_for_completion = True 時的 BatchOperator 連結。 (#25228)變更 SqlToS3Operator 方法 _fix_int_dtypes。 (#25083)重構：棄用參數 'host' 作為連線的額外屬性。棄用是為了支持 extra 中的 'endpoint_url'。 (#25494)透過適當的方法取得 boto3.session.Session。 (#25569)
4.1.0¶
功能¶
在 AWS hook 中新增 test_connection 方法。 (#24662)新增 AWS 運算子以建立和刪除 RDS Database。 (#24099)在 'SqsSensor' 中新增批次選項。 (#24554)新增 AWS Batch 和 AWS CloudWatch 額外連結。 (#24406)重構 EmrClusterLink 並為其他 AWS EMR 運算子新增。 (#24294)將所有 SQL 類別移至 common-sql provider。 (#24836)Amazon AppFlow (#24057)使 S3Hook 中的 extra_args 在呼叫之間不可變。 (#24527)
錯誤修正¶
重構並修正 AWS secret manager 無效例外。 (#24898)修正：RedshiftDataHook 和 RdsHook 未使用快取連線。 (#24387)修正範例的來源連結。 (#24386)修正 S3KeySensor。請參閱 #24321 (#24378)修正：'EmrCreateJobFlowOperator' 中的 'emr_conn_id' 應為可選項目。 (#24306)更新 providers 以使用 functools compat 支援 ''cached_property'' 功能。 (#24582)
4.0.0¶
重大變更¶
注意
此 provider 版本僅適用於 Airflow 2.2+，如 Apache Airflow providers 支援政策中所述。
功能¶
在 GlueCatalogHook 中新增 partition 相關方法： (#23857)新增支援將自訂標籤關聯到透過 EmrContainerOperator 提交的 job runs。 (#23769)僅在 RedshiftCreateClusterOperator 中為 single-node cluster 新增節點參數數量。 (#23839)
錯誤修正¶
fix: StepFunctionHook ignores explicit set 'region_name' （#23976）Fix Amazon EKS example DAG raises warning during Imports （#23849）Move string arg evals to 'execute()' in 'EksCreateClusterOperator' （#23877）fix: patches #24215. Won't raise KeyError when 'create_job_kwargs' contains the 'Command' key. （#24308）
其他雜項¶
Light Refactor and Clean-up AWS Provider （#23907）Update sample dag and doc for RDS （#23651）Reformat the whole AWS documentation （#23810）Replace "absolute()" with "resolve()" in pathlib objects （#23675）Apply per-run log templates to log handlers （#24153）Refactor GlueJobHook get_or_create_glue_job method. （#24215）Update the DMS Sample DAG and Docs （#23681）Update doc and sample dag for Quicksight （#23653）Update doc and sample dag for EMR Containers （#24087）Add AWS project structure tests （re: AIP-47） （#23630）Add doc and sample dag for GCSToS3Operator （#23730）Remove old Athena Sample DAG （#24170）Clean up f-strings in logging calls （#23597）
3.4.0¶
功能特色¶
Add Quicksight create ingestion Hook and Operator （#21863）Add default 'aws_conn_id' to SageMaker Operators #21808 （#23515）Add RedshiftCreateClusterOperatorAdd 'S3CreateObjectOperator' （#22758）Add 'RedshiftDeleteClusterOperator' support （#23563）
錯誤修正¶
Fix conn close error on retrieving log events （#23470）Fix LocalFilesystemToS3Operator and S3CreateObjectOperator to support full s3:// style keys （#23180）Fix attempting to reattach in 'ECSOperator' （#23370）Fix doc build failure on main （#23240）Fix "Chain not supported for different length Iterable"'S3Hook': fix 'load_bytes' docstring （#23182）Deprecate 'S3PrefixSensor' and 'S3KeySizeSensor' in favor of 'S3KeySensor' （#22737）Allow back script_location in Glue to be None （#23357）
其他雜項¶
Add doc and example dag for Amazon SQS Operators （#23312）Add doc and sample dag for S3CopyObjectOperator and S3DeleteObjectsOperator （#22959）Add sample dag and doc for S3KeysUnchangedSensorAdd doc and sample dag for S3FileTransformOperatorAdd doc and example dag for AWS Step Functions OperatorsAdd sample dag and doc for S3ListOperator （#23449）Add doc and sample dag for EC2 （#23547）Add sample dag and doc for S3ListPrefixesOperator （#23448）Amazon Sagemaker Sample DAG and docs update （#23256）Update the Athena Sample DAG and Docs （#23428）Update sample dag and doc for Datasync （#23511）
3.3.0¶
功能特色¶
Pass custom headers through in SES email backend （#22667）Update secrets backends to use get_conn_value instead of get_conn_uri （#22348）
其他雜項¶
Add doc and sample dag for SqlToS3Operator （#22603）Adds HiveToDynamoDB Transfer Sample DAG and Docs （#22517）Add doc and sample dag for MongoToS3Operator （#22575）Add doc for LocalFilesystemToS3Operator （#22574）Add doc and example dag for AWS CloudFormation Operators （#22533）Add doc and sample dag for S3ToFTPOperator and FTPToS3Operator （#22534）GoogleApiToS3Operator: update sample dag and doc （#22507）SalesforceToS3Operator: update sample dag and doc （#22489）
3.2.0¶
功能特色¶
Add arguments to filter list: start_after_key, from_datetime, to_datetime, object_filter callable （#22231）
錯誤修正¶
Fix mistakenly added install_requires for all providers （#22382）ImapAttachmentToS3Operator: fix it, update sample dag and update doc （#22351）
3.1.1¶
功能特色¶
Added AWS RDS sensors （#21231）Added AWS RDS operators （#20907）Add RedshiftDataHook （#19137）Feature: Add invoke lambda function operator （#21686）Add JSON output on SqlToS3Operator （#21779）Add SageMakerDeleteModelOperator （#21673）Added Hook for Amazon RDS. Added 'boto3_stub' library for autocomplete. （#20642）Added SNS example DAG and rst （#21475）retry on very specific eni provision failures （#22002）Configurable AWS Session Factory （#21778）S3KeySensor to use S3Hook url parser （#21500）Get log events after sleep to get all logs （#21574）Use temporary file in GCSToS3Operator （#21295）
錯誤修正¶
AWS RDS integration fixes （#22125）Fix the Type Hints in ''RedshiftSQLOperator'' （#21885）Bug Fix - S3DeleteObjectsOperator will try and delete all keys （#21458）Fix Amazon SES emailer signature （#21681）Fix EcsOperatorError, so it can be loaded from a picklefile （#21441）Fix RedshiftDataOperator and update doc （#22157）Bugfix for retrying on provision failuers（#22137）If uploading task logs to S3 fails, retry once （#21981）Bug-fix GCSToS3Operator （#22071）fixes query status polling logic （#21423）use different logger to avoid duplicate log entry （#22256）
其他雜項¶
Add Trove classifiers in PyPI （Framework :: Apache Airflow :: Provider）Support for Python 3.10[doc] Improve s3 operator example by adding task upload_keys （#21422）Rename 'S3' hook name to 'Amazon S3' （#21988）Add template fields to DynamoDBToS3Operator （#22080）
3.0.0¶
重大變更¶
CloudFormationCreateStackOperator 和 CloudFormationDeleteStackOperator 使用 params 作為建構子引數之一，然而這個名稱與在 Airflow 2.2 中以不同方式處理的 params 欄位引數衝突。params 參數已重新命名為 cloudformation_parameters 以使其明確。
任何使用 CloudFormationCreateStackOperator 和 CloudFormationDeleteStackOperator 且傳遞 params 的地方，都應變更為使用 cloudformation_parameters 來取代。
Rename params to cloudformation_parameter in CloudFormation operators. （#20989）
功能特色¶
[SQSSensor] Add opt-in to disable auto-delete messages （#21159）Create a generic operator SqlToS3Operator and deprecate the MySqlToS3Operator. （#20807）Move some base_aws logging from info to debug level （#20858）AWS: Adds support for optional kwargs in the EKS Operators （#20819）AwsAthenaOperator: do not generate ''client_request_token'' if not provided （#20854）Add more SQL template fields renderers （#21237）Add conditional 'template_fields_renderers' check for new SQL lexers （#21403）
錯誤修正¶
fix: cloudwatch logs fetch logic （#20814）Fix all Amazon Provider MyPy errors （#20935）Bug fix in AWS glue operator related to num_of_dpus #19787 （#21353）Fix to check if values are integer or float and convert accordingly. （#21277）
其他雜項¶
Alleviate import warning for 'EmrClusterLink' in deprecated AWS module （#21195）Rename amazon EMR hook name （#20767）Standardize AWS SQS classes names （#20732）Standardize AWS Batch naming （#20369）Standardize AWS Redshift naming （#20374）Standardize DynamoDB naming （#20360）Standardize AWS ECS naming （#20332）Refactor operator links to not create ad hoc TaskInstances （#21285）eks_hook log level fatal -> FATAL （#21427）
2.6.0¶
功能特色¶
Add aws_conn_id to DynamoDBToS3Operator （#20363）Add RedshiftResumeClusterOperator and RedshiftPauseClusterOperator （#19665）Added function in AWSAthenaHook to get s3 output query results file URI （#20124）Add sensor for AWS Batch （#19850） （#19885）Add state details to EMR container failure reason （#19579）Add support to replace S3 file on MySqlToS3Operator （#20506）
錯誤修正¶
Fix backwards compatibility issue in AWS provider's _get_credentials （#20463）Fix deprecation messages after splitting redshift modules （#20366）ECSOperator: fix KeyError on missing exitCode （#20264）Bug fix in AWS glue operator when specifying the WorkerType & NumberOfWorkers （#19787）
其他雜項¶
Organize Sagemaker classes in Amazon provider （#20370）move emr_container hook （#20375）Standardize AWS Athena naming （#20305）Standardize AWS EKS naming （#20354）Standardize AWS Glue naming （#20372）Standardize Amazon SES naming （#20367）Standardize AWS CloudFormation naming （#20357）Standardize AWS Lambda naming （#20365）Standardize AWS Kinesis/Firehose naming （#20362）Standardize Amazon SNS naming （#20368）Split redshift sql and cluster objects （#20276）Organize EMR classes in Amazon provider （#20160）Rename DataSync Hook and Operator （#20328）Deprecate passing execution_date to XCom methods （#19825）Organize Dms classes in Amazon provider （#20156）Organize S3 Classes in Amazon Provider （#20167）Organize Step Function classes in Amazon provider （#20158）Organize EC2 classes in Amazon provider （#20157）Move to watchtower 2.0.1 （#19907）Fix mypy aws example dags （#20497）Delete pods by default in KubernetesPodOperator （#20575）
2.5.0 (YANKED)¶
警告
此版本已被撤回，原因是：Contains breaking changes
功能特色¶
Adding support for using ''client_type'' API for interacting with EC2 and support filters （#9011）Do not check for S3 key before attempting download （#19504）MySQLToS3Operator actually allow writing parquet files to s3. （#19094）
錯誤修正¶
Amazon provider remove deprecation, second try （#19815）Catch AccessDeniedException in AWS Secrets Manager Backend （#19324）
2.4.0¶
功能特色¶
MySQLToS3Operator add support for parquet format （#18755）Add RedshiftSQLHook, RedshiftSQLOperator （#18447）Remove extra postgres dependency from AWS Provider （#18844）Removed duplicated code on S3ToRedshiftOperator （#18671）
錯誤修正¶
Fixing ses email backend （#18042）Fixup string concatenations （#19099）更新 S3PrefixSensor 以 支援 檢查 多個 字首 在 一個 儲存貯體 內 (#18807)移動 範本化 輸入 參數 的 驗證 至 在 context 初始化 之後 執行 (#19048)修復 SagemakerProcessingOperator ThrottlingException (#19195)修復 S3ToRedshiftOperator (#19358)
2.3.0¶
此版本的 Redshift operators 至少需要 2.3.0 版本的 Postgres Provider。這已反映在 [postgres] extra 中，但 extras 並不保證安裝了正確版本的相依性（取決於安裝方法）。如果您在執行 Redshift operators 時遇到問題，請將 apache-airflow-providers-postgres provider 升級到至少 2.3.0 版本。
功能特色¶
新增 IAM 角色 憑證 至 S3ToRedshiftTransfer 和 RedshiftToS3Transfer (#18156)在 docstring 中 新增 遺失的 'replace' 參數 (#18241)在 S3ToRedshift operator 上 新增 upsert 方法 (#18027)為 job flow 範例 將 Spark 新增至 EMR 叢集 (#17563)更新 s3_list.py (#18561)ECSOperator 即時 日誌記錄 (#17626)棄用 EKSPodOperator 中的 預設 pod 名稱 (#18036)Aws secrets manager 後端 (#17448)sftp_to_s3 串流 檔案 選項 (#17609)AwsBaseHook 使 client_type resource_type 成為 get_client_type, get_resource_type 的 選用 參數 (#17987)刪除 EKSPodOperator 中 不必要的 參數 (#17960)啟用 AWS Secrets Manager 後端 以 使用 不同 欄位 檢索 連線 (#18764)新增 emr 叢集 連結 (#18691)AwsGlueJobOperator: 新增 wait_for_completion 至 Glue job run (#18814)啟用 FTPToS3Operator 以 傳輸 多個 檔案 (#17937)Amazon Athena 範例 (#18785)AwsGlueJobOperator: 新增 run_job_kwargs 至 Glue job run (#16796)Amazon SQS 範例 (#18760)新增 一個 s3 list prefixes operator (#17145)為 amazon provider 的 postgres extra 新增 額外的 相依性 (#18737)支援 S3KeySensor 中的 所有 Unix 萬用字元 (#18211)新增 AWS Fargate profile 支援 (#18645)
錯誤修正¶
當 ECS task 失敗時， ECSOperator 傳回 最後的 日誌 (#17209)針對 EKS 上 長時間執行的 pods 重新整理 憑證 (#17951)ECSOperator: 當 找不到 cloudwatch 日誌 串流 時， airflow 例外 在 邊緣情況下 (#18733)
2.2.0¶
功能特色¶
新增 Amazon EMR on EKS provider 套件 (#16766)在 ''RedshiftToS3Operator'' 中 新增 選用的 SQL 參數 (#17640)在 Amazon provider 下 新增 新的 LocalFilesystemToS3Operator (#17168) (#17382)新增 Mongo projections 至 hook 和 transfer (#17379)使 platform version 成為 ECSOperator 的 獨立 參數 (#17281)改善 AWS SQS Sensor (#16880) (#16904)實作 基本的 EKS 整合 (#16571)
錯誤修正¶
修復 在 Glue hooks/operators 中執行 load_file 時的 ParamValidationError (#16012)修復 #16972 - 在 AWS base hook 中 Slugify role session name (#17210)修復 EKSPodOperator 中 損壞的 XCOM (#17918)
其他¶
最佳化 Airflow 2.2.0 的 連線 匯入修復 provider.yaml 錯誤 由於 test 中 exit(0) (#17858)新增 secrets backend/logging/auth 資訊 至 provider yaml (#17625)
2.1.0¶
功能特色¶
允許 附加至 ECSOperator 中 先前啟動的 task (#16685)更新 AWS Base hook 以 使用 可重新整理的 憑證 (#16770) (#16771)在 RedshiftToS3Operator 的 範本化 欄位 中 新增 select_query (#16767)AWS Hook - 允許 IDP HTTP 重試 (#12639) (#16612)更新 ECSOperator 中的 Boto3 API 呼叫 (#16050)新增 自訂 Salesforce 連線 類型 + SalesforceToS3Operator 更新 (#17162)新增 SalesforceToS3Operator 至 Amazon Provider (#17094)
錯誤修正¶
AWS DataSync 預設 輪詢 從 5 秒 調整為 30 秒 (#11011)修復 AWS operators 的 錯誤 template_fields_renderers (#16820)AWS DataSync 在 例外情況下 取消 task (#11011) (#16589)修復 Amazon provider 的 template_fields_renderers (#17087)移除 try-catch 區塊 (#17081)ECSOperator / 傳遞 context 至 self.xcom_pull 因為 它 遺失了 （當 使用 reattach 時） (#17141)使 S3ToRedshiftOperator 交易安全 (#17117)
2.0.0¶
重大變更¶
自動套用 apply_default 裝飾器 (#15667)
警告
由於移除了 apply_default 裝飾器，此 provider 版本需要 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您想要安裝此 provider 版本，請先將 Airflow 升級到至少 2.1.0 版本。否則，您的 Airflow 套件版本將自動升級，並且您必須手動執行 airflow upgrade db 以完成移轉。
功能特色¶
CloudwatchTaskHandler 從 Cloudwatch 事件 讀取 時間戳記 (#15173)暫時 移除 retry (#16150)移除 S3_hook 上的 'not-allow-trailing-slash' 規則 (#15609)為 ECSOperator 新增 capacity provider strategy 的 支援 (#15848)更新 s3 to redshift 的 copy 命令 (#16241)在 SageMakerTrainingOperator 中 使 job name 檢查 成為選用 (#16327)新增 AWS DMS replication task operators (#15850)
錯誤修正¶
修復 S3 Select payload join (#16189)修復 'AwsBatchWaitersHook' docstring 中的 間距 (#15839)當 使用 單一 query （非 aggregate pipeline） 執行時， MongoToS3Operator 失敗 (#15680)修復: AwsGlueJobOperator 變更 load_file 的 args 順序 (#16216)修復 S3ToFTPOperator (#13796)
1.4.0¶
功能特色¶
S3Hook.load_file 應 接受 Path 物件 以及 str (#15232)
錯誤修正¶
修復 'logging.exception' 冗餘 (#14823)修復 AthenaSensor 不正確地 呼叫 AthenaHook (#15427)為 已棄用的 模組 新增 新 模組 的 連結 (#15316)修復 SQSSensor 的 文件 (#15323)
1.3.0¶
功能特色¶
大量 template_fields_renderers 新增 (#15130)將 region_name 傳送至 AwsGlueJobHook 的 父類別 (#14251)為 ECS Operator 新增 retry (#14263)使 AwsGlueJobOperator 中的 script_args 成為範本化 (#14925)新增 FTPToS3Operator (#13707)實作 S3 儲存貯體 標記 (#14402)S3DataSource 不是必要的 (#14220)
錯誤修正¶
AWS: 當 找不到 SSM & SecretsManager 秘密時， 請勿記錄 資訊 (#15120)在初始化 'CloudFormationCreateStackSensor' 時 快取 Hook (#14638)
1.2.0¶
功能特色¶
避免 在 S3 遠端 日誌記錄 上傳中 使用 threads (#14414)允許 AWS Operator RedshiftToS3Transfer 執行 自訂 Query (#14177)如果 使用 STS 憑證，則 包含 STS token (#11227)
1.1.0¶
功能特色¶
新增 支援 為 Glue Job 放入額外 arguments。 (#14027)新增 aws ses email backend 以用於 EmailOperator。 (#13986)在 S3 operators 中 將 bucket_name 新增至 template fileds (#13973)新增 ExasolToS3Operator (#13847)AWS Glue Crawler 整合 (#13072)新增 acl_policy 至 S3CopyObjectOperator (#13773)MongotoS3Operator 中的 AllowDiskUse 參數 和 文件 (#12033)新增 S3ToFTPOperator (#11747)為 ECSOperator 新增 xcom push (#12096)[AIRFLOW-3723] 為 mongo_to_S3 operator 新增 Gzip 功能 (#13187)新增 S3KeySizeSensor (#13049)在 MongoToS3Operator 中 將 'mongo_collection' 新增至 template_fields (#13361)允許 AWS Batch Job Submission 上的 Tags (#13396)
錯誤修正¶
修復 GCSToS3Operator 中的 錯誤 (#13718)修復 S3KeysUnchangedSensor ，使 template_fields 可以運作 (#13490)
1.0.0¶
provider 的初始版本。