每个 GKE on AWS 版本都附带相应的 Kubernetes 版本说明。它们与发行版本说明 (release notes) 类似,但特定于 Kubernetes 版本,并且可能会提供更多技术细节。
AWS on GKE 支持以下 Kubernetes 版本:
Kubernetes 1.29
1.29.3-gke.600
重大变更:从 Kubernetes 1.29 开始,集群需要与网域
kubernetesmetadata.googleapis.com
建立出站 HTTPS 连接。请确保您的代理服务器和/或防火墙配置允许此类流量。您还需要启用 Kubernetes Metadata API,可以在 Google Cloud 控制台中启用该 API。功能:不再需要连接到网域
opsconfigmonitoring.googleapis.com
。之前需要连接到此网域来实现日志记录和监控功能,但在 Kubernetes 1.29 及更高版本中不再需要此网域。您应该从防火墙和/或代理服务器配置中移除此网域。问题修复:修复了 Fluentbit 代理无响应并停止将日志注入到 Cloud Logging 的问题。解决方法是添加了一种机制,可以在检测到这种情况时自动重启代理。
问题修复:修复了集群自动扩缩器的问题,以使其遵循节点池上用户配置的标签和污点。此增强功能可实现从零节点准确扩容,并实现更精确的集群预配。此变更修复了以下已知问题。
安全修复程序:
- 修复了 CVE-2020-29509
- 修复了 CVE-2020-29511
- 修复了 CVE-2020-29652
- 修复了 CVE-2021-29923
- 修复了 CVE-2021-31525
- 修复了 CVE-2021-33195
- 修复了 CVE-2021-33196
- 修复了 CVE-2021-33197
- 修复了 CVE-2021-33198
- 修复了 CVE-2021-34558
- 修复了 CVE-2021-36221
- 修复了 CVE-2021-38297
- 修复了 CVE-2021-38561
- 修复了 CVE-2021-39293
- 修复了 CVE-2021-41771
- 修复了 CVE-2021-41772
- 修复了 CVE-2021-43565
- 修复了 CVE-2021-44716
- 修复了 CVE-2022-1705
- 修复了 CVE-2022-1962
- 修复了 CVE-2022-21698
- 修复了 CVE-2022-23772
- 修复了 CVE-2022-23773
- 修复了 CVE-2022-23806
- 修复了 CVE-2022-24675
- 修复了 CVE-2022-24921
- 修复了 CVE-2022-27191
- 修复了 CVE-2022-27664
- 修复了 CVE-2022-28131
- 修复了 CVE-2022-28327
- 修复了 CVE-2022-2879
- 修复了 CVE-2022-2880
- 修复了 CVE-2022-29526
- 修复了 CVE-2022-30580
- 修复了 CVE-2022-30629
- 修复了 CVE-2022-30630
- 修复了 CVE-2022-30631
- 修复了 CVE-2022-30632
- 修复了 CVE-2022-30633
- 修复了 CVE-2022-30635
- 修复了 CVE-2022-32148
- 修复了 CVE-2022-32149
- 修复了 CVE-2022-32189
- 修复了 CVE-2022-41715
- 修复了 CVE-2022-41717
- 修复了 CVE-2022-41724
- 修复了 CVE-2022-41725
- 修复了 CVE-2023-24532
- 修复了 CVE-2023-24534
- 修复了 CVE-2023-24536
- 修复了 CVE-2023-24537
- 修复了 CVE-2023-24538
- 修复了 CVE-2023-24539
- 修复了 CVE-2023-24540
- 修复了 CVE-2023-29400
- 修复了 CVE-2023-29402
- 修复了 CVE-2023-29403
- 修复了 CVE-2023-29404
- 修复了 CVE-2023-29405
Kubernetes 1.28
1.28.8-gke.800
- 问题修复:修复了集群自动扩缩器的问题,以使其遵循节点池上用户配置的标签和污点。此增强功能可实现从零节点准确扩容,并实现更精确的集群预配。此变更修复了以下已知问题。
- 安全修复程序:
- 修复了 CVE-2020-29509
- 修复了 CVE-2020-29511
- 修复了 CVE-2020-29652
- 修复了 CVE-2021-29923
- 修复了 CVE-2021-31525
- 修复了 CVE-2021-33195
- 修复了 CVE-2021-33196
- 修复了 CVE-2021-33197
- 修复了 CVE-2021-33198
- 修复了 CVE-2021-34558
- 修复了 CVE-2021-36221
- 修复了 CVE-2021-38297
- 修复了 CVE-2021-38561
- 修复了 CVE-2021-39293
- 修复了 CVE-2021-41771
- 修复了 CVE-2021-41772
- 修复了 CVE-2021-43565
- 修复了 CVE-2021-44716
- 修复了 CVE-2022-1705
- 修复了 CVE-2022-1962
- 修复了 CVE-2022-21698
- 修复了 CVE-2022-23772
- 修复了 CVE-2022-23773
- 修复了 CVE-2022-23806
- 修复了 CVE-2022-24675
- 修复了 CVE-2022-24921
- 修复了 CVE-2022-27191
- 修复了 CVE-2022-27664
- 修复了 CVE-2022-28131
- 修复了 CVE-2022-28327
- 修复了 CVE-2022-2879
- 修复了 CVE-2022-2880
- 修复了 CVE-2022-29526
- 修复了 CVE-2022-30580
- 修复了 CVE-2022-30629
- 修复了 CVE-2022-30630
- 修复了 CVE-2022-30631
- 修复了 CVE-2022-30632
- 修复了 CVE-2022-30633
- 修复了 CVE-2022-30635
- 修复了 CVE-2022-32148
- 修复了 CVE-2022-32149
- 修复了 CVE-2022-32189
- 修复了 CVE-2022-41715
- 修复了 CVE-2022-41717
- 修复了 CVE-2022-41724
- 修复了 CVE-2022-41725
- 修复了 CVE-2023-24532
- 修复了 CVE-2023-24534
- 修复了 CVE-2023-24536
- 修复了 CVE-2023-24537
- 修复了 CVE-2023-24538
- 修复了 CVE-2023-24539
- 修复了 CVE-2023-24540
- 修复了 CVE-2023-29400
- 修复了 CVE-2023-29402
- 修复了 CVE-2023-29403
- 修复了 CVE-2023-29404
- 修复了 CVE-2023-29405
1.28.7-gke.1700
- 问题修复:修复了实例元数据服务 (IMDS) 模拟器有时无法绑定到节点上的 IP 地址的问题。IMDS 模拟器可让节点安全地访问 AWS EC2 实例元数据。
1.28.5-gke.1200
- 问题修复
- 修复了 runc 中文件描述符泄露的问题 (CVE-2024-21626)。
- 安全修复程序
- 修复了 CVE-2023-38039。
- 修复了 CVE-2023-46219。
- 修复了 CVE-2023-39326。
- 修复了 CVE-2023-44487。
- 修复了 CVE-2023-45142。
- 修复了 CVE-2023-45285。
- 修复了 CVE-2023-48795。
- 修复了 CVE-2024-0193。
- 修复了 CVE-2023-6932。
- 修复了 CVE-2023-6931。
- 修复了 CVE-2024-0193。
- 修复了 CVE-2023-6817。
1.28.5-gke.100
- 安全修复程序
- 修复了 CVE-2022-28948。
- 修复了 CVE-2023-29491。
- 修复了 CVE-2023-36054。
- 修复了 CVE-2023-5363。
- 修复了 CVE-2023-47038。
- 修复了 CVE-2023-5981。
- 修复了 CVE-2023-4806。
- 修复了 CVE-2023-4016。
- 修复了 CVE-2023-4813。
- 修复了 CVE-2022-48522。
- 修复了 CVE-2023-46218。
- 修复了 CVE-2023-5156。
- 修复了 CVE-2023-39804。
- 修复了 CVE-2023-5869。
- 修复了 CVE-2023-39417。
- 修复了 CVE-2023-5868。
- 修复了 CVE-2023-5870。
- 修复了 GHSA-6xv5-86q9-7xr8。
1.28.3-gke.700
- 重大变更:从 Kubernetes 1.28 开始,集群需要与
{GCP_LOCATION}-gkemulticloud.googleapis.com
建立出站 HTTPS 连接。请确保您的代理服务器和/或防火墙允许此类流量。 重大变更:从 Kubernetes 1.28 开始,Multi-Cloud API 服务代理角色需要对 AWS 项目具有新的
Iam:getinstanceprofile
权限。Multi-Cloud 服务使用此权限检查关联到集群内虚拟机实例的实例配置文件。功能:添加了对更新操作失败的 AWS 节点池的回滚支持。这让客户能够将节点池还原为其原始状态。
功能:现已支持从私有 Google Artifact Registry 和私有 Google Container Registry 中拉取映像,而无需导出 Google 服务账号密钥。由 Google 负责管理并自动轮替映像拉取凭据。
功能:大多数功能不再需要明确添加 Google IAM 绑定。
- 创建集群时,不再需要为
gke-system/gke-telemetry-agent
添加任何绑定。 - 为 Google Managed Service for Prometheus 启用代管式数据收集功能时,不再需要为
gmp-system/collector
或gmp-system/rule-evaluator
添加任何绑定。 - 启用 Binary Authorization 时,不再需要为
gke-system/binauthz-agent
添加任何绑定。
- 创建集群时,不再需要为
功能:AWS 超额配置更新功能现已正式发布。通过超额配置更新,您可以配置节点池更新的速度和中断。如需详细了解如何在 AWS 节点池中启用和配置超额配置设置,请参阅配置节点池的超额配置更新。
功能:将 Ubuntu 22.04 的内核升级为了 linux-aws 6.2。
功能:新增了对使用以下 AWS EC2 实例创建节点池的支持:G5、I4g、M7a、M7g、M7i、R7g、R7i 和 R7iz。
问题修复:改进了启动模板创建过程。现在客户提供的标记会传播到实例。
- 此变更主要增强了对 IAM 政策规则的支持。此变更专门增强了禁止使用不支持标记传播的启动模板(即使在关联的自动扩缩群组 (ASG) 确实传播标记的情况下也是如此)的规则。
- 这可能是一个重大变更,取决于客户有关标记检查的 IAM 政策的具体情况。因此,在升级过程中务必小心,因为处理不当可能会使集群处于降级状态。
- Anthos Multi-Cloud API 服务代理角色需要对
arn:aws:ec2:*:*:instance/*
资源执行ec2:CreateTags
操作。如需了解最新信息,请访问 https://cloud.google.com/kubernetes-engine/multi-cloud/docs/aws/how-to/create-aws-iam-roles#create_service_agent_role。 - 我们建议客户先试着创建一个一次性的 1.28 版集群,确认 IAM 政策运作正常之后,再尝试升级到 1.28 版。
问题修复:将集群升级到 1.28 版将清理可能在旧版本(1.25 版及更低版本)中创建但不再需要的过时资源。将删除命名空间
gke-system
中的以下资源(如果存在):- daemonset
fluentbit-gke-windows
和gke-metrics-agent-windows
- configmap
fluentbit-gke-windows-config
和gke-metrics-agent-windows-conf
- daemonset
问题修复:增强了 Cloud Logging 从 Anthos Clusters on AWS 注入日志的功能:
- 修复了时间戳解析问题。
- 为
anthos-metadata-agent
的错误日志分配了正确的严重级别。
安全修复程序
- 修复了 CVE-2023-3610
- 修复了 CVE-2023-3776
- 修复了 CVE-2023-3611
- 修复了 CVE-2023-5197
- 修复了 CVE-2023-44487
- 修复了 CVE-2023-39325
- 修复了 CVE-2023-4147
- 修复了 CVE-2022-1996
- 修复了 CVE-2023-47108
- 修复了 CVE-2023-45142
- 修复了 CVE-2023-29409
- 修复了 CVE-2023-3978
- 修复了 CVE-2023-39323
Kubernetes 1.27
1.27.12-gke.800
- 问题修复:修复了集群自动扩缩器的问题,以使其遵循节点池上用户配置的标签和污点。此增强功能可实现从零节点准确扩容,并实现更精确的集群预配。此变更修复了以下已知问题。
- 安全修复程序:
- 修复了 CVE-2020-29509
- 修复了 CVE-2020-29511
- 修复了 CVE-2020-29652
- 修复了 CVE-2021-29923
- 修复了 CVE-2021-3121
- 修复了 CVE-2021-31525
- 修复了 CVE-2021-33195
- 修复了 CVE-2021-33196
- 修复了 CVE-2021-33197
- 修复了 CVE-2021-33198
- 修复了 CVE-2021-34558
- 修复了 CVE-2021-36221
- 修复了 CVE-2021-38297
- 修复了 CVE-2021-38561
- 修复了 CVE-2021-39293
- 修复了 CVE-2021-41771
- 修复了 CVE-2021-41772
- 修复了 CVE-2021-43565
- 修复了 CVE-2021-44716
- 修复了 CVE-2022-1705
- 修复了 CVE-2022-1962
- 修复了 CVE-2022-21698
- 修复了 CVE-2022-23772
- 修复了 CVE-2022-23773
- 修复了 CVE-2022-23806
- 修复了 CVE-2022-24675
- 修复了 CVE-2022-24921
- 修复了 CVE-2022-27664
- 修复了 CVE-2022-28131
- 修复了 CVE-2022-28327
- 修复了 CVE-2022-2879
- 修复了 CVE-2022-2880
- 修复了 CVE-2022-29526
- 修复了 CVE-2022-30580
- 修复了 CVE-2022-30629
- 修复了 CVE-2022-30630
- 修复了 CVE-2022-30631
- 修复了 CVE-2022-30632
- 修复了 CVE-2022-30633
- 修复了 CVE-2022-30635
- 修复了 CVE-2022-32148
- 修复了 CVE-2022-32149
- 修复了 CVE-2022-32189
- 修复了 CVE-2022-41715
- 修复了 CVE-2022-41717
1.27.11-gke.1600
- 问题修复:修复了实例元数据服务 (IMDS) 模拟器有时无法绑定到节点上的 IP 地址的问题。IMDS 模拟器可让节点安全地访问 AWS EC2 实例元数据。
1.27.10-gke.500
- 问题修复:
- 修复了 runc 中文件描述符泄露的问题 (CVE-2024-21626)。
- 安全修复程序:
- 修复了 CVE-2023-39323。
- 修复了 CVE-2023-39325。
- 修复了 CVE-2023-39326。
- 修复了 CVE-2023-3978。
- 修复了 CVE-2023-44487。
- 修复了 CVE-2023-45142。
- 修复了 CVE-2023-45285。
- 修复了 CVE-2023-48795。
- 修复了 CVE-2024-0193。
- 修复了 CVE-2023-6932。
- 修复了 CVE-2023-6931。
- 修复了 CVE-2024-0193。
- 修复了 CVE-2023-6817。
1.27.9-gke.100
- 安全修复程序
- 修复了 CVE-2023-5363。
- 修复了 CVE-2023-47038。
- 修复了 CVE-2023-5981。
- 修复了 CVE-2023-2975。
- 修复了 CVE-2023-40217。
- 修复了 CVE-2023-29002。
- 修复了 CVE-2023-38545。
- 修复了 CVE-2023-28321。
- 修复了 CVE-2023-0464。
- 修复了 CVE-2023-1255。
- 修复了 CVE-2023-41332。
- 修复了 CVE-2023-0465。
- 修复了 CVE-2023-4016。
- 修复了 CVE-2022-29458。
- 修复了 CVE-2022-3996。
- 修复了 CVE-2023-2602。
- 修复了 CVE-2023-38546。
- 修复了 CVE-2023-34242。
- 修复了 CVE-2023-0466。
- 修复了 CVE-2022-48522。
- 修复了 CVE-2023-28322。
- 修复了 CVE-2023-30851。
- 修复了 CVE-2023-2283。
- 修复了 CVE-2023-27594。
- 修复了 CVE-2023-2603。
- 修复了 CVE-2023-27593。
- 修复了 CVE-2023-5156。
- 修复了 CVE-2023-39347。
- 修复了 CVE-2023-1667。
- 修复了 CVE-2023-2650。
- 修复了 CVE-2023-31484。
- 修复了 CVE-2023-27595。
- 修复了 CVE-2023-41333。
- 修复了 CVE-2023-5869。
- 修复了 CVE-2023-39417。
- 修复了 CVE-2023-5868。
- 修复了 CVE-2023-5870。
- 修复了 GHSA-6xv5-86q9-7xr8。
1.27.7-gke.600
功能:新增了对使用“G5”AWS EC2 实例创建节点池的支持。
问题修复:增强了 Cloud Logging 从 Anthos Clusters on AWS 注入日志的功能:
- 修复了时间戳解析问题。
- 为
anthos-metadata-agent
的错误日志分配了正确的严重级别。
安全修复程序
- 修复了 CVE-2023-5197
- 修复了 CVE-2023-44487
- 修复了 CVE-2023-39325
- 修复了 CVE-2023-4147
- 修复了 CVE-2022-1996
1.27.6-gke.700
- 安全修复程序
- 修复了 CVE-2015-3276
- 修复了 CVE-2022-29155
1.27.5-gke.200
功能:Ubuntu 22.04 现在使用 linux-aws 6.2 内核版本。
安全修复程序
- 修复了 CVE-2023-3610
- 修复了 CVE-2023-3776
- 修复了 CVE-2023-3611
1.27.4-gke.1600
Kubernetes OSS 版本说明 * 弃用:停用了未经身份验证的 kubelet 只读端口 10255。节点池升级到 1.27 版后,其上运行的工作负载将无法再连接到端口 10255。
- 功能:AWS 超额配置更新现在作为预览版功能提供。通过超额配置更新,您可以配置节点池更新的速度和中断速度。请与您的客户支持团队联系,以申请使用该预览版功能。
- 功能:将 EBS CSI 驱动程序升级到了 v1.20.0。
- 功能:将 EFS CSI 驱动程序升级到了 v1.5.7。
功能:将
snapshot-controller
和csi-snapshot-validation-webhook
升级到了 v6.2.2。此新版本引入了对 API 的重要更改。 具体而言,VolumeSnapshot
、VolumeSnapshotContents
和VolumeSnapshotClass
v1beta1 API 不再可用。功能:在创建和更新 API 中新增了对
admin-groups
标志的支持。通过此标志,客户能够以集群管理员身份快速轻松地对列出的群组进行身份验证,无需手动创建和应用 RBAC 政策。功能:新增了 Binary Authorization 支持,这是一种部署时安全控制措施,可确保仅部署受信任的容器映像。借助 Binary Authorization,您可以要求在开发过程中由可信授权方对映像进行签名,然后在部署时强制执行签名验证。通过强制执行验证,您可以确保仅将经过验证的映像集成到构建和发布流程中,从而对容器环境实施更严格的控制。如需详细了解如何在集群上启用 Binary Authorization,请参阅如何启用 Binary Authorization。
功能:为
fluent-bit
(日志处理器和转发器)、gke-metrics-agent
(指标收集器)和audit-proxy
(审核日志代理)启用了 gzip 压缩。fluent-bit
在将日志数据从控制平面和工作负载发送到 Cloud Logging 之前会对其进行压缩,gke-metrics-agent
在将指标数据从控制平面和工作负载发送到 Cloud Monitoring 之前会对其进行压缩,audit-proxy
在将审核日志数据发送到审核日志记录之前会对其进行压缩。这样可以减少网络带宽和费用。功能:创建 AWS SPOT 节点池这一功能现已正式发布。
功能:节点自动修复功能现已正式发布。
功能:通过为从 Cloud Storage 下载的二进制工件添加文件完整性检查和指纹验证,提高了安全性。
功能:向删除 API 添加了一个
ignore_errors
选项,以处理意外删除 IAM 角色或手动移除资源导致集群或节点池无法被删除的情况。通过将?ignore_errors=true
附加到DELETE
请求网址,用户现在可以强制移除集群或节点池。但是,此方法可能会导致 AWS 或 Azure 中成为孤立资源,需要手动清理。功能:添加了对控制平面上的
etcd
和etcd-events
自动进行定期碎片整理的支持。此功能可减少不必要的磁盘存储,并有助于防止etcd
和控制平面因磁盘存储问题而不可用。功能:更改了 Kubernetes 资源指标的指标名称,以使用
kubernetes.io/anthos/
指标前缀,而不是kubernetes.io/
。如需了解详情,请参阅指标参考文档。功能:将新集群上的默认 etcd 版本更改为了 v3.4.21,以提高稳定性。升级到此版本的现有集群将使用 etcd v3.5.6。
功能:通过为 kubelet 预留资源改进了节点资源管理。虽然此功能通过确保系统和 Kubernetes 进程具有所需资源来防止内存不足 (OOM) 错误至关重要,但可能会导致工作负载中断。预留 kubelet 的资源可能会影响 Pod 的可用资源,从而可能影响较小的节点处理现有工作负载的容量。客户应验证较小的节点是否仍可通过激活此新功能来支持其工作负载。
- 预留内存百分比如下:
- 内存不足 1 GB 的机器为 255 MiB
- 前 4 GB 内存的 25%
- 接下来 4 GB 的 20%
- 接下来 8 GB 的 10%
- 接下来 112 GB 的 6%
- 128 GB 以上任何内存的 2%
- 预留的 CPU 百分比如下:
- 第一个核心的 6%
- 下一个核心的 1%
- 接下来 2 个核心的 0.5%
- 4 个以上任何核心数量的 0.25%
问题修复
- 启用集群自动扩缩器,以跨不同可用性区域平衡节点。这是使用
--balance-similar-node-groups
标志实现的。
- 启用集群自动扩缩器,以跨不同可用性区域平衡节点。这是使用
安全修复程序
- 修复了 CVE-2021-43565
- 修复了 CVE-2022-3821
- 修复了 CVE-2022-4415
- 修复了 CVE-2022-21698
- 修复了 CVE-2022-41723。
- 修复了 CVE-2022-41725。
- 修复了 CVE-2023-24539
- 修复了 CVE-2023-24540
- 修复了 CVE-2023-29400
版本支持窗口
GKE on AWS 版本有效期页面列出了支持的 Kubernetes 版本的发布日期和支持终止日期。