Unterstützte Kubernetes-Clusterversionen

Jeder Release von GKE on Azure enthält Kubernetes-Versionshinweise. Sie ähneln den Versionshinweisen, sind jedoch spezifisch für eine Kubernetes-Version und enthalten möglicherweise mehr technische Details.

GKE on Azure unterstützt die folgenden Kubernetes-Versionen:

Kubernetes 1.28

1.28.7-gke.1700

Kubernetes OSS-Versionshinweise

1.28.5-gke.1200

Kubernetes OSS-Versionshinweise

1.28.5-gke.100

Kubernetes OSS-Versionshinweise

1.28.3-gke.700

Kubernetes OSS-Versionshinweise

  • Nicht funktionsgefährdende Änderung: Ab 1.28 erfordern Cluster eine ausgehende HTTPS-Verbindung zu {GCP_LOCATION}-gkemulticloud.googleapis.com. Stellen Sie sicher, dass Ihr Proxyserver und/oder Ihre Firewall diesen Datenverkehr zulassen.

  • Funktion:Für die meisten Funktionen ist es nicht mehr erforderlich, explizit Google IAM-Bindungen hinzuzufügen.

    1. Sie müssen beim Erstellen eines Clusters keine Bindungen für gke-system/gke-telemetry-agent mehr hinzufügen.
    2. Sie müssen keine Bindungen für gmp-system/collector oder gmp-system/rule-evaluator mehr hinzufügen, wenn Sie die verwaltete Datenerhebung für Google Managed Service for Prometheus aktivieren.

  • Funktion:Ubuntu 22.04 verwendet jetzt die Kernel-Version linux-azure 6.2.

  • Fehlerkorrektur: Monitoring-Messwerte für den Pod der Steuerungsebene gke-azure-encryption-provider werden jetzt im Namespace kube-system gemeldet. Zuvor wurden sie versehentlich für den Standard-Namespace gemeldet.

  • Fehlerkorrektur:Durch das Upgrade eines Clusters auf Version 1.28 werden veraltete Ressourcen bereinigt, die in älteren Versionen (bis zu 1.25) erstellt wurden, aber nicht mehr relevant sind. Die folgenden Ressourcen im Namespace gke-system werden gelöscht, sofern vorhanden:

    • Daemonsets fluentbit-gke-windows und gke-metrics-agent-windows
    • configmaps fluentbit-gke-windows-config und gke-metrics-agent-windows-conf

  • Fehlerkorrektur:Erweiterte Aufnahme von Logs aus Anthos-Cluster on Azure durch Cloud Logging:

    • Ein Problem beim Parsen von Zeitstempeln wurde behoben.
    • Den Fehlerlogs von anthos-metadata-agent wurde die richtige Wichtigkeitsstufe zugewiesen.

  • Sicherheitsupdates

Kubernetes 1.27

1.27.11-gke.1600

Kubernetes OSS-Versionshinweise

1.27.10-gke.500

Kubernetes OSS-Versionshinweise

1.27.9-gke.100

Kubernetes OSS-Versionshinweise

1.27.7-gke.600

Kubernetes OSS-Versionshinweise

  • Fehlerkorrektur:Erweiterte Aufnahme von Logs aus Anthos-Cluster on Azure durch Cloud Logging:

    • Ein Problem beim Parsen von Zeitstempeln wurde behoben.
    • Den Fehlerlogs von anthos-metadata-agent wurde die richtige Wichtigkeitsstufe zugewiesen.

  • Sicherheitsupdates

1.27.6-gke.700

Kubernetes OSS-Versionshinweise

1.27.5-gke.200

Kubernetes OSS-Versionshinweise

1.27.4-gke.1600

Kubernetes OSS-Versionshinweise

  • Einstellung: Der nicht authentifizierte, schreibgeschützte Kubelet-Port 10255 wurde deaktiviert. Sobald ein Knotenpool auf Version 1.27 aktualisiert wurde, können darauf ausgeführte Arbeitslasten nicht mehr mit Port 10255 verbunden werden.

  • Funktion:Für den Azuredisk CSI-Treiber wurde ein Upgrade auf Version 1.28.1 durchgeführt.

  • Funktion:Der Azurefile CSI-Treiber wurde auf Version 1.28.1 aktualisiert.

  • Funktion:snapshot-controller und csi-snapshot-validation-webhook wurden auf Version 6.2.2 aktualisiert. Mit dieser neuen Version wird eine wichtige Änderung an der API vorgenommen. Die v1beta1 APIs VolumeSnapshot, VolumeSnapshotContents und VolumeSnapshotClass sind nicht mehr verfügbar.

  • Funktion:In den APIs zum Erstellen und Aktualisieren wird das neue Flag admin-groups unterstützt. Mit diesem Flag können Kunden schnell und einfach aufgelistete Gruppen als Clusteradministratoren authentifizieren, sodass keine RBAC-Richtlinien manuell erstellt und angewendet werden müssen.

  • Funktion:Die gzip-Komprimierung für fluent-bit (Logprozessor und -weiterleitungsserver), gke-metrics-agent (Messwerterfassung) und audit-proxy (Audit-Log-Proxy) wurde aktiviert. fluent-bit komprimiert Logdaten sowohl von der Steuerungsebene als auch von Arbeitslasten, bevor sie an Cloud Logging gesendet werden. gke-metrics-agent komprimiert Messwertdaten aus Steuerungsebene und Arbeitslasten, bevor sie an Cloud Monitoring gesendet werden. audit-proxy komprimiert Audit-Logdaten, bevor sie an Audit Logging gesendet werden. Dies reduziert Netzwerkbandbreite und Kosten.

  • Funktion:Die automatische Knotenreparatur ist jetzt allgemein verfügbar.

  • Funktion:Verbesserte Sicherheit durch Hinzufügen von Dateiintegritätsprüfungen und Fingerabdruckvalidierung für von Google verwaltete binäre Artefakte, die aus Cloud Storage heruntergeladen werden.

  • Funktion: Unterstützung für die automatische regelmäßige Defragmentierung von etcd und etcd-events auf der Steuerungsebene wurde hinzugefügt. Dieses Feature reduziert unnötigen Speicherplatz auf dem Laufwerk und verhindert, dass etcd und die Steuerungsebene aufgrund von Problemen mit dem Laufwerkspeicher nicht mehr verfügbar sind.

  • Funktion:Die Messwertnamen für Kubernetes-Ressourcenmesswerte wurden so geändert, dass das Messwertpräfix kubernetes.io/anthos/ statt kubernetes.io/ verwendet wird. Weitere Informationen finden Sie in der Referenzdokumentation zu Messwerten.

  • Funktion:Die etcd-Standardversion wurde bei neuen Clustern zur Verbesserung der Stabilität in v3.4.21 geändert. Vorhandene Cluster, die auf diese Version aktualisiert werden, verwenden etcd v3.5.6.

  • Funktion:Verbesserte Verwaltung von Knotenressourcen durch Reservieren von Ressourcen für das Kubelet. Diese Funktion ist zwar entscheidend, um Fehler aufgrund fehlenden Arbeitsspeichers zu verhindern, indem sichergestellt wird, dass System- und Kubernetes-Prozesse über die benötigten Ressourcen verfügen. Es kann jedoch zu Unterbrechungen der Arbeitslasten führen. Die Reservierung von Ressourcen für das Kubelet kann sich auf die verfügbaren Ressourcen für Pods und somit auch auf die Kapazität kleinerer Knoten zur Verarbeitung vorhandener Arbeitslasten auswirken. Kunden sollten darauf achten, dass auch kleinere Knoten ihre Arbeitslasten bei aktiviertem neuen Feature noch unterstützen können.

    • Für den reservierten Arbeitsspeicher gelten folgende Prozentsätze:
    • 255 MiB für Maschinen mit weniger als 1 GB Arbeitsspeicher
    • 25 % der ersten 4 GB Speicher
    • 20% der nächsten 4 GB
    • 10% der nächsten 8 GB
    • 6% der nächsten 112 GB
    • 2 % des Speichers oberhalb von 128 GB
    • Die reservierten CPU-Prozentsätze sehen so aus:
    • 6 % des ersten Kerns
    • 1% des nächsten Kerns
    • 0,5% der nächsten zwei Kerne
    • 0,25 % aller Kerne oberhalb von vier Kernen

  • Sicherheitsupdates

Kubernetes 1.26

1.26.14-gke.1500

Kubernetes OSS-Versionshinweise

1.26.13-gke.400

Kubernetes OSS-Versionshinweise

1.26.12-gke.100

Kubernetes OSS-Versionshinweise

1.26.10-gke.600

Kubernetes OSS-Versionshinweise

  • Fehlerkorrektur:Erweiterte Aufnahme von Logs aus Anthos-Cluster on Azure durch Cloud Logging:

    • Ein Problem beim Parsen von Zeitstempeln wurde behoben.
    • Den Fehlerlogs von anthos-metadata-agent wurde die richtige Wichtigkeitsstufe zugewiesen.

  • Sicherheitsupdates

1.26.9-gke.700

Kubernetes OSS-Versionshinweise

1.26.8-gke.200

Kubernetes OSS-Versionshinweise

1.26.7-gke.500

Kubernetes OSS-Versionshinweise

1.26.5-gke.1400

Kubernetes OSS-Versionshinweise

1.26.5-gke.1200

Kubernetes OSS-Versionshinweise

1.26.4-gke.2200

Kubernetes OSS-Versionshinweise

  • Fehlerkorrekturen

    • Ein Problem wurde behoben, bei dem Kubernetes die Standard-Speicherklasse fälschlicherweise auf PersistentClaims mit der verworfenen Annotation „volume.beta.kubernetes.io/storage-class“ angewendet hat.
    • Der Logging-Agent beanspruchte immer mehr Arbeitsspeicher. Das Problem wurde behoben.

  • Sicherheitsupdates

    • Behebung von CVE-2023-1872.
    • Es wurde ein Problem behoben, das sich auf die netfilter-Verbindungsverfolgung (conntrack) ausgewirkt hat, die für die Überwachung von Netzwerkverbindungen verantwortlich ist. Diese Korrektur sorgt dafür, dass neue Verbindungen korrekt in die Conntrack-Tabelle eingefügt werden, und überwindet die Einschränkungen, die durch Änderungen an den Linux-Kernel-Versionen 5.15 und höher verursacht werden.

1.26.2-gke.1001

Kubernetes OSS-Versionshinweise

  • Bekanntes Problem:Kubernetes 1.26.2 wendet die Standard-Speicherklasse fälschlicherweise auf PersistentClaims mit der verworfenen Annotation volume.beta.kubernetes.io/storage-class an.

  • Funktion:Aktualisierung des Betriebssystem-Images auf Ubuntu 22.04. cgroupv2 wird jetzt als Standardkonfiguration für Kontrollgruppe verwendet.

    • Ubuntu 22.04 verwendet standardmäßig cgroupv2. Wir empfehlen Ihnen zu prüfen, ob eine Ihrer Anwendungen auf das Dateisystem cgroup zugreift. Ist dies der Fall, müssen sie für die Verwendung von cgroupv2 aktualisiert werden. Hier einige Beispielanwendungen, die möglicherweise Updates benötigen, um die Kompatibilität mit cgroupv2 sicherzustellen:
    • Monitoring- und Sicherheits-Agents von Drittanbietern, die vom Dateisystem cgroup abhängig sind.
    • Wenn cAdvisor als eigenständiges DaemonSet zum Monitoring von Pods und Containern verwendet wird, sollte es auf Version 0.43.0 oder höher aktualisiert werden.
    • Wenn Sie das JDK verwenden, empfehlen wir Version 11.0.16 oder höher bzw. Version 15 und höher. Diese Versionen unterstützen cgroupv2 vollständig.
    • Wenn Sie das Paket uber-go/automaxprocs verwenden, achten Sie darauf, dass Sie die Version v1.5.1 oder höher verwenden.
    • Weitere Informationen finden Sie in den Ubuntu-Versionshinweisen.

  • Funktion:Sendet Messwerte für Komponenten der Steuerungsebene an Cloud Monitoring. Dazu gehört eine Teilmenge der Prometheus-Messwerte von kube-apiserver, etcd, kube-scheduler, kube-controller-manager. Messwertnamen verwenden das Präfix kubernetes.io/anthos/.

  • Funktion: Das Senden von Kubernetes-Ressourcenmetadaten an die Google Cloud Platform wurde aktiviert, wodurch sowohl die Benutzeroberfläche als auch die Clustermesswerte verbessert wurden. Damit die Metadaten korrekt aufgenommen werden können, müssen Kunden die Config Monitoring for Ops API aktivieren. Sie können diese API entweder in der Google Cloud Console oder durch manuelles Aktivieren der opsconfigmonitoring.googleapis.com API in der gcloud CLI aktivieren. Darüber hinaus müssen Kunden die in der Dokumentation Cloud Logging/Monitoring autorisieren beschriebenen Schritte ausführen, um die erforderlichen IAM-Bindungen hinzuzufügen. Fügen Sie gegebenenfalls opsconfigmonitoring.googleapis.com Ihrer Proxy-Zulassungsliste hinzu.

  • Funktion:Das ordnungsgemäße Herunterfahren von Kubelet-Knoten ist aktiviert. System-Pods haben 15 Sekunden zum Beenden. Danach haben System-Pods (mit der Prioritätsklasse system-cluster-critical oder system-node-critical) 15 Sekunden Zeit, um ordnungsgemäß beendet zu werden.

  • Funktion:Die automatische Knotenreparatur wurde im Vorschaumodus aktiviert. Wenden Sie sich an Ihr Account-Management-Team, um die Vorschau zu aktivieren.

  • Fehlerkorrekturen:Für neu erstellte Cluster wird jetzt etcd v3.4.21 für eine verbesserte Stabilität verwendet. Vorhandene Cluster mit früheren Versionen nutzten bereits die etcd-Version 3.5.x und werden während des Clusterupgrades nicht auf Version 3.4.21 heruntergestuft. Diese Cluster verwenden stattdessen Version 3.5.6.

  • Sicherheitsupdates:

Zeiträume für die Versionsunterstützung

Das Release- und das Ende des Supportzeitraums für unterstützte Kubernetes-Versionen sind auf der Seite Nutzungsdauer der GKE in Azure-Versionen aufgeführt.