Support

Das Hauptziel von Google beim Support ist es, Produktionsvorfälle so schnell wie möglich zu beheben. Wenn wir Ihre Konfiguration verstehen, Logs und Messwerte analysieren und mit Partnern zusammenarbeiten, können wir Vorfälle schnell lösen.

Google Cloud bietet verschiedene Supportpakete für Ihre Supportanforderungen an. Alle Google Cloud-Supportpakete unterstützen Support für Google Kubernetes Engine (GKE) Enterprise-Version und GKE on Bare Metal. Wenn Sie bereits ein Google Cloud-Supportpaket haben, haben Sie bereits Support für GKE Enterprise und GKE on Bare Metal.

Weitere Informationen finden Sie in der Dokumentation zum Google Cloud-Support.

Anforderungen für die Unterstützung von GKE on Bare Metal

So beheben Sie geschäftskritische Vorfälle effektiv:

Support-Tools

Für die Fehlerbehebung bei einem GKE on Bare-Metal-Vorfall benötigt der Google Cloud-Support drei Informationen:

Ihre Umgebungskonfiguration

Wenn Sie eine Supportanfrage eröffnen, können Sie mit den folgenden Befehlen wichtige Informationen über Ihre Clustereinrichtung abrufen:

  • Führen Sie für alle Clustertypen den Befehl bmctl check cluster --snapshot aus, um Informationen zu Kubernetes und Ihren Knoten zu erfassen. Hängen Sie die resultierende TAR-Datei an die Supportanfrage an.

  • Führen Sie bei Administrator-, Hybrid- und eigenständigen Clustern den Befehl bmctl check cluster aus, um den Systemstatus des Clusters und der Knoten zu prüfen. Hängen Sie die resultierenden Logs an die Supportanfrage an. Sie sollten sich im Verzeichnis bmctl-workspace/[CLUSTER_NAME]/log/check-cluster-[TIMESTAMP] befinden.

  • Erstellen Sie für Nutzercluster zuerst eine YAML-Datei für die Systemdiagnose mit dem Clusternamen und dem Namespace und wenden Sie die Datei dann im entsprechenden Administratorcluster an:

    1. Erstellen Sie eine YAML-Datei mit den folgenden healthcheck-Attributen. Hier ist der Beispielinhalt für einen Cluster mit dem Namen user1 im Namespace cluster-user1:

      apiVersion: baremetal.cluster.gke.io/v1
kind: HealthCheck
metadata:
  generateName: healthcheck-
  namespace: cluster-user1
spec:
  clusterName: user1

    2. Nachdem Sie die YAML-Datei erstellt haben, wenden Sie die benutzerdefinierte Ressource mit dem Befehl kubectl im Administratorcluster an, der den Nutzercluster verwaltet. Hier ist ein Beispielbefehl, der die im vorherigen Schritt erstellte YAML-Datei verwendet. Im Beispiel gibt die Variable ADMIN_KUBECONFIG den Pfad zur kubeconfig-Datei des Administratorclusters an:

      kubectl --kubeconfig ADMIN_KUBECONFIG create -f healthcheck-user1.yaml

      Der Befehl gibt die folgende Antwort zurück:

      healthcheck.baremetal.cluster.gke.io/healthcheck-7c4qf created

    3. Warten Sie, bis der Systemdiagnose-Job abgeschlossen ist, indem Sie testen, ob der Systemdiagnosejob abgeschlossen wurde. Im vorherigen Beispielbeispiel lautet der Name des Systemdiagnosejobs healthcheck.baremetal.cluster.gke.io/healthcheck-7c4qf. Hier ist ein Beispieltest mit dem Befehl kubectl, der 30 Minuten auf den Abschluss des Systemdiagnosejobs wartet:

      kubectl --kubeconfig ADMIN_KUBECONFIG wait healthcheck healthcheck-7c4qf \
    -n cluster-user1 --for=condition=Reconciling=False --timeout=30m

      Wenn der Vorgang abgeschlossen ist, gibt dieser Befehl Folgendes zurück:

      healthcheck.baremetal.cluster.gke.io/healthcheck-7c4qf condition met

      Sie können die Ergebnisse der Systemdiagnose mit dem folgenden Befehl aufrufen:

      kubectl --kubeconfig ADMIN_KUBECONFIG get healthcheck healthcheck-7c4qf \
    -n cluster-user1

      Der Befehl gibt das folgende Ergebnis zurück:

      NAME                PASS   AGE
healthcheck-7c4qf   true   17m

    4. Erfassen Sie alle Logs aller Systemdiagnose-Pods in einer lokalen Datei mit dem Befehl kubectl. Hier ist ein Beispiel, in dem der vorherige Beispieljob einer Systemdiagnose verwendet wird:

      kubectl --kubeconfig ADMIN_KUBECONFIG logs -n cluster-user1 \
    -l baremetal.cluster.gke.io/check-name=healthcheck-7c4qf --tail=-1 > \
    healthcheck-7c4qf.log

Cluster-Logs

Wenn Sie einen neuen GKE on Bare Metal-Cluster erstellen, sind Cloud Logging-Agents standardmäßig aktiviert und nur auf Komponenten auf Systemebene beschränkt. Dadurch werden Logs auf Systemebene in das mit dem Cluster verknüpfte Google Cloud-Projekt repliziert. Logs auf Systemebene stammen aus Kubernetes-Pods in den folgenden Namespaces:

  • kube-system
  • gke-system
  • gke-connect
  • istio-system
  • config-management-system
  • gatekeeper-system
  • cnrm-system
  • knative-serving

Logs können über die Cloud Logging-Konsole abgefragt werden.

Weitere Informationen finden Sie unter Logging und Monitoring.

Google Cloud CLI und Remote-Clusterzugriff

Wenn Sie eine Supportanfrage eröffnen, bittet Cloud Customer Care möglicherweise um Lesezugriff auf Ihre Cluster, um Probleme effektiver diagnostizieren und beheben zu können. Damit das Supportteam ausreichende Zugriffsrechte zur Remote-Fehlerbehebung für Clusterprobleme hat, muss die Google Cloud CLI auf die neueste Version installiert und aktualisiert werden. Die Google Cloud CLI muss die Version 401.0.0 oder höher haben, damit Cloud Customer Care die erforderlichen Berechtigungen erhält. Wir empfehlen, die Google Cloud CLI regelmäßig zu aktualisieren, um zusätzliche Berechtigungen und andere Verbesserungen zu erhalten.

Verwenden Sie den Befehl gcloud components update, um die neuesten Komponenten der gcloud CLI zu installieren. Weitere Informationen dazu, wie Sie Cloud Customer Care-Remote-Lesezugriff auf Ihre Cluster gewähren, finden Sie unter Google Cloud-Support für Ihre registrierten Cluster.

Clustermesswerte

Neben den Logs erfasst der Cloud Monitoring-Agent auch Messwerte. Dadurch werden Messwerte auf Systemebene in das mit dem Cluster verknüpfte Google Cloud-Projekt repliziert. Messwerte auf Systemebene stammen von Kubernetes-Pods, die in denselben Namespaces ausgeführt werden, die in Logs aufgeführt sind.

Weitere Informationen finden Sie unter Logging und Monitoring.

So beheben wir Fehler in Ihrer Umgebung

Hier ist ein Beispiel für einen typischen Supportvorfall:

  1. Der Clusteradministrator öffnet eine Supportanfrage in der Google Cloud Console oder im Google Cloud-Supportcenter und wählt die Google Kubernetes Engine (GKE) Enterprise-Version und GKE on Bare Metal als Kategorie bzw. Komponente aus. Er gibt die erforderlichen Informationen ein und hängt die Ausgabe der relevanten bmctl-Befehle an die Anfrage an.

  2. Die Supportanfrage wird an einen Mitarbeiter des technischen Supports weitergeleitet, der auf GKE on Bare Metal spezialisiert ist.

  3. Der Supportmitarbeiter untersucht den Inhalt des Snapshots, um einen Kontext zur Umgebung zu erhalten.

  4. Der Supportmitarbeiter untersucht die Logs und Messwerte im Google Cloud-Projekt und gibt die Supportanfrage-ID als geschäftliche Rechtfertigung ein, die intern protokolliert wird.

  5. Der Supportmitarbeiter antwortet auf die Anfrage mit einer Bewertung und einer Empfehlung. Der Supportmitarbeiter und der Nutzer fahren mit der Fehlerbehebung fort, bis sie eine Lösung gefunden haben.

Welche Supportleistungen bietet Google?

Im Allgemeinen unterstützt das Cloud-Supportteam alle Softwarekomponenten, die als Teil von GKE on Bare Metal und Anthos Service Mesh, Policy Controller, Config Sync und Config Controller ausgeliefert werden. In der folgenden Tabelle finden Sie eine vollständige Liste der unterstützten und nicht unterstützten Funktionen:

Unterstützt von Google Cloud Nicht unterstützt
Kubernetes und die Containerlaufzeit Vom Kunden gewählte Load-Balancer (manuelles Load-Balancing)
Connect und der Connect-Agent Kundencode (siehe Entwicklersupport)
Google Cloud-Vorgänge, Monitoring, Logging und Agents Vom Kunden gewähltes Betriebssystem
Gebündelter Load-Balancer Physischer oder virtueller Server, Speicher und Netzwerk
Ingress-Controller Externe DNS-, DHCP- und Identitätssysteme
GKE Identity Service
Anthos Service Mesh
Policy Controller
Config Sync
Config Controller

Versionsunterstützungsrichtlinie

Die Unterstützung für GKE on Bare Metal entspricht der Supportrichtlinie für Versionen der Google Kubernetes Engine (GKE) Enterprise Edition. Ab Version 1.14 der Google Kubernetes Engine (GKE) Enterprise Edition unterstützt Google jede GKE on Bare Metal-Nebenversion für 12 Monate nach dem ersten Release der Nebenversion oder bis zur Veröffentlichung der dritten nachfolgenden Nebenversion, je nachdem, welcher Zeitraum länger ist.

Die folgende Tabelle zeigt die unterstützten und nicht unterstützten Versionen dieses Produkts.

Nebenversion Veröffentlicht Frühes Datum für das Ende des Produktzyklus Verfügbare Patches Kubernetes-Version
1.28 (aktuell) 15. Dezember 2023 15. Dezember 2024 1.28.400-gke.77 Version 1.28.7-gke.1700
1.28.300-gke.131 Version 1.28.7-gke.1700
1.28.200-gke.118 Version 1.28.5-gke.1200
1.28.100-gke.146 Version 1.28.5-gke.1200
1.28.0-gke.435 Version 1.28.3-gke.700
1,16 25. August 2023 25. August 2024 1.16.8 Version 1.27.12-gke.800
1.16.7 Version 1.27.10-gke.500
1.16.6 Version 1.27.9-gke.1200
1.16.5 Version 1.27.8-gke.1500
1.16.4 Version 1.27.7-gke.1400
1.16.3 Version 1.27.6-gke.2500
1.16.2 Version 1.27.4-gke.1600
1.16.1 Version 1.27.4-gke.1600
1.16.0 Version 1.27.4-gke.1600
1,15 27. April 2023 27. April 2024 1.15.11 Version 1.26.13-gke.1100
1.15.10 Version 1.26.13-gke.400
1.15.9 Version 1.26.12-gke.1200
1.15.8 Version 1.26.10-gke.1400
1.15.7 Version 1.26.9-gke.2400
1.15.6 Version 1.26.8-gke.200
1.15.5 Version 1.26.8-gke.200
1.15.4 Version 1.26.5-gke.2100
1.15.3 Version 1.26.5-gke.2100
1.15.2 Version 1.26.5-gke.1200
1.15.1 Version 1.26.2-gke.1001
1.15.0 Version 1.26.2-gke.1001
1.14 (nicht unterstützt) 8. Dezember 2022 08. Dezember 2023 1.14.11 Version 1.25.14-gke.2400
1.14.10 Version 1.25.14-gke.2400
1.14.9 Version 1.25.13-gke.200
1.14.8 Version 1.25.10-gke.2100
1.14.7 Version 1.25.10-gke.2100
1.14.6 Version 1.25.10-gke.1200
1.14.5 Version 1.25.7-gke.1000
1.14.4 Version 1.25.7-gke.1000
1.14.3 Version 1.25.6-gke.1000
1.14.2 Version 1.25.5-gke.1001
1.14.1 Version 1.25.5-gke.1001
1.14.0 Version 1.25.3-gke.1400
1.13 (nicht unterstützt) 29. September 2022 7. August 2023 1.13.10 Version 1.24.14-gke.2100
1.13.9 Version 1.24.14-gke.1200
1.13.8 Version 1.24.11-gke.1000
1.13.7 Version 1.24.11-gke.1000
1.13.6 Version 1.24.9-gke.2500
1.13.5 Version 1.24.9-gke.2500
1.13.4 Version 1.24.9-gke.2500
1.13.3 Version 1.24.7-gke.1700
1.13.2 Version 1.24.7-gke.300
1.13.1 Version 1.24.5-gke.400
1.13.0 Version 1.24.2-gke.1900
1.12 (nicht unterstützt) 29. Juni 2022 29. März 2023 1.12.9 Version 1.23.17-gke.300
1.12.8 Version 1.23.16-gke.100
1.12.7 Version 1.23.15-gke.2400
1.12.6 Version 1.23.13-gke.1700
1.12.5 Version 1.23.13-gke.1700
1.12.4 Version 1.23.11-gke.500
1.12.3 Version 1.23.10-gke.1000
1.12.2 v1.23.5-gke.1505
1.12.1 v1.23.5-gke.1505
1.12.0 v1.23.5-gke.1504
1.11 (nicht unterstützt) 21. März 2022 21. Dezember 2022 1.11.8 Version 1.22.15-gke.3300
1.11.7 Version 1.22.14-gke.500
1.11.6 v1.22.8-gke.204
1.11.5 v1.22.8-gke.204
1.11.4 v1.22.8-gke.204
1.11.3 v1.22.8-gke.203
1.11.2 v1.22.8-gke.200
1.11.1 v1.22.8-gke.200
1.11.0 v1.22.8-gke.200
1.10 (nicht unterstützt) 10. Dezember 2021 10. September 2022 1.10.8 v1.21.13-gke.202
1.10.7 v1.21.13-gke.202
1.10.6 v1.21.13-gke.201
1.10.5 v1.21.6-gke.1503
1.10.4 v1.21.6-gke.1503
1.10.3 v1.21.5-gke.1300
1.10.2 v1.21.5-gke.1300
1.10.1 v1.21.5-gke.1200
1.10.0 v1.21.5-gke.1200
1.9 (nicht unterstützt) 23. September 2021 23. Juni 2022 1.9.8 v1.21.13-gke.200
1.9.7 v1.21.6-gke.1503
1.9.6 v1.21.5-gke.1300
1.9.5 v1.21.5-gke.1300
1.9.4 v1.21.5-gke.1200
1.9.3 v1.21.5-gke.1200
1.9.2 v1.21.4-gke.201
1.9.1 v1.21.4-gke.201
1.9.0 v1.21.4-gke.200
1.8 (Nicht unterstützt) 21. Juni 2022 21. März 2022 1.8.9 v1.20.9-gke.102
1.8.8 v1.20.9-gke.102
1.8.7 v1.20.9-gke.102
1.8.6 v1.20.9-gke.102
1.8.5 v1.20.9-gke.102
1.8.4 v1.20.9-gke.101
1.8.3 v1.20.9-gke.101
1.8.2 v1.20.8-gke.1500
1.8.1 v1.20.5-gke.1301
1.8.0 v1.20.5-gke.1301
1.7 (nicht unterstützt) 25. März 2021 25. Dezember 2021 1.7.7 v1.19.14-gke.2201
1.7.6 v1.19.14-gke.2201
1.7.5 v1.19.14-gke.2201
1.7.4 v1.19.14-gke.400
1.7.3 v1.19.13-gke.100
1.7.2 v1.19.10-gke.1602
1.7.1 v1.19.7-gke.1200
1.7.0 v1.19.7-gke.1200
1.6 (nicht unterstützt) 30. November 2020 30. August 2021 1.6.4 v1.18.20-gke.3000
1.6.3 v1.18.18-gke.100
1.6.2 v1.18.6-gke.6600
1.6.1 v1.18.6-gke.6600
1.6.0 v1.18.6-gke.6600

Unterstützte Features

In diesem Dokument wird die Verfügbarkeit von Features und Funktionen von GKE on Bare Metal für unterstützte Releases aufgeführt. Die Tabelle ist keine vollständige Liste. Sie zeigt jedoch einige Vorteile der Aktualisierung Ihrer Cluster auf die neueste unterstützte Version.

Die als Vorabversion aufgeführten Features unterliegen den Bedingungen für Pre-GA-Angebote der Google Cloud-Nutzungsbedingungen. Pre-GA-Produkte und ‐Funktionen werden eventuell nur eingeschränkt unterstützt. Außerdem sind Änderungen an diesen Produkten und Funktionen möglicherweise nicht mit anderen pre-GA-Versionen kompatibel. Weitere Informationen finden Sie unter den Beschreibungen der Startphase. Vorabversionen sind nur für die Verwendung in Testumgebungen vorgesehen.

Als General Availability (GA) aufgeführte Features werden vollständig unterstützt, stehen allen Kunden zur Verfügung und können in der Produktion eingesetzt werden.

Feature/Möglichkeit 1.14 (nicht unterstützt) 1.15 1.16 1.28 (aktuell)
Benachrichtigungsrichtlinien Vorschau Vorschau Vorschau Vorschau
VM-Laufzeit in Google Distributed Cloud GA GA GA GA
Azure Active Directory-Gruppen (AD) GA GA GA GA
Unterstützung von BGP-basierter Load-Balancer für IPv6 GA GA GA GA
Binärautorisierung - Vorschau GA GA
Gebündeltes Load-Balancing mit BGP GA GA GA GA
Cloud-Audit-Logging GA GA GA GA
Unterstützung für Clustersicherung und -wiederherstellung GA GA GA GA
Rotation von Cluster-Zertifizierungsstellen (CAs) GA GA GA GA
Unterstützung von Befehlszeilenzurücksetzungen von Clusterknoten GA GA GA GA
Clusterupgrade pausieren und fortsetzen - - - Vorschau
Containerd-Containerlaufzeit GA GA GA GA
Kontrollgruppe v2 Vorschau GA GA GA
Benutzerdefinierte Zertifizierungsstellen - - Vorschau GA
Load Balancing-Weiterleitungsmodus von Dataplane V2 Direct Server Return (DSR) - - Vorschau GA
Dynamic Flat IP mit Border Gateway Protocol (BGP) GA GA GA GA
NAT-Gateway für ausgehenden Traffic GA GA GA GA
Flacher IPv4-Modus (statisch) GA GA GA GA
Flache IPv6-Unterstützung (BGP-Modus) GA GA GA GA
GKE Identity Service v2 - - - Vorschau
IPv4/IPv6-Dual Stack GA GA GA GA
KSA-Support GA GA GA GA
Managed Collector für Google Cloud Managed Service for Prometheus GA GA GA GA
Multi-Cluster-Konnektivität Vorschau Vorschau Vorschau Vorschau
Pods mit mehreren NICs GA GA GA GA
Network Connectivity Gateway Vorschau Vorschau Vorschau Vorschau
Node Problem Detector GA GA GA GA
Parallele Knotenupgrades Vorschau GA GA GA
Parallele Knotenpoolupgrades - Vorschau GA GA
Leistungsoptimierungsoperator - - Vorschau Vorschau
Unterstützung für Registry-Spiegel GA GA GA GA
Sicherer Computing-Modus (seccomp) GA GA GA GA
Upgrade der Knotenpoolversion überspringen - - - Vorschau
SR-IOV-Netzwerk GA GA GA GA
Zusammenfassende API-Messwerte GA GA GA GA
VPC Service Controls - Vorschau GA GA
Workload Identity GA GA GA GA

Modell der geteilten Verantwortung

Für die Ausführung einer geschäftskritischen Produktionsanwendung in GKE on Bare Metal müssen mehrere Parteien unterschiedliche Verantwortlichkeiten übernehmen. In den folgenden Abschnitten sind die Rollen und Verantwortlichkeiten aufgeführt.

Verantwortlichkeit von Google

  • Wartung und Verteilung des Softwarepakets für GKE on Bare Metal
  • Benachrichtigung von Nutzern über verfügbare Upgrades für GKE on Bare Metal und Erstellen von Upgrade-Skripts für die vorherige Version; GKE on Bare Metal unterstützt nur sequenzielle Upgrades (Beispiel: 1.2 → 1.3 → 1.4 und nicht 1.2 → 1.4).
  • Ausführen der Connect- und Cloud-Betriebsdienste
  • Beheben von Fehlern, Bereitstellen von Problemumgehungen und Beheben der Ursache von Problemen im Zusammenhang mit von Google bereitgestellten Komponenten

Verantwortlichkeit der Nutzer

  • Gesamte Systemverwaltung für lokale Cluster.
  • Verwalten von auf dem Cluster bereitgestellten Anwendungsarbeitslasten.
  • Ausführen, Verwalten und Patchen der Rechenzentrumsinfrastruktur, einschließlich Netzwerk, Server, Betriebssystem, Speicher und Konnektivität zu Google Cloud.
  • Das Ausführen, Warten und Patchen von Netzwerk-Load-Balancern, wenn eine manuelle Load-Balancer-Option ausgewählt wird.
  • Regelmäßiges Upgrade von GKE on Bare Metal-Versionen durchführen.
  • Monitoring des Clusters und von Anwendungen sowie Reagieren auf Vorfälle.
  • Bereitstellung von Cloud Operations-Agents auf Clustern sicherstellen
  • Bereitstellen von Umgebungsdaten zur Fehlerbehebung für Google.

Entwicklersupport

Google bietet keinen Support speziell für Ihre Anwendungsarbeitslasten. Wir bieten jedoch Best-Effort-Entwicklersupport, damit Ihre Entwickler Anwendungen in GKE on Bare Metal ausführen können. Wir sind davon überzeugt, dass eine frühzeitige Einbindung kritischer Vorfälle später in der Bereitstellung verhindern kann.

Dieser Best-Effort-Entwicklersupport steht Kunden mit einem kostenpflichtigen Supportpaket zur Verfügung und hat eine P3-Priorität für ein Problem, das eine Einführung blockiert, oder mit P4-Priorität für eine allgemeine Beratung. Dabei hat die Prioritätsstufe 0 die höchste Priorität.