Systemanforderungen

Für GKE On-Prem ist Folgendes erforderlich:

• Eine VMware vSphere 6.5-Umgebung, die vSphere 6.5, vCenter 6.5 und vSphere ESXI 6.5 umfasst.
• Ein Netzwerk-Load-Balancer der Ebene 4 Standardmäßig ist GKE On-Prem in F5 BIG-IP-Versionen 12.x oder 13.x eingebunden. Sie können auch das manuelle Load-Balancing aktivieren und Ihren eigenen L4-Load-Balancer verwenden.

Bevor Sie beginnen, sollten Sie die Übersicht über GKE On-Prem lesen.

Hardwareanforderungen

Mit GKE On-Prem können Sie aus einer breiten Palette von Hardwareoptionen auswählen. Informationen zu den von vSphere übernommenen Hardwareanforderungen finden Sie unter VMware-/vSphere 6.5-Hardwarespezifikation.

Google arbeitet mit mehreren OEM-Partnern zusammen, um validierte Hardwarelösungen bereitstellen zu können. Wählen Sie Optionen von diesen Partnern aus, um sowohl vertraute Lösungen als auch Vorteile für den gemeinsamen Support zu erhalten. Google und unsere Partner arbeiten gemeinsam an der Behebung von Installationsproblemen.

Zu unseren OEM-Partnern gehören derzeit: Wenn neue Plattformen und Partner Teil der Anthos-Produktfamilie werden, wird diese Liste aktualisiert:

• Cisco
• Dell
• HPE
• Intel
• Lenovo

vSphere-Anforderungen

Sie installieren GKE On-Prem in einer VMware vSphere 6.5-Umgebung. Weitere Informationen zur Installation von vSphere finden Sie unter Übersicht über den vSphere-Installations- und Einrichtungsprozess in der Dokumentation zu VMware.

vSphere 6.5 umfasst die folgenden Komponenten:

• VMware ESXi
• VMware vCenter-Server
• VMware vCenter Server Appliance

In den nachstehenden Abschnitten erfahren Sie, wie Sie eine vorhandene vSphere-Installation für die Verwendung mit GKE On-Prem konfigurieren.

Lizenzversion und Versionsvoraussetzungen

Derzeit ist für GKE On-Prem VMware vSphere 6.5 erforderlich. Insbesondere benötigen Sie die folgenden lizenzierten VMware-Produkte:

• BlackBerry ESXI 6.5 mit einer Enterprise Plus-Lizenzversion, die auf jedem der Hosts in Ihrem Rechenzentrum installiert ist.
• VMware vCenter 6.5 mit einer Standard-Lizenzversion, installiert auf einem Host in Ihrem Rechenzentrum.

Weitere Informationen finden Sie in den folgenden VM-Ressourcen:

• VMware vSphere-Versionsvergleich
• VMware vSphere-Funktionsvergleich

vCenter-Nutzerkontoberechtigungen

Das vSphere Nutzerkonto, mit dem Sie GKE On-Prem-Cluster installieren, muss ausreichende Berechtigungen haben. Mit der Rolle Administrator von vCenter erhalten Nutzer vollständigen Zugriff auf alle vCenter-Objekte.

Alternativ können Sie eine benutzerdefinierte Rolle mit den erforderlichen Mindestberechtigungen erstellen (siehe Tabelle unten).

Klicken Sie auf den Offenlegungspfeil, um die Tabelle der erforderlichen vSphere-Berechtigungen anzuzeigen

Entity	Berechtigung
Cloudnativer Speicher	Suchbar
Datastore	Speicherplatz zuordnen In Datenspeicher suchen Low-Level-Dateivorgänge Datei entfernen VM-Dateien aktualisieren Metadaten für virtuelle Maschinen aktualisieren
Ordner	Ordner erstellen Ordner löschen Ordner verschieben Ordner umbenennen
Inventar hosten	Cluster bearbeiten
vSphere-Tagging	vSphere-Tag erstellen
vCenter-Server rooten	Sitzung validieren
Netz	Netz zuweisen
Ressource	Empfehlung anwenden Virtuelle Maschine zu Ressourcenpool zuweisen Ausgeschaltete virtuelle Maschine migrieren Eingeschaltete virtuelle Maschine migrieren vMotion abfragen
Speicheransichten	Ansehen
System	Anonym Lesen Ansehen
Tasks	Aufgabe erstellen Aufgabe aktualisieren
vApp	Import Konfiguration der vApp-Anwendung Konfiguration von vApp-Instanzen
Virtual Machines	Konfiguration Vorhandenes Laufwerk hinzufügen Neues Laufwerk hinzufügen Gerät hinzufügen oder entfernen Erweitert CPU-Anzahl ändern Ressource ändern managedBy konfigurieren Laufwerksänderungen verfolgen Laufwerksfreigabe Display-Verbindungseinstellungen Virtuelles Laufwerk erweitern USB-Gerät hosten Speicher Geräteeinstellungen ändern Kompatibilität – Abfragefehlertoleranz Unbeanspruchte Dateien abfragen Unformatiertes Gerät Von Pfad neu laden Laufwerk entfernen Umbenennen Gastinformationen zurücksetzen Anmerkung festlegen Einstellungen Platzierung von Auslagerungsdateien Übergeordnetes Element aktivieren/deaktivieren Kompatibilität – Upgrade von VMs Gastvorgänge Änderung des Gastbetriebs-Alias Abfrage des Gastbetriebs-Alias Gastbetrieb-Änderungen Ausführung des Gastbetriebsprogramms Gastbetrieb-Abfragen Interaktion Frage beantworten Sicherungsvorgang auf der virtuellen Maschine CD-Medien konfigurieren Diskettenmedien konfigurieren Interaktion mit der Console Screenshot erstellen Alle Laufwerke defragmentieren Geräteverbindung Drag-and-drop Gastbetriebssystemverwaltung durch die VIX API USB-HID-Scancodes einfügen Pausieren oder Pausierung aufheben Lösch- oder Verkleinerungsvorgänge ausführen Ausschalten Einschalten Sitzung auf der virtuellen Maschine aufzeichnen Sitzung auf virtueller Maschine noch einmal abspielen Zurücksetzen Fehlertoleranz fortsetzen Sperren Fehlertoleranz aussetzen Failover testen Neustart der sekundären VM testen Fehlertoleranz deaktivieren Fehlertoleranz aktivieren Installation der VMware-Tools Bestand Aus vorhandenen erstellen Neu erstellen Verschieben Anmelden Entfernen Registrierung aufheben Bereitstellung Laufwerkzugriff zulassen Dateizugriff zulassen Schreibgeschützten Zugriff zulassen Herunterladen von virtuellen Maschinen zulassen Hochladen von VM-Dateien zulassen Vorlage klonen Virtuelle Maschine klonen Vorlage aus virtueller Maschine erstellen Anpassen Vorlage bereitstellen Als Vorlage markieren Als virtuelle Maschine markieren Anpassungsspezifikation ändern Laufwerke hochstufen Anpassungsspezifikationen lesen Dienstkonfiguration Benachrichtigungen zulassen. Abfrage globaler Ereignisbenachrichtigungen zulassen Dienstkonfigurationen verwalten Dienstkonfiguration ändern Dienstkonfigurationen abfragen Dienstkonfiguration lesen Snapshot-Verwaltung Snapshot erstellen Snapshot entfernen Snapshot umbenennen Auf Snapshot zurücksetzen vSphere-Replikation Replikation konfigurieren Replikation verwalten Replikation überwachen

Informationen zum Verwalten von Berechtigungen finden Sie unter Berechtigungen für vCenter-Komponenten verwalten.

Virtuelle Maschinen, die während der Installation erstellt werden

Bei einer neuen Installation erstellt GKE On-Prem mehrere virtuelle Maschinen (VMs oder "Knoten") in vSphere. In der folgenden Tabelle werden die Spezifikationen dieser VMs und deren Zweck beschrieben.

Darüber hinaus erstellt GKE On-Prem einen nichtflüchtigen Speicher mit 100 GB zum Speichern der Daten des Administratorclusters.

Administratorcluster

Name	Systempräfix	Konfigurationsfeld	Spezifikationen	Zweck
Administratorcluster-Steuerungsebene	gke-admin-master	–	4 vCPU 16384 MB RAM 40 GB Festplattenspeicher	Führt die Administratorsteuerungsebene im Administratorcluster aus.
Add-on-VMs	gke-admin-node	–	Zwei VMs, die mit den folgenden Spezifikationen ausgeführt werden: 4 vCPU 16384 MB RAM 40 GB Festplattenspeicher	Führen Sie die Add-ons der Administratorsteuerungsebene im Administratorcluster aus.
Nutzercluster-Steuerungsebene	[USER_CLUSTER_NAME]-user-N	usercluster.masternode	4 vCPU 8192 MB RAM 40 GB Festplattenspeicher	Jeder Nutzercluster hat eine eigene Steuerungsebene. VMs auf Nutzersteuerungsebene werden im Administratorcluster ausgeführt. Sie können eine oder drei Nutzersteuerungsebenen erstellen. Wenn Sie drei Nutzer-Steuerungsebenen erstellen, erstellt GKE On-Prem drei VMs - eine für jede Steuerungsebene - mit diesen Spezifikationen.

Nutzercluster

Name	Systempräfix	Konfigurationsfeld	Spezifikationen	Zweck
Nutzercluster-Worker-Knoten	[USER_CLUSTER_NAME]-user	usercluster.workernode	Dies sind die Standardwerte für Nutzercluster-Worker-Knoten: 4 vCPU 8192 MB RAM 40 GB Festplattenspeicher	Ein Nutzercluster-"Knoten", auch "Maschine" genannt, ist eine virtuelle Maschine, auf der Arbeitslasten ausgeführt werden. Beim Erstellen eines Nutzerclusters entscheiden Sie, wie viele Knoten ausgeführt werden sollen. Die für jeden Knoten erforderliche Konfiguration hängt von den ausgeführten Arbeitslasten ab. Informationen zur maximalen Anzahl von Clustern und Knoten, die Sie erstellen können, finden Sie unter Kontingente und Beschränkungen. Sie können VMs zu einem vorhandenen Nutzercluster hinzufügen oder daraus entfernen. Siehe Größe eines Clusters anpassen.

PersistentVolumeClaims in Administrator- und Nutzerclustern

Ihr vSphere-Datenspeicher muss genügend Kapazität haben, um die von Prometheus und der Operations-Suite von Google Cloud erstellten PersistentVolumeClaims (PVCs) in den Administrator- und Nutzerclustern auszuführen. Prometheus benötigt genügend Speicherplatz für Messwerte mehrerer Tagen und die Operations-Suite von Google Cloud benötigt Speicher, um Logs während eines Netzwerkausfalls zwischenspeichern können.

Jeder Cluster hat die folgenden PVCs:

• Lokaler Prometheus-StatefulSet: 250 GiB * 2 Replikate = 500 GiB
• Stackdriver Prometheus-StatefulSet: 250 GiB * 1 Replikat = 250 GiB
• Log Aggregator-StatefulSet: 100 GiB * 2 Replikate = 200 GiB

NTP (Network Time Protocol)

Alle VMs in Ihrer vSphere-Umgebung müssen denselben NTP-Server (Network Time Protocol) verwenden.

Wenn Ihre Administrator-Workstation und Clusterknoten statische IP-Adressen verwenden, müssen Sie die IP-Adresse eines NTP-Servers im Feld tod der Datei hostconfig angeben.

Wenn Ihre Administrator-Workstation und Ihre Clusterknoten ihre IP-Adressen von einem DHCP-Server beziehen, können Sie den DHCP-Server so konfigurieren, dass er die Adresse eines NTP-Servers bereitstellt. Wenn DHCP keinen NTP-Server angibt, verwendet GKE On-Prem standardmäßig ntp.ubuntu.com.

Anforderungen an den Load-Balancer

GKE On-Prem verfügt über zwei Load-Balancing-Modi: Integriert und manuell. Der integrierte Modus unterstützt F5 BIG-IP. Der manuelle Modus unterstützt die folgenden Load-Balancer:

• Citrix
• Seesaw

Unabhängig davon, welchen Load-Balancer Sie auswählen, muss Ihre Umgebung die folgenden Netzwerkanforderungen erfüllen.

VIPs werden für das Load-Balancing reserviert

Sie müssen mehrere VIPs reservieren, die Sie für das Load-Balancing verwenden möchten. Legen Sie eine VIP für jeden der folgenden Zwecke fest:

Komponente	Beschreibung
Administrator-Steuerungsebene	Greift auf den Kubernetes API-Server des Administratorclusters zu. Die kubeconfig-Datei des Administratorclusters verweist im Feld server auf diese VIP.
Add-ons für Administratorsteuerungsebenen	Verwaltet die Kommunikation zwischen den Add-on-VMs auf Administratorsteuerungsebene.
Eingehender Traffic auf Administratorsteuerungsebene	Wird zum Interagieren mit Diensten verwendet, die im Administratorcluster ausgeführt werden. Istio verwaltet den eingehenden Traffic im Cluster und die Dienste müssen explizit für den externen Zugriff konfiguriert werden.
Eine VIP für jede Nutzercluster-Steuerungsebene	Zugriff auf die Kubernetes API-Server jedes Nutzerclusters. Die kubeconfig-Datei jedes Nutzerclusters verweist auf eine dieser VIPs.
Eine VIP für jeden Nutzercluster-Controller für eingehenden Traffic	Wird zum Interagieren mit Diensten verwendet, die in den Nutzerclustern ausgeführt werden.
Eine VIP für Cluster-Upgrades	Wird von GKE On-Prem während Cluster-Upgrades verwendet.

CIDR-Blöcke reservieren

Sie müssen CIDR-Blöcke für die folgenden Bereiche reservieren:

Range	Beschreibung
Pod-IP-Adressbereich	CIDR-IPv4-Block (/C) wird für Kubernetes-Pod-IP-Adressen reserviert. Aus diesem Bereich werden kleinere /24-Bereiche pro Knoten zugewiesen. Wenn Sie einen Cluster mit N Knoten benötigen, achten Sie darauf, dass /C groß genug ist, um N /24-Blöcke zu unterstützen. Sie müssen einen Pod-IP-Bereich für Ihren Administratorcluster und einen Pod-IP-Bereich für jeden Nutzercluster festlegen, den Sie erstellen möchten. Wenn der Cluster beispielsweise bis zu 10 Knoten umfassen kann, muss / C ein /20-Block sein, da er bis zu 16–24 Bereiche unterstützt.
Dienst-IP-Adressbereich	CIDR-IPv4-Block (/S) wird für Kubernetes-Dienst-IP-Adressen reserviert. Die Blockgröße bestimmt die Anzahl der Dienste. Für den Ingress-Dienst selbst ist eine Dienst-IP erforderlich. Für Kubernetes-Dienste wie Cluster-DNS usw. zehn oder mehr IPs. Sie müssen einen Dienst-IP-Adressbereich für den Administratorcluster und einen Dienst-IP-Adressbereich für jeden Nutzercluster reservieren, den Sie erstellen möchten. Sie sollten nicht denselben Dienst-IP-Adressbereich für den Administratorcluster und die Nutzercluster verwenden. Verwenden Sie hierfür einen /24-Wert (256 IPs) oder einen größeren Block. Bereiche, die kleiner als /24 sind, können die Anzahl der Dienste begrenzen, die pro Cluster gehostet werden können.

Öffnen Sie Ihre Firewall für Cluster-Lebenszyklus-Ereignisse

Achten Sie darauf, dass Ihre Firewall den folgenden Traffic zulässt. Wenn nicht anders angegeben, lautet das Standardprotokoll TCP:

Von	An	Lebenszyklus-Ereignisse
Administratorsteuerungsebene, Nutzersteuerungsebenen, Nutzercluster-Knoten	Ausgehender Zugriff auf *.googleapis.com, wodurch Google-Netblock-IP-Bereiche (Port 443) für den Zugriff auf Google Cloud Storage und Container Registry aufgelöst werden.	Cluster-Bootstrapping Clustermaschinen hinzufügen oder reparieren
VMs für die Administrator- und Nutzersteuerungsebene	vCenter-IP-Adresse (Port 443)	Neue Maschinen hinzufügen
Administrator-Workstation-VM	vCenter-IP-Adresse (Port 443)	Cluster-Bootstrapping
Administrator-Workstation-VM	SSH (Port 22) an Administrator- und Nutzersteuerungsebenen	Cluster-Bootstrapping Aktualisierungen der Steuerungsebene

Anforderungen und Einschränkungen für die Dienst- und Pod-Konnektivität

Berücksichtigen Sie bei der Vorbereitung für GKE On-Prem die folgenden Verbindungsbereiche:

Category	Anforderung/Beschränkung
Routing	Sie müssen dafür sorgen, dass vSphere-VMs in der Lage sind, eine Weiterleitung zueinander zu erstellen.
IP-Bereiche	Für den Administratorcluster und für jeden Nutzercluster, den Sie erstellen möchten, müssen Sie zwei verschiedene CIDR-IPv4-Blöcke reservieren: einen für Pod-IPs und einen für Dienst-IPs.
SSL	–
Datenkapselung	Der zu verwendende CNI-Anbieter ist Calico.

Anforderungen und Einschränkungen für Cluster

Beachten Sie beim Planen Ihrer GKE On-Prem-Cluster die folgenden Bereiche:

Kategorie	Anforderung/Beschränkung
Routing	Nur F5 BIG-IP: API-Zugriff auf die F5 BIG-IP-Steuerungsebene, die die Verwendung virtueller IP-Adressen für das Load-Balancing über vSphere-VMs unterstützt. Sie müssen Ihr Netzwerk so konfigurieren, dass die virtuellen IP-Adressen weitergeleitet werden, die auf dem Load-Balancer konfiguriert werden. Sie müssen den Load-Balancer so konfigurieren, dass er an Clusterknoten weiterleiten kann. Für F5 BIG-IP werden NodePort-Dienste in Clustern als L4-VIPs bereitgestellt. Für andere Load-Balancer können Sie NodePort-Dienste manuell so konfigurieren, dass sie als L4-VIPs verfügbar gemacht werden.
Dienstsichtbarkeit	Für jeden Nutzercluster mit eingehendem Traffic mit HTTPS fügen Sie DNS-Einträge hinzu, die auf die VIP für den Controller für eingehenden Traffic des Clusters verweisen.

F5 BIG-IP-Anforderungen

F5 BIG-IP lässt sich in GKE On-Premix einbinden und ist damit die empfohlene Lösung Informationen zur Installation von F5 BIG-IP.

So konfigurieren Sie den F5 BIG-IP-Load-Balancer:

F5 BIG-IP-Kontoberechtigungen

GKE On-Prem benötigt ein F5 BIG-IP-Nutzerkonto mit der Administratorrolle. Weitere Informationen finden Sie in der F5-Dokumentation zu Nutzerrollen.

Während der Installation stellen Sie GKE On-Prem mit Ihren F5 BIG-IP-Anmeldedaten bereit. Das bereitgestellte Konto muss über die Administratorrolle gemäß dem F5 Container Connector-Nutzerhandbuch verfügen, das besagt: "Für den BIG-IP-Controller sind Administratorberechtigungen erforderlich, um vollständige Funktionen zu bieten."

F5 BIG-IP-Partitionen

Sie müssen für jeden Cluster, den Sie vorab erstellen möchten, eine administrative Partition von F5 BIG-IP erstellen. Zu Beginn müssen Sie mindestens zwei Partitionen erstellen: eine für den Administratorcluster und eine für einen Nutzercluster. Weitere Informationen finden Sie in der F5-Dokumentation Administrative Partitionen konfigurieren, um den Nutzerzugriff zu steuern.

Verwenden Sie eine administrative Partition nur für den zugehörigen Cluster.