Für GKE On-Prem ist Folgendes erforderlich:
- Eine VMware vSphere 6.5-Umgebung, die vSphere 6.5, vCenter 6.5 und vSphere ESXI 6.5 umfasst.
- Ein Netzwerk-Load-Balancer der Ebene 4 Standardmäßig ist GKE On-Prem in F5 BIG-IP-Versionen 12.x oder 13.x eingebunden. Sie können auch das manuelle Load-Balancing aktivieren und Ihren eigenen L4-Load-Balancer verwenden.
Bevor Sie beginnen, sollten Sie die Übersicht über GKE On-Prem lesen.
Hardwareanforderungen
Mit GKE On-Prem können Sie aus einer breiten Palette von Hardwareoptionen auswählen. Informationen zu den von vSphere übernommenen Hardwareanforderungen finden Sie unter VMware-/vSphere 6.5-Hardwarespezifikation.
Google arbeitet mit mehreren OEM-Partnern zusammen, um validierte Hardwarelösungen bereitstellen zu können. Wählen Sie Optionen von diesen Partnern aus, um sowohl vertraute Lösungen als auch Vorteile für den gemeinsamen Support zu erhalten. Google und unsere Partner arbeiten gemeinsam an der Behebung von Installationsproblemen.
Zu unseren OEM-Partnern gehören derzeit: Wenn neue Plattformen und Partner Teil der Anthos-Produktfamilie werden, wird diese Liste aktualisiert:
- Cisco
- Dell
- HPE
- Intel
- Lenovo
vSphere-Anforderungen
Sie installieren GKE On-Prem in einer VMware vSphere 6.5-Umgebung. Weitere Informationen zur Installation von vSphere finden Sie unter Übersicht über den vSphere-Installations- und Einrichtungsprozess in der Dokumentation zu VMware.
vSphere 6.5 umfasst die folgenden Komponenten:
In den nachstehenden Abschnitten erfahren Sie, wie Sie eine vorhandene vSphere-Installation für die Verwendung mit GKE On-Prem konfigurieren.
Lizenzversion und Versionsvoraussetzungen
Derzeit ist für GKE On-Prem VMware vSphere 6.5 erforderlich. Insbesondere benötigen Sie die folgenden lizenzierten VMware-Produkte:
- BlackBerry ESXI 6.5 mit einer Enterprise Plus-Lizenzversion, die auf jedem der Hosts in Ihrem Rechenzentrum installiert ist.
- VMware vCenter 6.5 mit einer Standard-Lizenzversion, installiert auf einem Host in Ihrem Rechenzentrum.
Weitere Informationen finden Sie in den folgenden VM-Ressourcen:
vCenter-Nutzerkontoberechtigungen
Das vSphere Nutzerkonto, mit dem Sie GKE On-Prem-Cluster installieren, muss ausreichende Berechtigungen haben. Mit der Rolle Administrator von vCenter erhalten Nutzer vollständigen Zugriff auf alle vCenter-Objekte.
Alternativ können Sie eine benutzerdefinierte Rolle mit den erforderlichen Mindestberechtigungen erstellen (siehe Tabelle unten).
Informationen zum Verwalten von Berechtigungen finden Sie unter Berechtigungen für vCenter-Komponenten verwalten.
Virtuelle Maschinen, die während der Installation erstellt werden
Bei einer neuen Installation erstellt GKE On-Prem mehrere virtuelle Maschinen (VMs oder "Knoten") in vSphere. In der folgenden Tabelle werden die Spezifikationen dieser VMs und deren Zweck beschrieben.
Darüber hinaus erstellt GKE On-Prem einen nichtflüchtigen Speicher mit 100 GB zum Speichern der Daten des Administratorclusters.
Administratorcluster
Name | Systempräfix | Konfigurationsfeld | Spezifikationen | Zweck |
---|---|---|---|---|
Administratorcluster-Steuerungsebene | gke-admin-master |
– |
|
Führt die Administratorsteuerungsebene im Administratorcluster aus. |
Add-on-VMs | gke-admin-node |
– |
Zwei VMs, die mit den folgenden Spezifikationen ausgeführt werden:
|
Führen Sie die Add-ons der Administratorsteuerungsebene im Administratorcluster aus. |
Nutzercluster-Steuerungsebene | [USER_CLUSTER_NAME]-user-N |
usercluster.masternode |
|
Jeder Nutzercluster hat eine eigene Steuerungsebene. VMs auf Nutzersteuerungsebene werden im Administratorcluster ausgeführt. Sie können eine oder drei Nutzersteuerungsebenen erstellen. Wenn Sie drei Nutzer-Steuerungsebenen erstellen, erstellt GKE On-Prem drei VMs - eine für jede Steuerungsebene - mit diesen Spezifikationen. |
Nutzercluster
Name | Systempräfix | Konfigurationsfeld | Spezifikationen | Zweck |
---|---|---|---|---|
Nutzercluster-Worker-Knoten | [USER_CLUSTER_NAME]-user |
usercluster.workernode |
Dies sind die Standardwerte für Nutzercluster-Worker-Knoten:
|
Ein Nutzercluster-"Knoten", auch "Maschine" genannt, ist eine virtuelle Maschine, auf der Arbeitslasten ausgeführt werden. Beim Erstellen eines Nutzerclusters entscheiden Sie, wie viele Knoten ausgeführt werden sollen. Die für jeden Knoten erforderliche Konfiguration hängt von den ausgeführten Arbeitslasten ab. Informationen zur maximalen Anzahl von Clustern und Knoten, die Sie erstellen können, finden Sie unter Kontingente und Beschränkungen. Sie können VMs zu einem vorhandenen Nutzercluster hinzufügen oder daraus entfernen. Siehe Größe eines Clusters anpassen. |
PersistentVolumeClaims in Administrator- und Nutzerclustern
Ihr vSphere-Datenspeicher muss genügend Kapazität haben, um die von Prometheus und der Operations-Suite von Google Cloud erstellten PersistentVolumeClaims (PVCs) in den Administrator- und Nutzerclustern auszuführen. Prometheus benötigt genügend Speicherplatz für Messwerte mehrerer Tagen und die Operations-Suite von Google Cloud benötigt Speicher, um Logs während eines Netzwerkausfalls zwischenspeichern können.
Jeder Cluster hat die folgenden PVCs:
- Lokaler Prometheus-StatefulSet: 250 GiB * 2 Replikate = 500 GiB
- Stackdriver Prometheus-StatefulSet: 250 GiB * 1 Replikat = 250 GiB
- Log Aggregator-StatefulSet: 100 GiB * 2 Replikate = 200 GiB
NTP (Network Time Protocol)
Alle VMs in Ihrer vSphere-Umgebung müssen denselben NTP-Server (Network Time Protocol) verwenden.
Wenn Ihre Administrator-Workstation und Clusterknoten statische IP-Adressen verwenden, müssen Sie die IP-Adresse eines NTP-Servers im Feld tod
der Datei hostconfig
angeben.
Wenn Ihre Administrator-Workstation und Ihre Clusterknoten ihre IP-Adressen von einem DHCP-Server beziehen, können Sie den DHCP-Server so konfigurieren, dass er die Adresse eines NTP-Servers bereitstellt. Wenn DHCP keinen NTP-Server angibt, verwendet GKE On-Prem standardmäßig ntp.ubuntu.com
.
Anforderungen an den Load-Balancer
GKE On-Prem verfügt über zwei Load-Balancing-Modi: Integriert und manuell. Der integrierte Modus unterstützt F5 BIG-IP. Der manuelle Modus unterstützt die folgenden Load-Balancer:
- Citrix
- Seesaw
Unabhängig davon, welchen Load-Balancer Sie auswählen, muss Ihre Umgebung die folgenden Netzwerkanforderungen erfüllen.
VIPs werden für das Load-Balancing reserviert
Sie müssen mehrere VIPs reservieren, die Sie für das Load-Balancing verwenden möchten. Legen Sie eine VIP für jeden der folgenden Zwecke fest:
Komponente | Beschreibung |
---|---|
Administrator-Steuerungsebene | Greift auf den Kubernetes API-Server des Administratorclusters zu. Die kubeconfig-Datei des Administratorclusters verweist im Feld |
Add-ons für Administratorsteuerungsebenen | Verwaltet die Kommunikation zwischen den Add-on-VMs auf Administratorsteuerungsebene. |
Eingehender Traffic auf Administratorsteuerungsebene | Wird zum Interagieren mit Diensten verwendet, die im Administratorcluster ausgeführt werden. Istio verwaltet den eingehenden Traffic im Cluster und die Dienste müssen explizit für den externen Zugriff konfiguriert werden. |
Eine VIP für jede Nutzercluster-Steuerungsebene | Zugriff auf die Kubernetes API-Server jedes Nutzerclusters. Die kubeconfig-Datei jedes Nutzerclusters verweist auf eine dieser VIPs. |
Eine VIP für jeden Nutzercluster-Controller für eingehenden Traffic | Wird zum Interagieren mit Diensten verwendet, die in den Nutzerclustern ausgeführt werden. |
Eine VIP für Cluster-Upgrades | Wird von GKE On-Prem während Cluster-Upgrades verwendet. |
CIDR-Blöcke reservieren
Sie müssen CIDR-Blöcke für die folgenden Bereiche reservieren:
Range |
Beschreibung |
---|---|
Pod-IP-Adressbereich |
|
Dienst-IP-Adressbereich |
|
Öffnen Sie Ihre Firewall für Cluster-Lebenszyklus-Ereignisse
Achten Sie darauf, dass Ihre Firewall den folgenden Traffic zulässt. Wenn nicht anders angegeben, lautet das Standardprotokoll TCP:
Von |
An |
Lebenszyklus-Ereignisse |
---|---|---|
Administratorsteuerungsebene, Nutzersteuerungsebenen, Nutzercluster-Knoten |
Ausgehender Zugriff auf *.googleapis.com, wodurch Google-Netblock-IP-Bereiche (Port 443) für den Zugriff auf Google Cloud Storage und Container Registry aufgelöst werden. |
|
VMs für die Administrator- und Nutzersteuerungsebene |
vCenter-IP-Adresse (Port 443) |
Neue Maschinen hinzufügen |
Administrator-Workstation-VM |
vCenter-IP-Adresse (Port 443) |
Cluster-Bootstrapping |
Administrator-Workstation-VM |
SSH (Port 22) an Administrator- und Nutzersteuerungsebenen |
|
Anforderungen und Einschränkungen für die Dienst- und Pod-Konnektivität
Berücksichtigen Sie bei der Vorbereitung für GKE On-Prem die folgenden Verbindungsbereiche:
Category |
Anforderung/Beschränkung |
---|---|
Routing |
Sie müssen dafür sorgen, dass vSphere-VMs in der Lage sind, eine Weiterleitung zueinander zu erstellen. |
IP-Bereiche |
Für den Administratorcluster und für jeden Nutzercluster, den Sie erstellen möchten, müssen Sie zwei verschiedene CIDR-IPv4-Blöcke reservieren: einen für Pod-IPs und einen für Dienst-IPs. |
SSL |
– |
Datenkapselung |
Der zu verwendende CNI-Anbieter ist Calico. |
Anforderungen und Einschränkungen für Cluster
Beachten Sie beim Planen Ihrer GKE On-Prem-Cluster die folgenden Bereiche:
Kategorie |
Anforderung/Beschränkung |
---|---|
Routing |
|
Dienstsichtbarkeit |
Für jeden Nutzercluster mit eingehendem Traffic mit HTTPS fügen Sie DNS-Einträge hinzu, die auf die VIP für den Controller für eingehenden Traffic des Clusters verweisen. |
F5 BIG-IP-Anforderungen
F5 BIG-IP lässt sich in GKE On-Premix einbinden und ist damit die empfohlene Lösung Informationen zur Installation von F5 BIG-IP.
So konfigurieren Sie den F5 BIG-IP-Load-Balancer:
F5 BIG-IP-Kontoberechtigungen
GKE On-Prem benötigt ein F5 BIG-IP-Nutzerkonto mit der Administratorrolle. Weitere Informationen finden Sie in der F5-Dokumentation zu Nutzerrollen.
Während der Installation stellen Sie GKE On-Prem mit Ihren F5 BIG-IP-Anmeldedaten bereit. Das bereitgestellte Konto muss über die Administratorrolle gemäß dem F5 Container Connector-Nutzerhandbuch verfügen, das besagt: "Für den BIG-IP-Controller sind Administratorberechtigungen erforderlich, um vollständige Funktionen zu bieten."F5 BIG-IP-Partitionen
Sie müssen für jeden Cluster, den Sie vorab erstellen möchten, eine administrative Partition von F5 BIG-IP erstellen. Zu Beginn müssen Sie mindestens zwei Partitionen erstellen: eine für den Administratorcluster und eine für einen Nutzercluster. Weitere Informationen finden Sie in der F5-Dokumentation Administrative Partitionen konfigurieren, um den Nutzerzugriff zu steuern.
Verwenden Sie eine administrative Partition nur für den zugehörigen Cluster.