Version 1.0. Diese Version wird nicht mehr unterstützt, wie in der Supportrichtlinie für Anthos-Versionen beschrieben. Führen Sie ein Upgrade auf eine unterstützte Version durch, um die neuesten Patches und Updates für Sicherheitslücken, Kontakte und Probleme bei Anthos-Clustern in VMware (GKE On-Prem) zu erhalten. Die neueste Version finden Sie hier.

Systemanforderungen

Für GKE On-Prem ist Folgendes erforderlich:

  • Eine VMware vSphere 6.5-Umgebung, die vSphere 6.5, vCenter 6.5 und vSphere ESXI 6.5 umfasst.
  • Ein Netzwerk-Load-Balancer der Ebene 4 Standardmäßig ist GKE On-Prem in F5 BIG-IP-Versionen 12.x oder 13.x eingebunden. Sie können auch das manuelle Load-Balancing aktivieren und Ihren eigenen L4-Load-Balancer verwenden.

Bevor Sie beginnen, sollten Sie die Übersicht über GKE On-Prem lesen.

Hardwareanforderungen

Mit GKE On-Prem können Sie aus einer breiten Palette von Hardwareoptionen auswählen. Informationen zu den von vSphere übernommenen Hardwareanforderungen finden Sie unter VMware-/vSphere 6.5-Hardwarespezifikation.

Google arbeitet mit mehreren OEM-Partnern zusammen, um validierte Hardwarelösungen bereitstellen zu können. Wählen Sie Optionen von diesen Partnern aus, um sowohl vertraute Lösungen als auch Vorteile für den gemeinsamen Support zu erhalten. Google und unsere Partner arbeiten gemeinsam an der Behebung von Installationsproblemen.

Zu unseren OEM-Partnern gehören derzeit: Wenn neue Plattformen und Partner Teil der Anthos-Produktfamilie werden, wird diese Liste aktualisiert:

  • Cisco
  • Dell
  • HPE
  • Intel
  • Lenovo

vSphere-Anforderungen

Sie installieren GKE On-Prem in einer VMware vSphere 6.5-Umgebung. Weitere Informationen zur Installation von vSphere finden Sie unter Übersicht über den vSphere-Installations- und Einrichtungsprozess in der Dokumentation zu VMware.

vSphere 6.5 umfasst die folgenden Komponenten:

In den nachstehenden Abschnitten erfahren Sie, wie Sie eine vorhandene vSphere-Installation für die Verwendung mit GKE On-Prem konfigurieren.

Lizenzversion und Versionsvoraussetzungen

Derzeit ist für GKE On-Prem VMware vSphere 6.5 erforderlich. Insbesondere benötigen Sie die folgenden lizenzierten VMware-Produkte:

  • BlackBerry ESXI 6.5 mit einer Enterprise Plus-Lizenzversion, die auf jedem der Hosts in Ihrem Rechenzentrum installiert ist.
  • VMware vCenter 6.5 mit einer Standard-Lizenzversion, installiert auf einem Host in Ihrem Rechenzentrum.

Weitere Informationen finden Sie in den folgenden VM-Ressourcen:

vCenter-Nutzerkontoberechtigungen

Das vSphere Nutzerkonto, mit dem Sie GKE On-Prem-Cluster installieren, muss ausreichende Berechtigungen haben. Mit der Rolle Administrator von vCenter erhalten Nutzer vollständigen Zugriff auf alle vCenter-Objekte.

Alternativ können Sie eine benutzerdefinierte Rolle mit den erforderlichen Mindestberechtigungen erstellen (siehe Tabelle unten).

Informationen zum Verwalten von Berechtigungen finden Sie unter Berechtigungen für vCenter-Komponenten verwalten.

Virtuelle Maschinen, die während der Installation erstellt werden

Bei einer neuen Installation erstellt GKE On-Prem mehrere virtuelle Maschinen (VMs oder "Knoten") in vSphere. In der folgenden Tabelle werden die Spezifikationen dieser VMs und deren Zweck beschrieben.

Darüber hinaus erstellt GKE On-Prem einen nichtflüchtigen Speicher mit 100 GB zum Speichern der Daten des Administratorclusters.

Administratorcluster

Name Systempräfix Konfigurationsfeld Spezifikationen Zweck
Administratorcluster-Steuerungsebene gke-admin-master
  • 4 vCPU
  • 16384 MB RAM
  • 40 GB Festplattenspeicher

Führt die Administratorsteuerungsebene im Administratorcluster aus.

Add-on-VMs gke-admin-node

Zwei VMs, die mit den folgenden Spezifikationen ausgeführt werden:

  • 4 vCPU
  • 16384 MB RAM
  • 40 GB Festplattenspeicher

Führen Sie die Add-ons der Administratorsteuerungsebene im Administratorcluster aus.

Nutzercluster-Steuerungsebene [USER_CLUSTER_NAME]-user-N usercluster.masternode
  • 4 vCPU
  • 8192 MB RAM
  • 40 GB Festplattenspeicher

Jeder Nutzercluster hat eine eigene Steuerungsebene. VMs auf Nutzersteuerungsebene werden im Administratorcluster ausgeführt. Sie können eine oder drei Nutzersteuerungsebenen erstellen. Wenn Sie drei Nutzer-Steuerungsebenen erstellen, erstellt GKE On-Prem drei VMs - eine für jede Steuerungsebene - mit diesen Spezifikationen.

Nutzercluster

Name Systempräfix Konfigurationsfeld Spezifikationen Zweck
Nutzercluster-Worker-Knoten [USER_CLUSTER_NAME]-user usercluster.workernode

Dies sind die Standardwerte für Nutzercluster-Worker-Knoten:

  • 4 vCPU
  • 8192 MB RAM
  • 40 GB Festplattenspeicher

Ein Nutzercluster-"Knoten", auch "Maschine" genannt, ist eine virtuelle Maschine, auf der Arbeitslasten ausgeführt werden. Beim Erstellen eines Nutzerclusters entscheiden Sie, wie viele Knoten ausgeführt werden sollen. Die für jeden Knoten erforderliche Konfiguration hängt von den ausgeführten Arbeitslasten ab.

Informationen zur maximalen Anzahl von Clustern und Knoten, die Sie erstellen können, finden Sie unter Kontingente und Beschränkungen.

Sie können VMs zu einem vorhandenen Nutzercluster hinzufügen oder daraus entfernen. Siehe Größe eines Clusters anpassen.

PersistentVolumeClaims in Administrator- und Nutzerclustern

Ihr vSphere-Datenspeicher muss genügend Kapazität haben, um die von Prometheus und der Operations-Suite von Google Cloud erstellten PersistentVolumeClaims (PVCs) in den Administrator- und Nutzerclustern auszuführen. Prometheus benötigt genügend Speicherplatz für Messwerte mehrerer Tagen und die Operations-Suite von Google Cloud benötigt Speicher, um Logs während eines Netzwerkausfalls zwischenspeichern können.

Jeder Cluster hat die folgenden PVCs:

  • Lokaler Prometheus-StatefulSet: 250 GiB * 2 Replikate = 500 GiB
  • Stackdriver Prometheus-StatefulSet: 250 GiB * 1 Replikat = 250 GiB
  • Log Aggregator-StatefulSet: 100 GiB * 2 Replikate = 200 GiB

NTP (Network Time Protocol)

Alle VMs in Ihrer vSphere-Umgebung müssen denselben NTP-Server (Network Time Protocol) verwenden.

Wenn Ihre Administrator-Workstation und Clusterknoten statische IP-Adressen verwenden, müssen Sie die IP-Adresse eines NTP-Servers im Feld tod der Datei hostconfig angeben.

Wenn Ihre Administrator-Workstation und Ihre Clusterknoten ihre IP-Adressen von einem DHCP-Server beziehen, können Sie den DHCP-Server so konfigurieren, dass er die Adresse eines NTP-Servers bereitstellt. Wenn DHCP keinen NTP-Server angibt, verwendet GKE On-Prem standardmäßig ntp.ubuntu.com.

Anforderungen an den Load-Balancer

GKE On-Prem verfügt über zwei Load-Balancing-Modi: Integriert und manuell. Der integrierte Modus unterstützt F5 BIG-IP. Der manuelle Modus unterstützt die folgenden Load-Balancer:

  • Citrix
  • Seesaw

Unabhängig davon, welchen Load-Balancer Sie auswählen, muss Ihre Umgebung die folgenden Netzwerkanforderungen erfüllen.

VIPs werden für das Load-Balancing reserviert

Sie müssen mehrere VIPs reservieren, die Sie für das Load-Balancing verwenden möchten. Legen Sie eine VIP für jeden der folgenden Zwecke fest:

Komponente Beschreibung
Administrator-Steuerungsebene

Greift auf den Kubernetes API-Server des Administratorclusters zu. Die kubeconfig-Datei des Administratorclusters verweist im Feld server auf diese VIP.

Add-ons für Administratorsteuerungsebenen

Verwaltet die Kommunikation zwischen den Add-on-VMs auf Administratorsteuerungsebene.

Eingehender Traffic auf Administratorsteuerungsebene

Wird zum Interagieren mit Diensten verwendet, die im Administratorcluster ausgeführt werden. Istio verwaltet den eingehenden Traffic im Cluster und die Dienste müssen explizit für den externen Zugriff konfiguriert werden.

Eine VIP für jede Nutzercluster-Steuerungsebene

Zugriff auf die Kubernetes API-Server jedes Nutzerclusters. Die kubeconfig-Datei jedes Nutzerclusters verweist auf eine dieser VIPs.

Eine VIP für jeden Nutzercluster-Controller für eingehenden Traffic

Wird zum Interagieren mit Diensten verwendet, die in den Nutzerclustern ausgeführt werden.

Eine VIP für Cluster-Upgrades

Wird von GKE On-Prem während Cluster-Upgrades verwendet.

CIDR-Blöcke reservieren

Sie müssen CIDR-Blöcke für die folgenden Bereiche reservieren:

Range

Beschreibung

Pod-IP-Adressbereich

  • CIDR-IPv4-Block (/C) wird für Kubernetes-Pod-IP-Adressen reserviert. Aus diesem Bereich werden kleinere /24-Bereiche pro Knoten zugewiesen. Wenn Sie einen Cluster mit N Knoten benötigen, achten Sie darauf, dass /C groß genug ist, um N /24-Blöcke zu unterstützen.
  • Sie müssen einen Pod-IP-Bereich für Ihren Administratorcluster und einen Pod-IP-Bereich für jeden Nutzercluster festlegen, den Sie erstellen möchten.
  • Wenn der Cluster beispielsweise bis zu 10 Knoten umfassen kann, muss / C ein /20-Block sein, da er bis zu 16–24 Bereiche unterstützt.

Dienst-IP-Adressbereich

  • CIDR-IPv4-Block (/S) wird für Kubernetes-Dienst-IP-Adressen reserviert. Die Blockgröße bestimmt die Anzahl der Dienste. Für den Ingress-Dienst selbst ist eine Dienst-IP erforderlich. Für Kubernetes-Dienste wie Cluster-DNS usw. zehn oder mehr IPs.
  • Sie müssen einen Dienst-IP-Adressbereich für den Administratorcluster und einen Dienst-IP-Adressbereich für jeden Nutzercluster reservieren, den Sie erstellen möchten. Sie sollten nicht denselben Dienst-IP-Adressbereich für den Administratorcluster und die Nutzercluster verwenden.
  • Verwenden Sie hierfür einen /24-Wert (256 IPs) oder einen größeren Block. Bereiche, die kleiner als /24 sind, können die Anzahl der Dienste begrenzen, die pro Cluster gehostet werden können.

Öffnen Sie Ihre Firewall für Cluster-Lebenszyklus-Ereignisse

Achten Sie darauf, dass Ihre Firewall den folgenden Traffic zulässt. Wenn nicht anders angegeben, lautet das Standardprotokoll TCP:

Von

An

Lebenszyklus-Ereignisse

Administratorsteuerungsebene, Nutzersteuerungsebenen, Nutzercluster-Knoten

Ausgehender Zugriff auf *.googleapis.com, wodurch Google-Netblock-IP-Bereiche (Port 443) für den Zugriff auf Google Cloud Storage und Container Registry aufgelöst werden.

  • Cluster-Bootstrapping
  • Clustermaschinen hinzufügen oder reparieren

VMs für die Administrator- und Nutzersteuerungsebene

vCenter-IP-Adresse (Port 443)

Neue Maschinen hinzufügen

Administrator-Workstation-VM

vCenter-IP-Adresse (Port 443)

Cluster-Bootstrapping

Administrator-Workstation-VM

SSH (Port 22) an Administrator- und Nutzersteuerungsebenen

  • Cluster-Bootstrapping
  • Aktualisierungen der Steuerungsebene

Anforderungen und Einschränkungen für die Dienst- und Pod-Konnektivität

Berücksichtigen Sie bei der Vorbereitung für GKE On-Prem die folgenden Verbindungsbereiche:

Category

Anforderung/Beschränkung

Routing

Sie müssen dafür sorgen, dass vSphere-VMs in der Lage sind, eine Weiterleitung zueinander zu erstellen.

IP-Bereiche

Für den Administratorcluster und für jeden Nutzercluster, den Sie erstellen möchten, müssen Sie zwei verschiedene CIDR-IPv4-Blöcke reservieren: einen für Pod-IPs und einen für Dienst-IPs.

SSL

Datenkapselung

Der zu verwendende CNI-Anbieter ist Calico.

Anforderungen und Einschränkungen für Cluster

Beachten Sie beim Planen Ihrer GKE On-Prem-Cluster die folgenden Bereiche:

Category

Anforderung/Beschränkung

Routing

  • Nur F5 BIG-IP: API-Zugriff auf die F5 BIG-IP-Steuerungsebene, die die Verwendung virtueller IP-Adressen für das Load-Balancing über vSphere-VMs unterstützt.
  • Sie müssen Ihr Netzwerk so konfigurieren, dass die virtuellen IP-Adressen weitergeleitet werden, die auf dem Load-Balancer konfiguriert werden.
  • Sie müssen den Load-Balancer so konfigurieren, dass er an Clusterknoten weiterleiten kann. Für F5 BIG-IP werden NodePort-Dienste in Clustern als L4-VIPs bereitgestellt. Für andere Load-Balancer können Sie NodePort-Dienste manuell so konfigurieren, dass sie als L4-VIPs verfügbar gemacht werden.

Dienstsichtbarkeit

Für jeden Nutzercluster mit eingehendem Traffic mit HTTPS fügen Sie DNS-Einträge hinzu, die auf die VIP für den Controller für eingehenden Traffic des Clusters verweisen.

F5 BIG-IP-Anforderungen

F5 BIG-IP lässt sich in GKE On-Premix einbinden und ist damit die empfohlene Lösung Informationen zur Installation von F5 BIG-IP.

So konfigurieren Sie den F5 BIG-IP-Load-Balancer:

F5 BIG-IP-Kontoberechtigungen

GKE On-Prem benötigt ein F5 BIG-IP-Nutzerkonto mit der Administratorrolle. Weitere Informationen finden Sie in der F5-Dokumentation zu Nutzerrollen.

Während der Installation stellen Sie GKE On-Prem mit Ihren F5 BIG-IP-Anmeldedaten bereit. Das bereitgestellte Konto muss über die Administratorrolle gemäß dem F5 Container Connector-Nutzerhandbuch verfügen, das besagt: "Für den BIG-IP-Controller sind Administratorberechtigungen erforderlich, um vollständige Funktionen zu bieten."

F5 BIG-IP-Partitionen

Sie müssen für jeden Cluster, den Sie vorab erstellen möchten, eine administrative Partition von F5 BIG-IP erstellen. Zu Beginn müssen Sie mindestens zwei Partitionen erstellen: eine für den Administratorcluster und eine für einen Nutzercluster. Weitere Informationen finden Sie in der F5-Dokumentation Administrative Partitionen konfigurieren, um den Nutzerzugriff zu steuern.

Verwenden Sie eine administrative Partition nur für den zugehörigen Cluster.