Einfache Cluster erstellen

Dies ist der zweite Teil eines Leitfadens, der Sie durch eine kleine Proof-of-Concept-Installation von Google Distributed Cloud führt. Im ersten Teil Minimale Infrastruktur einrichten erfahren Sie, wie Sie Ihre IP-Adressen planen und die erforderliche vSphere- und Google Cloud -Infrastruktur für Ihre Bereitstellung einrichten. In diesem Dokument bauen wir auf der Einrichtung und Planung auf, die Sie im vorherigen Abschnitt durchgeführt haben. Außerdem erfahren Sie, wie Sie mithilfe einfacher Vorlagen, die Sie hier in diesem Dokument ausfüllen können, eine Administrator-Workstation, einen Administratorcluster und einen Nutzercluster in Ihrer vSphere-Umgebung erstellen. Sie können dann mit der Bereitstellung einer Anwendung fortfahren.

Wie bei der Infrastruktureinrichtung dieser einfachen Installation sind die Cluster, die Sie mit diesem Dokument einrichten, möglicherweise nicht für Ihre tatsächlichen Produktionsanforderungen und Anwendungsfälle geeignet. Weitere Informationen, Best Practices und Anleitungen für Produktionsinstallationen finden Sie in den Installationsanleitungen.

Hinweis

  1. Sie müssen Ihre vSphere- und Google Cloud Umgebungen wie unter Minimale Infrastruktur einrichten beschrieben eingerichtet haben.

  2. Wenn Sie den Nutzercluster mit Terraform erstellen möchten, benötigen Sie Terraform entweder auf Ihrer Administratorworkstation oder auf einem anderen Computer.

Verfahrensübersicht

Dies sind die wichtigsten Schritte für diese Einrichtung:

  1. Melden Sie sich in der Google Cloud CLI mit einem Konto an, das die erforderlichen Berechtigungen zum Erstellen von Dienstkonten hat.

  2. Erfassen Sie die Informationen, die Sie zum Konfigurieren von Google Distributed Cloud benötigen, einschließlich Ihres vCenter-Nutzernamens und Passworts sowie der IP-Adressen, die Sie im vorherigen Abschnitt vorbereitet haben.

  3. Erstellen Sie eine Administrator-Workstation mit den Ressourcen und Tools, die Sie zum Erstellen von Administrator- und Nutzerclustern benötigen, einschließlich der zusätzlichen Dienstkonten, die Sie für die Fertigstellung der Einrichtung benötigen.

  4. Erstellen Sie einen Administratorcluster, um Ihren Nutzercluster zu verwalten und zu aktualisieren.

  5. Erstellen Sie einen Nutzercluster, um Ihre Arbeitslasten auszuführen.

1. In der Google Cloud CLI anmelden

Für die Einrichtung von Google Distributed Cloud sind mehrere Dienstkonten mit unterschiedlichen Berechtigungen erforderlich. Sie müssen also in der Google Cloud CLI mit einem Konto angemeldet sein, das die erforderlichen Berechtigungen zum Erstellen und Konfigurieren von Dienstkonten hat, da gkeadm bei dieser Einrichtung Ihre aktuelle account-Property in der gcloud CLI verwendet.

  1. Melden Sie sich in der gcloud CLI an. Sie können jedes Google-Konto verwenden, es muss jedoch die erforderlichen Berechtigungen haben. Wenn Sie dem vorherigen Teil dieses Leitfadens gefolgt sind, haben Sie sich wahrscheinlich bereits mit einem geeigneten Konto angemeldet, um das Dienstkonto für den Komponentenzugriff zu erstellen.

    gcloud auth login

  2. Prüfen Sie, ob das account-Attribut der gcloud CLI richtig festgelegt ist:

    gcloud config list

    Die Ausgabe enthält die Werte des SDK-Attributs account. Beispiel:

    [core]
account = my-name@google.com
disable_usage_reporting = False
Your active configuration is: [default]

  3. Prüfen Sie, ob die neuesten gcloud CLI-Komponenten installiert sind:

    gcloud components update

    Je nachdem, wie Sie die gcloud CLI installiert haben, wird möglicherweise die folgende Meldung angezeigt: „Sie können diese Aktion nicht ausführen, da der Google Cloud CLI-Komponentenmanager für diese Installation deaktiviert ist. Sie können den folgenden Befehl ausführen, um das gleiche Ergebnis für diese Installation zu erzielen: „Folgen Sie den Anweisungen, um den Befehl zum Aktualisieren der Komponenten zu kopieren und einzufügen.

2. Informationen einholen

Verwenden Sie die Informationen, die Sie unter Minimale Infrastruktur einrichten vorbereitet haben, um die Platzhalter in der folgenden Tabelle zu bearbeiten:

vSphere-Details
Den Nutzernamen Ihres vCenter-Kontos USERNAME
Das Passwort Ihres vCenter-Kontos PASSWORD
Ihre vCenter Server-Adresse ADDRESS
Der Pfad zum Root-CA-Zertifikat für Ihren vCenter-Server auf dem Computer, mit dem Sie die Administrator-Workstation erstellen CA_CERT_PATH
Den Namen Ihres vSphere-Rechenzentrums DATA_CENTER
Den Namen Ihres vSphere-Clusters VSPHERE_CLUSTER
Der Name oder Pfad Ihres vSphere-Ressourcenpools. Weitere Informationen finden Sie unter vcenter.resourcePool. RESOURCE_POOL
Den Namen Ihres vSphere-Datenspeichers DATASTORE
Den Namen Ihres vSphere-Netzwerks NETWORK
IP-Adressen
Eine IP-Adresse für Ihre Administrator-Workstation ADMIN_WS_IP
Drei IP-Adressen für die Knoten der Steuerungsebene des Administratorclusters. ADMIN_CONTROL_PLANE_NODE_IP_1
ADMIN_CONTROL_PLANE_NODE_IP_2
ADMIN_CONTROL_PLANE_NODE_IP_3
Eine IP-Adresse für den Knoten der Steuerungsebene im Nutzercluster. USER_CONTROL_PLANE_NODE_IP
Vier IP-Adressen für die Worker-Knoten Ihres Nutzerclusters. Dazu gehört auch eine Adresse für einen zusätzlichen Knoten, der während Upgrades und Updates verwendet werden kann. USER_NODE_IP_1
USER_NODE_IP_2
USER_NODE_IP_3
USER_NODE_IP_4
Eine virtuelle IP-Adresse (VIP) für den Kubernetes API-Server des Administratorclusters ADMIN_CONTROL_PLANE_VIP
Eine VIP für den Kubernetes API-Server des Nutzerclusters USER_CONTROL_PLANE_VIP
Eine Ingress-VIP für den Nutzercluster USER_INGRESS_VIP
Zwei VIPs für Dienste vom Typ „LoadBalancer“ in Ihrem Nutzercluster SERVICE_VIP_1
SERVICE_VIP_2
Die IP-Adresse eines DNS-Servers, der von Ihrer Administrator-Workstation und Ihren Clusterknoten aus erreichbar ist DNS_SERVER_IP
Die IP-Adresse eines NTP-Servers, der von Ihrer Administrator-Workstation und Ihren Clusterknoten aus erreichbar ist NTP_SERVER_IP
Die IP-Adresse des Standardgateways für das Subnetz mit Ihrer Administrator-Workstation und Ihren Clusterknoten DEFAULT_GATEWAY_IP
Die Netzmaske für das Subnetz mit Ihrer Administrator-Workstation und Ihren Clusterknoten
Beispiel: 255.255.255.0		 NETMASK
Wenn sich Ihr Netzwerk hinter einem Proxyserver befindet, die URL des Proxyservers. Weitere Informationen finden Sie unter Proxy. Geben Sie diesen Wert bei Bedarf manuell in der Konfigurationsdatei der Administrator-Workstation ein. PROXY_URL
CIDR-Bereiche für Dienste und Pods
Der Administratorcluster und der Nutzercluster benötigen jeweils einen CIDR-Bereich für Dienste und einen CIDR-Bereich für Pods. Verwenden Sie die folgenden vordefinierten Werte, es sei denn, Sie müssen sie ändern, um Überschneidungen mit anderen Elementen in Ihrem Netzwerk zu vermeiden:
Einen CIDR-Bereich für Dienste im Administratorcluster 10.96.232.0/24
Einen CIDR-Bereich für Pods im Administratorcluster 192.168.0.0/16
Einen CIDR-Bereich für Dienste im Nutzercluster 10.96.0.0/20
Einen CIDR-Bereich für Pods im Nutzercluster 192.168.0.0/16
Google Cloud Details
Die ID des ausgewählten Cloud-Projekts PROJECT_ID
Der Pfad zur JSON-Schlüsseldatei für das Dienstkonto für den Komponentenzugriff, das Sie im vorherigen Abschnitt eingerichtet haben, auf dem Computer, mit dem Sie Ihre Administrator-Workstation erstellen. COMPONENT_ACCESS_SA_KEY_PATH
Die E-Mail-Adresse, die mit Ihrem Google Cloud-Konto verknüpft ist. Beispiel: alex@example.com GOOGLE_ACCOUNT_EMAIL

3. Administrator-Workstation erstellen

Bevor Sie Cluster erstellen können, müssen Sie eine Administrator-Workstation erstellen und dann eine SSH-Verbindung dazu herstellen. Die Administrator-Workstation ist eine eigenständige VM mit den Tools und Ressourcen, die Sie zum Erstellen von GKE Enterprise-Clustern in Ihrer vSphere-Umgebung benötigen. Sie verwenden das gkeadm-Befehlszeilentool, um die Administrator-Workstation zu erstellen.

gkeadm herunterladen

Laden Sie gkeadm in Ihr aktuelles Verzeichnis herunter:

gcloud storage cp gs://gke-on-prem-release/gkeadm/1.31.0-gke.889/linux/gkeadm ./
chmod +x gkeadm

Sie benötigen die gkeadm-Version (die auch die Version von Google Distributed Cloud ist), um die Konfigurationsdateien für Administrator- und Nutzercluster zu erstellen. So prüfen Sie die Version von gkeadm:

./gkeadm version

In der folgenden Beispielausgabe wird die Version angezeigt.

gkeadm 1.31.0 (1.31.0-gke.889)

Sie können zwar eine andere Version von gkeadm herunterladen, in diesem Leitfaden wird jedoch davon ausgegangen, dass Sie 1.31.0-gke.889 installieren. Diese Version wird in allen Konfigurationsdateien und Befehlen verwendet.

Datei mit Anmeldedaten erstellen

Erstellen und speichern Sie im aktuellen Verzeichnis eine Datei namens credential.yaml mit folgendem Inhalt:

apiVersion: v1
kind: CredentialFile
items:
- name: vCenter
  username: "USERNAME"
  password: "PASSWORD"

Konfigurationsdatei für die Administrator-Workstation erstellen

Erstellen und speichern Sie wieder in Ihrem aktuellen Verzeichnis eine Datei namens admin-ws-config.yaml mit folgendem Inhalt:

gcp:
  componentAccessServiceAccountKeyPath: "COMPONENT_ACCESS_SA_KEY_PATH"
vCenter:
  credentials:
    address: "ADDRESS"
    fileRef:
      path: "credential.yaml"
      entry: "vCenter"
  datacenter: "DATA_CENTER"
  datastore: "DATASTORE"
  cluster: "VSPHERE_CLUSTER"
  network: "NETWORK"
  resourcePool: "RESOURCE_POOL"
  caCertPath: "CA_CERT_PATH"
proxyUrl: ""
adminWorkstation:
  name: "minimal-installation-admin-workstation"
  cpus: 4
  memoryMB: 8192
  diskGB: 50
  dataDiskName: gke-on-prem-admin-workstation-data-disk/minimal-installation-data-disk.vmdk
  dataDiskMB: 512
  network:
    ipAllocationMode: "static"
    hostConfig:
      ip: "ADMIN_WS_IP"
      gateway: "DEFAULT_GATEWAY_IP"
      netmask: "NETMASK"
      dns:
      - "DNS_SERVER_IP"
  proxyUrl: ""
  ntpServer: ntp.ubuntu.com

Admin-Workstation erstellen

Erstellen Sie Ihre Administrator-Workstation mit dem folgenden Befehl:

./gkeadm create admin-workstation --auto-create-service-accounts

Führen Sie diesen Befehl aus:

  • Erstellt die Administrator-Workstation
  • Erstellt automatisch alle zusätzlichen Dienstkonten, die für Ihre Installation erforderlich sind
  • Erstellt Vorlagenkonfigurationsdateien für Ihre Administrator- und Nutzercluster

Die Ausgabe enthält detaillierte Informationen zur Erstellung Ihrer Administrator-Workstation und einen Befehl, mit dem Sie eine SSH-Verbindung zu Ihrer Administrator-Workstation herstellen können. Beispiel:

...
Admin workstation is ready to use.
Admin workstation information saved to /usr/local/google/home/me/my-admin-workstation
This file is required for future upgrades
SSH into the admin workstation with the following command:
ssh -i /usr/local/google/home/me/.ssh/gke-admin-workstation ubuntu@172.16.20.49
********************************************************************

In der vorherigen Ausgabe ist die IP-Adresse ein Beispiel. Die IP-Adresse Ihrer Administrator-Workstation ist anders. Notieren Sie sich die IP-Adresse Ihrer Administrator-Workstation. Sie benötigen sie im nächsten Schritt.

Weitere Informationen zum Erstellen einer Administrator-Workstation finden Sie unter Administrator-Workstation erstellen.

Verbindung zu Ihrer Administrator-Workstation herstellen

Verwenden Sie den in der vorherigen Ausgabe angezeigten Befehl, um eine SSH-Verbindung zu Ihrer Administrator-Workstation herzustellen. Beispiel:

ssh -i /usr/local/google/home/me/.ssh/gke-admin-workstation ubuntu@172.16.20.49

Wenn Sie diesen Befehl wiederfinden möchten, generiert gkeadm eine Datei namens gke-admin-ws-... im Verzeichnis auf Ihrem lokalen Computer, in dem Sie gkeadm create admin-workstation ausgeführt haben. Diese enthält Details zu Ihrer Administrator-Workstation, einschließlich des SSH-Befehls.

Geben Sie auf Ihrer Administrator-Workstation exit ein, um die SSH-Verbindung zu beenden und zu Ihrem lokalen Computer zurückzukehren.

Schlüssel für die Protokollierung von Prüfungen auf Ihre Administrator-Workstation kopieren

Im vorherigen Abschnitt haben Sie eine JSON-Schlüsseldatei für Ihr Audit-Logging-Dienstkonto erstellt.

Kopieren Sie die JSON-Schlüsseldatei in das Basisverzeichnis auf Ihrer Administrator-Workstation. Beispiel für einen Speicherort auf Ihrem lokalen Computer:

scp -i /usr/local/google/home/me/.ssh/gke-admin-workstation audit-logging-key.json ubuntu@172.16.20.49:~

Dateien auf Ihrer Administrator-Workstation aufrufen

Stellen Sie noch einmal eine SSH-Verbindung zu Ihrer Administrator-Workstation her.

Listen Sie auf Ihrer Administrator-Workstation die Dateien im Basisverzeichnis auf:

ls -1

Die Ausgabe sollte Folgendes enthalten:

  • admin-cluster.yaml, eine Konfigurationsdatei für das Erstellen des Administratorclusters.
  • user-cluster.yaml, eine Vorlagenkonfigurationsdatei zum Erstellen Ihres Nutzerclusters.
  • Die vCenter-Zertifikatsdatei, die Sie in der Konfigurationsdatei der Administrator-Workstation angegeben haben
  • Die credential.yaml-Datei, die Sie in der Konfigurationsdatei der Administrator-Workstation angegeben haben.
  • Die JSON-Schlüsseldatei für Ihr Audit-Logging-Dienstkonto.
  • JSON-Schlüsseldateien für zwei Dienstkonten, die gkeadm für Sie erstellt hat: ein Connect-Register-Dienstkonto und ein Logging-Monitoring-Dienstkonto, sowie die Schlüsseldatei für das Dienstkonto für den Komponentenzugriff, das Sie zuvor erstellt haben.

Beispiel:

admin-cluster.yaml
admin-ws-config.yaml
audit-logging-key.json
sa-key.json
connect-register-sa-2203040617.json
credential.yaml
log-mon-sa-2203040617.json
logs
vc01-cert.pem
user-cluster.yaml

Sie müssen einige dieser Dateinamen in Ihren Konfigurationsdateien angeben, um Cluster zu erstellen. Verwenden Sie die Dateinamen als Werte für die Platzhalter in der folgenden Tabelle:

Name der Schlüsseldatei des Connect-Register-Dienstkontos
Beispiel: connect-register-sa-2203040617.json		 CONNECT_REGISTER_SA_KEY
Name der Schlüsseldatei des Logging-Monitoring-Dienstkontos
Beispiel: log-mon-sa-2203040617.json		 LOG_MON_SA_KEY
Name der Schlüsseldatei des Audit-Logging-Dienstkontos
Beispiel: audit-logging-key.json		 AUDIT_LOG_SA_KEY
Name der Schlüsseldatei des Dienstkontos für den Komponentenzugriff
Beispiel: sa-key.json		 COMPONENT_ACCESS_SA_KEY
Dateiname des vCenter-Zertifikats
Beispiel: vc01-cert.pem		 CA_CERT_FILE

4. Administratorcluster erstellen

Sie haben jetzt eine Administrator-Workstation mit Ihrem vCenter und anderen Details konfiguriert. Damit können Sie einen Administratorcluster in Ihrer vSphere-Umgebung erstellen. Sie benötigen eine SSH-Verbindung zu Ihrer Administrator-Workstation, wie oben beschrieben, bevor Sie mit diesem Schritt fortfahren. Alle folgenden Befehle werden auf der Administrator-Workstation ausgeführt.

Konfigurationsdatei für den Administratorcluster erstellen

Öffnen Sie admin-cluster.yaml und ersetzen Sie den Inhalt durch Folgendes:

apiVersion: v1
kind: AdminCluster
name: "minimal-installation-admin-cluster"
bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-1.31.0-gke.889-full.tgz"
vCenter:
  address: "ADDRESS"
  datacenter: "DATA_CENTER"
  cluster: "VSPHERE_CLUSTER"
  resourcePool: "RESOURCE_POOL"
  datastore: "DATASTORE"
  caCertPath: "CA_CERT_FILE"
  credentials:
    fileRef:
      path: "credential.yaml"
      entry: "vCenter"
network:
  hostConfig:
    dnsServers:
    - "DNS_SERVER_IP"
    ntpServers:
    - "NTP_SERVER_IP"
  serviceCIDR: "10.96.232.0/24"
  podCIDR: "192.168.0.0/16"
  vCenter:
    networkName: "NETWORK"
  controlPlaneIPBlock:
    netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "ADMIN_CONTROL_PLANE_NODE_IP_1"
      hostname: "admin-cp-vm-1"
    - ip: "ADMIN_CONTROL_PLANE_NODE_IP_2"
      hostname: "admin-cp-vm-2"
    - ip: "ADMIN_CONTROL_PLANE_NODE_IP_3"
      hostname: "admin-cp-vm-3"
loadBalancer:
  vips:
    controlPlaneVIP: "ADMIN_CONTROL_PLANE_VIP"
  kind: "MetalLB"
adminMaster:
  cpus: 4
  memoryMB: 16384
  replicas: 3
antiAffinityGroups:
  enabled: false
componentAccessServiceAccountKeyPath: "COMPONENT_ACCESS_SA_KEY"
gkeConnect:
  projectID: "PROJECT_ID"
  registerServiceAccountKeyPath: "CONNECT_REGISTER_SA_KEY"
stackdriver:
  projectID: "PROJECT_ID"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "LOG_MON_SA_KEY"
  disableVsphereResourceMetrics: false
cloudAuditLogging:
  projectID: "PROJECT_ID"
  clusterLocation: us-central1
  serviceAccountKeyPath: "AUDIT_LOG_SA_KEY"

Konfigurationsdatei für den Administratorcluster validieren

Überprüfen Sie, ob die Konfigurationsdatei für den Administratorcluster gültig ist und zum Erstellen des Clusters verwendet werden kann:

gkectl check-config --config admin-cluster.yaml

Betriebssystem-Images in vSphere importieren

Führen Sie gkectl prepare mit der vollständigen Konfigurationsdatei aus, um Knoten-Betriebssystem-Images in vSphere zu importieren:

gkectl prepare --config admin-cluster.yaml --skip-validation-all

Durch Ausführen dieses Befehls werden die Images in vSphere importiert und als VM-Vorlagen markiert, einschließlich des Images für Ihren Admin-Cluster.

Die Ausführung dieses Befehls kann einige Minuten dauern.

Erstellen Sie den Administratorcluster.

Erstellen Sie den Administratorcluster:

gkectl create admin --config admin-cluster.yaml

Erstellen eines Administratorclusters nach einem Fehler fortsetzen

Wenn die Erstellung des Administratorclusters fehlschlägt oder abgebrochen wird, können Sie den Befehl create noch einmal ausführen:

gkectl create admin --config admin-cluster.yaml

Suchen Sie die kubeconfig-Datei des Administratorclusters

Mit dem Befehl gkectl create admin wird im aktuellen Verzeichnis die kubeconfig-Datei kubeconfig erstellt. Sie benötigen diese kubeconfig-Datei später, um mit Ihrem Administratorcluster zu interagieren.

Prüfen Sie, ob der Administratorcluster ausgeführt wird

Prüfen Sie, ob der Administratorcluster ausgeführt wird:

kubectl get nodes --kubeconfig kubeconfig

Die Ausgabe zeigt die Knoten des Administratorclusters. Beispiel:

admin-cp-vm-1   Ready    control-plane,master ...
admin-cp-vm-2   Ready    control-plane,master ...
admin-cp-vm-3   Ready    control-plane,master ...

RBAC-Autorisierung aktivieren

Führen Sie den folgenden Befehl aus, um Ihrem Nutzerkonto die Kubernetes-Rolle clusterrole/cluster-admin für den Cluster zuzuweisen:

gcloud container fleet memberships generate-gateway-rbac \
    --membership=minimal-installation-admin-cluster \
    --role=clusterrole/cluster-admin \
    --users=GOOGLE_ACCOUNT_EMAIL \
    --project=PROJECT_ID \
    --kubeconfig=kubeconfig \
    --context=minimal-installation-admin-cluster \
    --apply

Die Ausgabe dieses Befehls sieht in etwa so aus (aus Gründen der Lesbarkeit ist sie gekürzt):

Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...
Applying the generate RBAC policy to cluster with kubeconfig: kubeconfig, context: minimal-installation-admin-cluster
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

Mit der RBAC-Richtlinie können Sie sich unter anderem mit Ihrer Google-Identität in der Google Cloud Console in Ihrem Cluster anmelden, um weitere Clusterdetails aufzurufen.

Automatische Registrierung in der GKE On-Prem API

Da die GKE On-Prem API in Ihrem Projekt aktiviert ist, wird der Cluster automatisch in der GKE On-Prem API registriert. Wenn Sie Ihren Administratorcluster in der GKE On-Prem API registrieren, können Sie Standardtools (die Google Cloud Console, die Google Cloud CLI oder Terraform) verwenden, um Nutzercluster zu erstellen, zu aktualisieren, zu aktualisieren und zu löschen, die vom Administratorcluster verwaltet werden. Durch die Clusterregistrierung können Sie gcloud-Befehle ausführen, um Informationen zu Ihrem Cluster abzurufen.

5. Nutzercluster erstellen

In diesem Abschnitt wird beschrieben, wie Sie den Nutzercluster mit der Console, gkectl, Terraform oder der gcloud CLI erstellen.

gkectl

Bevor Sie mit diesem Verfahren beginnen, müssen Sie wie oben beschrieben eine SSH-Verbindung zu Ihrer Administrator-Workstation herstellen. Alle folgenden Befehle werden auf der Administrator-Workstation ausgeführt.

IP-Blockdatei für den Nutzercluster erstellen

  1. Erstellen Sie eine Datei mit dem Namen user-ipblock.yaml.

  2. Kopieren Sie den folgenden Inhalt und fügen Sie ihn in user-ipblock.yaml ein. Speichern Sie dann die Datei:

    blocks:
  - netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "USER_NODE_IP_1"
      hostname: "user-vm-1"
    - ip: "USER_NODE_IP_2"
      hostname: "user-vm-2"
    - ip: "USER_NODE_IP_3"
      hostname: "user-vm-3"
    - ip: "USER_NODE_IP_4"
      hostname: "user-vm-4"

Nutzercluster-Konfigurationsdatei erstellen

  1. Erstellen Sie eine Datei mit dem Namen user-cluster.yaml im selben Verzeichnis wie user-ipblock.yaml.

  2. Kopieren Sie den folgenden Inhalt und fügen Sie ihn in user-cluster.yaml ein. Speichern Sie dann die Datei:

apiVersion: v1
kind: UserCluster
name: "minimal-installation-user-cluster"
gkeOnPremVersion: "1.31.0-gke.889"
enableControlplaneV2: true
network:
  hostConfig:
    dnsServers:
    - "DNS_SERVER_IP"
    ntpServers:
    - "NTP_SERVER_IP"
  ipMode:
    type: "static"
    ipBlockFilePath: "user-ipblock.yaml"
  serviceCIDR: "10.96.0.0/20"
  podCIDR: "192.168.0.0/16"
  controlPlaneIPBlock:
    netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "USER_CONTROL_PLANE_NODE_IP"
      hostname: "cp-vm-1"
loadBalancer:
  vips:
    controlPlaneVIP: "USER_CONTROL_PLANE_VIP"
    ingressVIP: "USER_INGRESS_VIP"
  kind: "MetalLB"
  metalLB:
    addressPools:
    - name: "uc-address-pool"
      addresses:
      - "USER_INGRESS_VIP/32"
      - "SERVICE_VIP_1/32"
      - "SERVICE_VIP_2/32"
enableDataplaneV2: true
nodePools:
- name: "uc-node-pool"
  cpus: 4
  memoryMB: 8192
  replicas: 3
  enableLoadBalancer: true
antiAffinityGroups:
  enabled: false
gkeConnect:
  projectID: "PROJECT_ID"
  registerServiceAccountKeyPath: "CONNECT_REGISTER_SA_KEY"
stackdriver:
  projectID: "PROJECT_ID"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "LOG_MON_SA_KEY"
  disableVsphereResourceMetrics: false
autoRepair:
  enabled: true

Konfiguration prüfen und Cluster erstellen

  1. Prüfen Sie, ob die Konfigurationsdatei des Nutzerclusters gültig ist und zum Erstellen des Clusters verwendet werden kann:

    gkectl check-config --kubeconfig kubeconfig --config user-cluster.yaml

  2. Nutzercluster erstellen:

    gkectl create cluster --kubeconfig kubeconfig --config user-cluster.yaml

    Die Erstellung eines Clusters dauert etwa 30 Minuten.

Suchen Sie die kubeconfig-Datei des Nutzerclusters.

Mit dem Befehl gkectl create cluster wird im aktuellen Verzeichnis die kubeconfig-Datei USER_CLUSTER_NAME-kubeconfig erstellt. Sie benötigen diese kubeconfig-Datei später, um mit Ihrem Nutzercluster zu interagieren.

Prüfen Sie, ob Ihr Nutzercluster ausgeführt wird

Prüfen Sie, ob Ihr Nutzercluster ausgeführt wird:

kubectl get nodes --kubeconfig USER_CLUSTER_KUBECONFIG

Ersetzen Sie USER_CLUSTER_KUBECONFIG durch den Pfad der kubeconfig-Datei des Nutzerclusters.

Die Ausgabe zeigt die Knoten des Nutzerclusters. Beispiel:

cp-vm-1     Ready    control-plane,master
user-vm-1   Ready
user-vm-2   Ready
user-vm-3   Ready

RBAC-Autorisierung aktivieren

Führen Sie den folgenden Befehl aus, um Ihrem Nutzerkonto die Kubernetes-Rolle clusterrole/cluster-admin für den Cluster zuzuweisen:

gcloud container fleet memberships generate-gateway-rbac \
  --membership=minimal-installation-user-cluster \
  --role=clusterrole/cluster-admin \
  --users=GOOGLE_ACCOUNT_EMAIL \
  --project=PROJECT_ID \
  --kubeconfig=USER_CLUSTER_KUBECONFIG \
  --context=minimal-installation-user-cluster \
  --apply

Die Ausgabe dieses Befehls sieht in etwa so aus (aus Gründen der Lesbarkeit ist sie gekürzt):

Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...
Applying the generate RBAC policy to cluster with kubeconfig: kubeconfig, context: minimal-installation-admin-cluster
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

Mit der RBAC-Richtlinie können Sie sich unter anderem mit Ihrer Google-Identität in der Google Cloud Console in Ihrem Cluster anmelden, um weitere Clusterdetails aufzurufen.

Automatische Registrierung in der GKE On-Prem API

Da die GKE On-Prem API in Ihrem Projekt aktiviert ist, wird der Cluster automatisch in der GKE On-Prem API registriert. So können Sie über die Console oder die gcloud CLI Clusterdetails aufrufen und den Clusterlebenszyklus verwalten. Sie können beispielsweise gcloud-Befehle ausführen, um Informationen zu Ihrem Nutzercluster abzurufen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Google Distributed Cloud-Cluster erstellen auf.

    Zur Seite „Google Distributed Cloud-Cluster erstellen“

  2. Wählen Sie das Google Cloud-Projekt aus, in dem Sie den Cluster erstellen möchten. Das ausgewählte Projekt wird auch als Flotten-Hostprojekt verwendet. Dies muss dasselbe Projekt sein, bei dem der Administratorcluster registriert ist. Nachdem der Nutzercluster erstellt wurde, wird er automatisch bei der Flotte des ausgewählten Projekts registriert.

In den folgenden Abschnitten werden Sie durch die Konfiguration des Nutzerclusters geführt.

Vorbereitung

  1. Lesen Sie die Informationen auf der Seite Voraussetzungen.

  2. Klicken Sie unten auf der Seite auf Weiter.

Clustergrundlagen

  1. Geben Sie unter Name einen Namen für den Nutzercluster ein, z. B. minimal-installation-user-cluster.

  2. Wählen Sie für Administratorcluster die Option minimal-installation-admin-cluster aus.

  3. Wählen Sie im Feld GCP API-Standort die Option us-central1 aus.

  4. Wählen Sie unter Version die Option 1.31.0-gke.889 aus.

  5. Sie müssen den Bereich Autorisierung oder den Bereich vCenter-Konfiguration nicht öffnen.

  6. Klicken Sie auf Weiter.

Steuerungsebene

  1. Geben Sie unter Knoten-IP-Adressen der Steuerungsebene für Gateway DEFAULT_GATEWAY_IP ein.

  2. Geben Sie unter Subnetzmaske den Wert NETMASK ein.

  3. Geben Sie unter IP-Adressen für IP-Adresse 1 USER_CONTROL_PLANE_NODE_IP ein. Lassen Sie Hostname 1 leer.

  4. Klicken Sie auf Weiter.

Netzwerk

In diesem Abschnitt geben Sie die IP-Adressen für die Knoten, Pods und Services Ihres Clusters an. Ein Nutzercluster benötigt eine IP-Adresse für jeden Knoten und eine zusätzliche IP-Adresse für einen temporären Knoten, der bei Cluster-Upgrades, Aktualisierungen und automatischen Reparaturen benötigt wird. Weitere Informationen finden Sie unter Wie viele IP-Adressen benötigt ein Nutzercluster?.

  1. Achten Sie darauf, dass unter Worker-Knoten-IP-Adressen für IP-Modus die Option Statisch ausgewählt ist.

  2. Geben Sie für Gateway den Wert DEFAULT_GATEWAY_IP ein.

  3. Geben Sie unter Subnetzmaske den Wert NETMASK ein.

  4. Geben Sie unter IP-Adressen die folgenden Adressen ein:

  • USER_NODE_IP_1
  • USER_NODE_IP_2
  • USER_NODE_IP_3
  • USER_NODE_IP_4

Lassen Sie die Felder Hostname leer.

  1. Geben Sie für Dienst-CIDR 10.96.0.0/20 ein. Geben Sie für Pod-CIDR 192.168.0.0/16 ein.

  2. Geben Sie für DNS-Server 1 DNS_SERVER_IP ein.

  3. Geben Sie für NTP-Server 1 NTP_SERVER_IP ein.

  4. Lassen Sie das Feld DNS-Suchdomain leer.

  5. Klicken Sie auf Weiter.

Load-Balancer

  1. Wählen Sie für Load-Balancer-Typ die Option Mit MetalLB gebündelt aus.

  2. Verwenden Sie unter Adresspools den Standardnamen.

  3. Geben Sie unter IP-Adressen für IP-Adressbereich 1 USER_INGRESS_VIP/32 ein.

    Klicken Sie auf IP-Adressbereich hinzufügen. Geben Sie für IP-Adressbereich 1 SERVICE_VIP_1/32 ein.

    Klicken Sie auf IP-Adressbereich hinzufügen. Geben Sie für IP-Adressbereich 2 SERVICE_VIP_2/32 ein.

  4. Wählen Sie für Zuweisung von IP-Adressen die Option Automatisch aus.

  5. Lassen Sie die Option Fehlerhafte IP-Adressen vermeiden deaktiviert.

  6. Geben Sie unter Virtuelle IP-Adressen für VIP der Steuerungsebene USER_CONTROL_PLANE_VIP ein. Ingress-VIP ist bereits ausgefüllt.

  7. Klicken Sie auf Weiter.

Features

  1. Lassen Sie alle Standardeinstellungen unverändert.

  2. Klicken Sie auf Weiter.

Knotenpools

  1. Lassen Sie alle Standardeinstellungen unverändert.

  2. Klicken Sie auf Prüfen und abschließen, um den Nutzercluster zu erstellen. Das Erstellen des Nutzerclusters dauert mindestens 15 Minuten. Die Console zeigt Statusmeldungen an, während die Einstellungen geprüft und der Cluster in Ihrem Rechenzentrum erstellt wird.

    Wenn bei der Prüfung der Einstellungen ein Fehler auftritt, wird in der Console eine Fehlermeldung angezeigt, die klar genug sein sollte, um das Konfigurationsproblem zu beheben. Versuchen Sie danach noch einmal, den Cluster zu erstellen.

    Weitere Informationen zu möglichen Fehlern und zu deren Behebung finden Sie unter Fehlerbehebung bei Clustern, die bei der GKE On-Prem API registriert sind.

Terraform

In diesem Abschnitt erfahren Sie, wie Sie einen Nutzercluster und einen Knotenpool mit Terraform erstellen. Weitere Informationen und Beispiele finden Sie unter:

  1. Erstellen Sie ein Verzeichnis und eine neue Datei in diesem Verzeichnis. Der Dateiname muss die Erweiterung .tf haben. In diesem Leitfaden heißt die Datei main.tf.

    mkdir DIRECTORY && cd DIRECTORY && touch main.tf

  2. Prüfen Sie die Terraform-Ressource für den Nutzercluster:

    Das folgende Terraform-Ressourcenbeispiel enthält die Werte, die Sie im vorherigen Abschnitt in die Planungstabelle eingegeben haben.

    resource "google_gkeonprem_vmware_cluster" "cluster-basic" {
  name = "minimal-installation-user-cluster"
  project = "PROJECT_ID"
  location = "us-central1"
  admin_cluster_membership = "projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster"
  description = "User cluster config with MetalLB, static IPs, and Controlplane V2"
  enable_control_plane_v2 = "true"
  on_prem_version = "1.31.0-gke.889"
  control_plane_node {
    cpus = 4
    memory = 8192
    replicas = 1
  }
  network_config {
    service_address_cidr_blocks = ["10.96.0.0/20"]
    pod_address_cidr_blocks = ["192.168.0.0/16"]
    host_config {
      dns_servers = ["DNS_SERVER_IP"]
      ntp_servers = ["NTP_SERVER_IP"]
    }
    static_ip_config {
      ip_blocks {
        netmask = "NETMASK"
        gateway = "DEFAULT_GATEWAY_IP"
        ips {
          ip = "USER_NODE_IP_1"
          hostname = "user-vm-1"
        }
        ips {
          ip = "USER_NODE_IP_2"
          hostname = "user-vm-2"
        }
        ips {
          ip = "USER_NODE_IP_3"
          hostname = "user-vm-3"
        }
        ips {
          ip = "USER_NODE_IP_4"
          hostname = "user-vm-4"
        }
      }
    }
    control_plane_v2_config {
      control_plane_ip_block {
        netmask = "NETMASK"
        gateway = "DEFAULT_GATEWAY_IP"
        ips {
          ip = "USER_CONTROL_PLANE_NODE_IP"
          hostname = "cp-vm-1"
        }
      }
    }
  }
  load_balancer {
    vip_config {
      control_plane_vip = "USER_CONTROL_PLANE_VIP"
      ingress_vip = "USER_INGRESS_VIP"
    }
    metal_lb_config {
      address_pools {
        pool = "uc-address-pool"
        manual_assign = "true"
        addresses = ["USER_INGRESS_VIP/32", "SERVICE_VIP_1/32", "SERVICE_VIP_2/32"]
      }
    }
  }
  authorization {
    admin_users {
    username = "GOOGLE_ACCOUNT_EMAIL"
  }
}
  provider = google-beta
}

resource "google_gkeonprem_vmware_node_pool" "my-node-pool-1" {
  name = "uc-node-pool"
  project = "PROJECT_ID"
  vmware_cluster = "minimal-installation-user-cluster"
  location = "us-central1"
  config {
    replicas = 3
    image_type = "ubuntu_containerd"
    enable_load_balancer = "true"
  }
  depends_on = [
    google_gkeonprem_vmware_cluster.cluster-basic
  ]
  provider = google-beta
}

  3. Kopieren Sie die Terraform-Ressource in main.tf und speichern Sie die Datei.

  4. Initialisieren und erstellen Sie den Terraform-Plan:

    terraform init

    Terraform installiert alle erforderlichen Bibliotheken, z. B. den Google Cloud -Anbieter.

  5. Prüfen Sie die Konfiguration und nehmen Sie bei Bedarf Änderungen vor:

    terraform plan

  6. Wenden Sie den Terraform-Plan an, um den Nutzercluster zu erstellen:

    terraform apply

    Geben Sie bei Aufforderung yes ein.

    Das Erstellen des grundlegenden Nutzerclusters und des Knotenpools dauert je nach Netzwerk etwa 15 Minuten.

gcloud

Erstellen Sie den Cluster:

gcloud container vmware clusters create minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --admin-cluster-membership=projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster \
  --location=us-central1 \
  --version=1.31.0-gke.889 \
  --admin-users=GOOGLE_ACCOUNT_EMAIL \
  --service-address-cidr-blocks=10.96.0.0/20 \
  --pod-address-cidr-blocks=192.168.0.0/16 \
  --metal-lb-config-address-pools='pool=uc-address-pool,avoid-buggy-ips=False,manual-assign=False,addresses=USER_INGRESS_VIP/32;SERVICE_VIP_1/32;SERVICE_VIP_2/32' \
  --control-plane-vip=USER_CONTROL_PLANE_VIP \
  --ingress-vip=USER_INGRESS_VIP \
  --static-ip-config-ip-blocks='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_NODE_IP_1;USER_NODE_IP_2;USER_NODE_IP_3;USER_NODE_IP_4' \
  --dns-servers=DNS_SERVER_IP \
  --ntp-servers=NTP_SERVER_IP \
  --enable-control-plane-v2 \
  --enable-dataplane-v2 \
  --control-plane-ip-block='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_CONTROL_PLANE_NODE_IP'

Die Ausgabe des Befehls sieht in etwa so aus:

Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179] to complete.

In der Beispielausgabe ist der String operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179 der OPERATION_ID des Vorgangs mit langer Ausführungszeit. Sie können den Status des Vorgangs mit dem folgenden Befehl ermitteln:

gcloud container vmware operations describe OPERATION_ID \
  --project=PROJECT_ID \
  --location=us-central1

Weitere Informationen finden Sie unter gcloud container vmware operations.

Das Erstellen des Nutzerclusters dauert mindestens 15 Minuten. Sie können sich den Cluster in der Console auf der Seite Google Kubernetes Engine-Cluster – Übersicht ansehen.

So erstellen Sie einen Knotenpool:

gcloud container vmware node-pools create  uc-node-pool \
  --cluster=minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --location=us-central1 \
  --image-type=ubuntu_containerd  \
  --boot-disk-size=40 \
  --cpus=4 \
  --memory=8192 \
  --replicas=3 \
  --enable-load-balancer

Nächste Schritte

Sie haben jetzt die minimale Installation von Google Distributed Cloud abgeschlossen. Optional können Sie die Installation in Aktion sehen, indem Sie eine Anwendung bereitstellen.