Automatische Knotenbereitstellung verwenden

Standard

---

Auf dieser Seite wird erläutert, wie Sie die automatische Knotenbereitstellung in Standardclustern von Google Kubernetes Engine (GKE) verwenden.

Mit Autopilot-Clustern müssen Sie sich keine Gedanken über die Bereitstellung von Knoten oder die Verwaltung von Knotenpools machen, da Knotenpools automatisch über die automatische Knotenbereitstellung bereitgestellt und automatisch skaliert werden, um die Anforderungen Ihrer Arbeitslasten zu erfüllen.

Übersicht

Mit der automatischen Knotenbereitstellung wird eine Reihe von Knotenpools für den Nutzer automatisch verwaltet. Ohne die automatische Knotenbereitstellung startet GKE neue Knoten nur aus vom Nutzer erstellten Knotenpools. Mit der automatischen Knotenbereitstellung werden neue Knotenpools automatisch erstellt und gelöscht.

Hinweis

Führen Sie die folgenden Aufgaben aus, bevor Sie beginnen:

• Achten Sie darauf, dass die Google Kubernetes Engine API aktiviert ist.
Aktivieren Sie Google Kubernetes Engine API
• Prüfen Sie, ob das Cloud SDK installiert ist.

Mit den folgenden Methoden können Sie die gcloud-Einstellungen festlegen:

• Verwenden Sie gcloud init, wenn Sie die Standardeinstellungen ansehen möchten.
• Verwenden Sie gcloud config, um Ihre Projekt-ID, Zone und Region individuell festzulegen.

gcloud init verwenden

Wenn Sie die Fehlermeldung One of [--zone, --region] must be supplied: Please specify location erhalten, führen Sie diesen Abschnitt aus.

1. Führen Sie gcloud init aus und folgen Sie der Anleitung:

   gcloud init

   Wenn Sie SSH auf einem Remote-Server verwenden, können Sie mit dem Flag --console-only verhindern, dass mit dem Befehl ein Browserfenster geöffnet wird:

   gcloud init --console-only

2. Folgen Sie der Anleitung, um gcloud zur Verwendung Ihres Google Cloud-Kontos zu autorisieren.
3. Erstellen Sie eine neue Konfiguration oder wählen Sie eine vorhandene aus.
4. Wählen Sie ein Google Cloud-Projekt aus.
5. Wählen Sie eine Compute Engine-Standardzone für zonale Cluster oder eine Region für regionale oder Autopilot-Cluster aus.

Hinweis: Sie können diese Standardeinstellungen in gcloud-Befehlen mit den Flags --project, --zone und --region überschreiben.

gcloud config verwenden

• Legen Sie Ihre standardmäßige Projekt-ID fest:

  gcloud config set project PROJECT_ID

• Wenn Sie mit zonalen Clustern arbeiten, legen Sie die Standardzone für Compute Engine fest:

  gcloud config set compute/zone COMPUTE_ZONE

• Wenn Sie mit Autopilot oder regionalen Clustern arbeiten, legen Sie die Compute-Standardregion fest:

  gcloud config set compute/region COMPUTE_REGION

• Aktualisieren Sie gcloud auf die neueste Version:

  gcloud components update

Hinweis: Sie können diese Standardeinstellungen in gcloud-Befehlen mit den Flags --project, --zone und --region überschreiben.

Anforderungen

Die automatische Knotenbereitstellung ist in den folgenden GKE-Releases verfügbar:

• Version 1.11.2-gke.25 und höher für zonale Cluster
• Version 1.12.x und höher für regionale Cluster

Nicht unterstützte Features

Die folgenden Features werden von der automatischen Knotenbereitstellung nicht unterstützt. Das bedeutet, dass die automatische Knotenbereitstellung keine Knotenpools mit diesen Features bereitstellt, vorhandene Knotenpools jedoch automatisch skaliert:

• gVisor
• Windows-Betriebssysteme.
• Steuerung der Reservierungsaffinität.
• Autoscaling von lokalen PersistentVolumes
• Knoten mit lokalen SSDs als flüchtigem Speicher automatisch bereitstellen.
• Automatische Bereitstellung über benutzerdefinierte Planung, die geänderte Filter verwendet.

Aktion

Die automatische Knotenbereitstellung ist ein Mechanismus von Cluster Autoscaler. Damit erfolgt die Skalierung spezifisch für die einzelnen Knotenpools. Wenn die automatische Knotenbereitstellung aktiviert ist, kann der Cluster Autoscaler die Knotenpools gemäß den Spezifikationen nicht planbarer Pods automatisch erweitern.

Hinweis: Das Cluster-Autoscaling ist bei Verwendung der automatischen Knotenbereitstellung automatisch aktiviert.

Die automatische Knotenbereitstellung erstellt Knotenpools anhand der folgenden Informationen:

• Ressourcenanfragen für CPU, Arbeitsspeicher und flüchtigen Speicher.
• GPU-Anfragen
• Knotenaffinitäten und Labelselektoren der ausstehenden Pods
• Knotenmarkierungen und -toleranzen der ausstehenden Pods

Hinweis: Damit die automatische Knotenbereitstellung wie erwartet funktioniert, müssen Pod-Ressourcenanfragen so umfangreich sein, dass der Pod normal arbeitet. Ist der Umfang der Ressourcenanfragen zu gering, verfügen die automatisch bereitgestellten Knoten möglicherweise nicht über die Ressourcen, um Pods zu starten.

Ressourcenlimits

Für die automatische Knotenbereitstellung und das Autoscaling des Clusters gelten Einschränkungen auf zwei Ebenen:

• Knotenpoolebene
• Clusterebene

Limits für Knotenpools

Knotenpools, die durch die automatische Knotenbereitstellung erstellt werden, sind auf 1.000 Knoten beschränkt.

Limits für Cluster

Die von Ihnen definierten Limits und ihre Durchsetzung beziehen sich auf die Gesamtheit der für Ihren Cluster verwendeten CPU- und Arbeitsspeicherressourcen und nicht nur auf die automatisch bereitgestellten Pools.

Der Cluster Autoscaler erstellt keine neuen Knoten, wenn dadurch ein definierter Grenzwert überschritten würde. Sind die Limits bereits überschritten, werden Knoten nicht automatisch gelöscht.

Hinweis: Ressourcenlimits werden für alle automatisch skalierten Knotenpools durchgesetzt, nicht nur für automatisch bereitgestellte Pools.

Arbeitslasttrennung

Wenn ausstehende Pods mit Knotenaffinitäten und -toleranzen vorhanden sind, können über die automatische Knotenbereitstellung Knoten mit übereinstimmenden Labels und Markierungen bereitgestellt werden.

Knotenpools mit Labels und Markierungen können erstellt werden, wenn alle folgenden Bedingungen erfüllt sind:

• Für einen ausstehenden Pod ist ein Knoten mit einem bestimmten Labelschlüssel und -wert erforderlich.
• Der Pod hat eine Toleranz für eine Markierung mit demselben Schlüssel.
• Die Toleranz gilt für den NoSchedule-Effekt, den NoExecute-Effekt oder alle Effekte.

Hinweis: GKE- und Kubernetes-spezifische Schlüssel können nicht zur Trennung von Arbeitslasten verwendet werden. Außerdem können Schlüssel mit den folgenden Präfixen nicht für die Trennung von Arbeitslasten verwendet werden: *cloud.google.com/, *kubelet.kubernetes.io/ oder *node.kubernetes.io/.

Die Spezifikation des Pods kann auf zwei Arten zum Ausdruck bringen, dass Knoten mit bestimmten Labels erforderlich sind:

• Mithilfe des Feldes nodeSelector.
• Mithilfe des Feldes nodeAffinity und des Operators In sowie genau eines Wertes.

Das folgende Beispiel ist ein Auszug einer Pod-Spezifikation, die als Anfrage zur Arbeitslasttrennung interpretiert wird. In diesem Beispiel hat der Clusteradministrator dedicated als Schlüssel ausgewählt, der zum Isolieren von Arbeitslasten genutzt wird. Das UI-Team hat außerdem festgestellt, dass dedizierte Knoten für die Arbeitslasten benötigt werden.

Der Pod hat eine Toleranz für Knoten mit dem Label dedicated=ui-team und verwendet nodeAffinity für die Knotenauswahl:

spec:
  tolerations:
  - key: dedicated
    operator: Equal
    value: ui-team
    effect: NoSchedule
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: dedicated
            operator: In
            values:
            - ui-team

Wenn dieser Pod vorhanden ist, werden Knoten mit der Markierung dedicated=ui-team:NoSchedule und dem Label dedicated=ui-team beim Erstellen von der automatischen Knotenbereitstellung berücksichtigt.

Im folgenden Beispiel wird nodeSelector verwendet, was den gleichen Effekt hat:

spec:
  tolerations:
  - key: dedicated
    operator: Equal
    value: ui-team
    effect: NoSchedule
  nodeSelector:
    dedicated: ui-team

Automatisch bereitgestellte Knotenpools löschen

Wenn sich in einem automatisch bereitgestellten Knotenpool keine Knoten befinden, löscht GKE den Knotenpool. Knotenpools, die nicht als automatisch bereitgestellt gekennzeichnet sind, werden nicht gelöscht.

Unterstützte Maschinentypen

Ab GKE 1.19.7-gke.800 berücksichtigt die automatische Knotenbereitstellung bei der Erstellung von Knotenpools alle Maschinentypen mit Ausnahme von N1-Maschinen. Die automatische Knotenbereitstellung berücksichtigt außerdem nur Maschinen mit bis zu 64 vCPUs. Standardmäßig wird die E2-Maschinenfamilie verwendet, außer in folgenden Fällen:

• Die Arbeitslast fordert ein Feature an, das in der E2-Maschinenfamilie nicht verfügbar ist. Wird z. B. eine GPU von der Arbeitslast angefordert, wird für den neuen Knotenpool die N1-Maschinenfamilie verwendet.
• Die Arbeitslast verwendet das Label der Maschinenfamilie. Dies kann überschrieben werden, wenn die Arbeitslastanfrage vom vorherigen Punkt nicht erfüllt werden kann. Weitere Informationen finden Sie unter Benutzerdefinierte Maschinenfamilie verwenden.

In Versionen vor 1.19.7-gke.800 werden bei der automatischen Knotenbereitstellung nur N1-Maschinentypen mit bis zu 64 vCPUs berücksichtigt.

Unterstützte Knoten-Images

Die automatische Knotenbereitstellung erstellt Knotenpools mit einem der folgenden Knoten-Images:

• Container-Optimized OS (cos oder cos_containerd)
• Ubuntu ( ubuntu oder ubuntu_containerd).

Unterstützung für VMs auf Abruf

Die automatische Knotenbereitstellung unterstützt die Erstellung von Knotenpools auf der Grundlage von VM-Instanzen auf Abruf.

Knotenpools werden nur auf der Grundlage von VM-Instanzen auf Abruf erstellt, wenn nicht planbare Pods mit Toleranz für die Markierung cloud.google.com/gke-preemptible="true":NoSchedule vorhanden sind.

Knoten, die auf VMs auf Abruf basieren und von automatisch bereitgestellten Knotenpools erstellt wurden, sind mit dieser Markierung versehen.

Unterstützung für Pods, die flüchtigen Speicher anfordern

Die automatische Knotenbereitstellung unterstützt das Erstellen von Knotenpools, wenn Pods einen flüchtigen Speicher anfordern. Die Größe des in den Knotenpools bereitgestellten Bootlaufwerks ist für alle neu automatisch bereitgestellten Knotenpools konstant. Diese Größe des Bootlaufwerks kann angepasst werden, wobei der Standardwert 100 GiB ist. Flüchtiger Speicher mit lokalen SSDs wird nicht unterstützt.

Bei der automatischen Knotenbereitstellung wird ein Knotenpool nur dann bereitgestellt, wenn der zuweisbare flüchtige Speicher eines Knotens mit einem festgelegten Bootlaufwerk größer oder gleich dem von einem ausstehenden Pod angeforderten flüchtigen Speicher ist. Wenn der angeforderte flüchtige Speicher größer ist als alle zuweisbaren Ressourcen, wird mit der automatischen Knotenbereitstellung kein Knotenpool bereitgestellt. Die Laufwerksgröße für Knoten wird nicht dynamisch anhand von Anfragen für flüchtigen Speicher ausstehender Pods konfiguriert.

Dieser flüchtige Speicher für Pods wird in den GKE-Versionen 1.19.7-gke.800 oder höher und 1.18.12-gke.1210 oder höher unterstützt.

Einschränkungen der Skalierbarkeit

Für die automatische Knotenbereitstellung gelten die gleichen Einschränkungen wie für den Cluster Autoscaler sowie die folgenden zusätzlichen Einschränkungen:

Begrenzte Anzahl von getrennten Arbeitslasten

Bei der automatischen Knotenbereitstellung werden maximal 100 separate Arbeitslasten unterstützt.

Begrenzte Anzahl von Knotenpools

Bei der automatischen Knotenbereitstellung wird die Priorität zum Erstellen neuer Knotenpools aufgehoben, wenn die Anzahl der Pools 100 erreicht. Zwar können mehr als 100 Knotenpools erstellt werden, aber beim Erstellen eines Knotenpools besteht die einzige Option darin, einen ausstehenden Pod zu planen.

Automatische Knotenbereitstellung aktivieren

Sie aktivieren die automatische Knotenbereitstellung auf einem Cluster mit gcloud oder der Google Cloud Console.

Hinweis: Wenn Sie die automatische Bereitstellung auf Ihrem Cluster deaktivieren und anschließend wieder aktivieren, wird die automatische Bereitstellung für vorhandene Knotenpools nicht aktiviert. Wenn Sie die automatische Bereitstellung für diese Knotenpools wieder aktivieren möchten, müssen einzelne Knotenpools als automatisch bereitgestellt gekennzeichnet werden.

gcloud

Führen Sie den folgenden Befehl aus, um die automatische Knotenbereitstellung zu aktivieren:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning \
    --min-cpu MINIMUM_CPU \
    --min-memory MIMIMUM_MEMORY \
    --max-cpu MAXIMUM_CPU \
    --max-memory MAXIMUM_MEMORY
    --autoprovisioning-scopes=https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring,https://www.googleapis.com/auth/devstorage.read_only

Dabei gilt:

• CLUSTER_NAME: der Name des Clusters zum Aktivieren der automatischen Knotenbereitstellung
• MINIMUM_CPU: die Mindestanzahl von Kernen im Cluster
• MINIMUM_MEMORY: die Mindestanzahl von Gigabyte Arbeitsspeicher im Cluster
• MAXIMUM_CPU: die maximale Anzahl der Kerne im Cluster
• MAXIMUM_MEMORY: die maximale Anzahl von Gigabyte Arbeitsspeicher im Cluster

Im folgenden Beispiel wird die automatische Bereitstellung von Knoten auf dev-cluster aktiviert. Dadurch wird die Skalierung von einer Clustergesamtgröße von 1 CPU und 1 GB Arbeitsspeicher auf maximal 10 CPU und 64 GB Arbeitsspeicher ermöglicht:

gcloud container clusters update dev-cluster \
    --enable-autoprovisioning \
    --min-cpu 1 \
    --min-memory 1 \
    --max-cpu 10 \
    --max-memory 64

Console

Führen Sie die folgenden Schritte aus, um die automatische Knotenbereitstellung zu aktivieren:

1. Rufen Sie in der Cloud Console die Seite Google Kubernetes Engine auf:

   Zur Seite "Google Kubernetes Engine"

2. Klicken Sie auf den Namen des Clusters.

3. Klicken Sie im Abschnitt Automatisierung unter Automatische Knotenbereitstellung auf Bearbeiten.

4. Klicken Sie auf das Kästchen Automatische Knotenbereitstellung aktivieren.

5. Legen Sie die gewünschte minimale und maximale CPU- und Arbeitsspeicherauslastung für den Cluster fest.

6. Klicken Sie auf Änderungen speichern.

Konfigurationsdatei für die automatische Bereitstellung verwenden

Die automatische Knotenbereitstellung kann mit einer YAML-Konfigurationsdatei konfiguriert werden. Die Konfigurationsdatei kann nur eine einzelne Zeile enthalten, wenn damit eine einzelne Einstellung geändert wird. In einer einzelnen Konfigurationsdatei können mehrere Einstellungen festgelegt werden. In diesem Fall werden beim Anwenden der Konfigurationsdatei alle diese Einstellungen geändert.

Einige erweiterte Konfigurationen können nur mithilfe einer Konfigurationsdatei angegeben werden.

Beispiel 1: Wenn Sie die folgende Konfigurationsdatei anwenden, werden automatische Knotenreparaturen und automatische Upgrades für alle neuen Knotenpools aktiviert, die durch die automatische Knotenbereitstellung erstellt werden:

management:
  autoRepair: true
  autoUpgrade: true

Beispiel 2: Durch die Anwendung der folgenden Konfigurationsdatei würden die folgenden Einstellungen geändert werden:

• Ressourcenlimits werden für CPU, Arbeitsspeicher und GPU festgelegt. Wenn die Gesamtgröße des Clusters die angegebenen Ressourcenlimits überschreitet, wird die automatische Knotenbereitstellung keinen Knoten erstellen.
• Automatische Knotenreparaturen und automatische Upgrades werden für alle neuen Knotenpools aktiviert, die durch die automatische Knotenbereitstellung erstellt werden.
• Secure Boot und Integritätsmonitoring werden für alle neuen Knotenpools aktiviert, die durch die automatische Knotenbereitstellung erstellt werden.
• Die Größe des Bootlaufwerks wird für neue Knotenpools, die durch die automatische Knotenbereitstellung erstellt werden, auf 100 GB festgelegt.

resourceLimits:
  -resourceType: 'cpu'
   minimum: 4
   maximum: 10
  -resourceType: 'memory'
   maximum: 64
  -resourceType: 'nvidia-tesla-k80'
   maximum: 4
management:
  autoRepair: true
  autoUpgrade: true
shieldedInstanceConfig:
  enableSecureBoot: true
  enableIntegrityMonitoring: true
diskSizeGb: 100

So verwenden Sie eine Konfigurationsdatei für die automatische Bereitstellung:

1. Erstellen Sie eine Datei mit der gewünschten Konfiguration an einem Standort, an dem gcloud darauf zugreifen kann.

2. Wenden Sie die Konfiguration auf Ihren Cluster an, indem Sie den folgenden Befehl ausführen:

   gcloud container clusters update CLUSTER_NAME \
      --enable-autoprovisioning \
      --autoprovisioning-config-file FILE_NAME

   Dabei gilt:

   • CLUSTER_NAME ist der Name des Clusters.
   • FILE_NAME: der Name der Konfigurationsdatei

   Weitere Informationen finden Sie in der Dokumentation zu gcloud container clusters update.

Standardeinstellungen für die automatische Bereitstellung

Bei der automatischen Knotenbereitstellung werden die Pod-Anforderungen in Ihrem Cluster untersucht, um festzustellen, welcher Knotentyp am besten zu diesen Pods passt. Einige Knotenpooleinstellungen werden jedoch nicht direkt durch Pods bestimmt (z. B. Einstellungen für Knotenupgrades). Sie können für diese Einstellungen Standardwerte festlegen, die dann auf alle neu erstellten Knotenpools angewendet werden.

Hinweis: Eine Änderung der Standardeinstellungen für die automatische Bereitstellung wirkt sich nicht auf vorhandene Knotenpools aus, auch nicht auf solche, die zuvor durch die automatische Knotenbereitstellung erstellt wurden.

Standardknoten-Image-Typ festlegen

Sie können den Knoten-Image-Typ angeben, der für alle neuen, automatisch bereitgestellten Knotenpools verwendet werden soll. Verwenden Sie dazu das gcloud-Tool oder eine Konfigurationsdatei. Diese Einstellung ist nur für die GKE-Clusterversion 1.20.6-gke.1800 und höher verfügbar.

gcloud

Führen Sie den folgenden Befehl aus, um den Standardtyp des Knoten-Images festzulegen:

gcloud container clusters update CLUSTER_NAME \
  --enable-autoprovisioning \
  --autoprovisioning-image-type IMAGE_TYPE

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.

• IMAGE_TYPE: Der Knoten-Image-Typ. Dies kann einer der folgenden Werte sein:

  • cos_containerd: Container-Optimized OS mit containerd.
  • cos: Container-Optimized OS mit Docker.
  • ubuntu_containerd: Ubuntu mit containerd.
  • ubuntu: Ubuntu mit Docker.

Hinweis: Geben Sie für die Image-Typen ubuntu und ubuntu_containerd im Befehl --autoprovisioning-scopes https://www.googleapis.com/auth/devstorage.read_only an.

Datei

Für alle neuen automatisch bereitgestellten Knotenpools können Sie den zu verwendenden Knoten-Image-Typ mithilfe einer Konfigurationsdatei angeben. Die folgende YAML-Konfiguration gibt an, dass für neue automatisch bereitgestellte Knotenpools der Image-Typ cos_containerd ist und Ressourcenlimits für CPU und Arbeitsspeicher zugeordnet sind. Sie müssen maximale Werte für CPU und Arbeitsspeicher angeben, um die automatische Bereitstellung zu aktivieren.

Hinweis: Fügen Sie für die Image-Typen ubuntu und ubuntu_containerd in die Konfigurationsdatei scopes: https://www.googleapis.com/auth/devstorage.read_only ein.

1. Speichern Sie die YAML-Konfiguration:

   resourceLimits:
     - resourceType: 'cpu'
         minimum: 4
         maximum: 10
     - resourceType: 'memory'
         maximum: 64
   autoprovisioningNodePoolDefaults:
     imageType: 'cos_containerd'
   

2. Wenden Sie die Konfiguration an:

   gcloud container clusters update CLUSTER_NAME \
     --enable-autoprovisioning \
     --autoprovisioning-config-file FILE_NAME
   

   Dabei gilt:

   • CLUSTER_NAME ist der Name des Clusters.
   • FILE_NAME: der Name der Konfigurationsdatei

Standardeinstellungen der Identität für automatisch bereitgestellte Knotenpools festlegen

Berechtigungen für Google Cloud-Ressourcen werden von Identitäten bereitgestellt.

Sie können die Standardidentität (entweder ein Dienstkonto oder einen oder mehrere Bereiche) für neue automatisch bereitgestellte Knotenpools mit dem gcloud-Tool oder über eine Konfigurationsdatei festlegen.

Hinweis: Neue Knotenpools übernehmen keine Identitäten aus anderen Knotenpools. Wenn Sie keine Standardidentität angeben, können Arbeitslasten, die in automatisch bereitgestellten Knotenpools ausgeführt werden, nicht auf Google Cloud APIs zugreifen. Wenn Sie beispielsweise Container-Images aus einem privaten Artifact Registry-Repository abrufen, müssen Sie den Bereich https://www.googleapis.com/auth/devstorage.read_only hinzufügen.

gcloud

Führen Sie zum Festlegen des  IAM-Standarddienstkontos, das bei der automatischen Knotenbereitstellung verwendet werden soll, den folgenden Befehl aus:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning --autoprovisioning-service-account=SERVICE_ACCOUNT

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• SERVICE_ACCOUNT: der Name des Standarddienstkontos.

Im folgenden Beispiel wird [e-mail] als Standarddienstkonto für den Cluster dev-cluster festgelegt:

gcloud container clusters update dev-cluster \
    --enable-autoprovisioning --autoprovisioning-service-account=[e-mail]

Führen Sie den folgenden Befehl aus, um die Standardbereiche anzugeben, die von der automatischen Knotenbereitstellung verwendet werden:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning --autoprovisioning-scopes=SCOPE

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• SCOPE: die Google Cloud-Bereiche, die von automatisch bereitgestellten Knotenpools verwendet werden Wenn Sie mehrere Bereiche angeben möchten, trennen Sie die Bereiche durch ein Komma (z. B. SCOPE1, SCOPE2,...).

Im folgenden Beispiel wird der Standardbereich für den Cluster dev-cluster auf devstorage.read_only festgelegt:

gcloud container clusters update dev-cluster \
    --enable-autoprovisioning \
    --autoprovisioning-scopes=https://www.googleapis.com/auth/pubsub,https://www.googleapis.com/auth/devstorage.read_only

Datei

Sie können die von der automatischen Knotenbereitstellung verwendeten Standardwerte für Identitäten mithilfe einer Konfigurationsdatei festlegen. Mit der folgenden YAML-Konfiguration wird das IAM-Dienstkonto festgelegt:

  serviceAccount: SERVICE_ACCOUNT

Ersetzen Sie SERVICE_ACCOUNT durch den Namen des Standarddienstkontos.

Alternativ können Sie die folgende YAML-Konfiguration verwenden, um Standardbereiche festzulegen, die von der automatischen Knotenbereitstellung verwendet werden:

  scopes: SCOPE

Ersetzen Sie SCOPE durch den Google Cloud-Bereich, der von automatisch bereitgestellten Knotenpools verwendet wird. Wenn Sie mehrere Bereiche angeben möchten, trennen Sie die Bereiche durch ein Komma (z. B. SCOPE1, SCOPE2,...).

So verwenden Sie eine Konfigurationsdatei für die automatische Bereitstellung:

1. Erstellen Sie eine Konfigurationsdatei, in der die Standardwerte der Identitäten an einem Speicherort festgelegt sind, an dem gcloud darauf zugreifen kann.

2. Wenden Sie die Konfiguration auf Ihren Cluster an, indem Sie den folgenden Befehl ausführen:

   gcloud container clusters update CLUSTER_NAME \
      --enable-autoprovisioning \
      --autoprovisioning-config-file FILE_NAME

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• FILE_NAME: der Name der Konfigurationsdatei

Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK)

Sie können vom Kunden verwaltete Verschlüsselungsschlüssel (Customer Managed Encryption Keys, CMEK) angeben, die von neuen automatisch bereitgestellten Knotenpools verwendet werden.

Hinweis: Sie müssen einen Schlüssel erstellen, bevor Sie ihn mit der automatischen Knotenbereitstellung verwenden können.

Sie können die vom Kunden verwaltete Verschlüsselung von Bootlaufwerken mit einer Konfigurationsdatei aktivieren. Mit der folgenden YAML-Konfiguration wird der CMEK-Schlüssel festgelegt:

  bootDiskKmsKey: projects/KEY_PROJECT_ID/locations/LOCATION/keyRings/KEY_RING/cryptoKeys/KEY_NAME

Dabei gilt:

• KEY_PROJECT_ID: Ihre Schlüsselprojekt-ID
• LOCATION: der Speicherort Ihres Schlüsselbunds
• KEY_RING: der Name des Schlüsselbunds
• KEY_NAME: der Name des Schlüssels

So verwenden Sie eine Konfigurationsdatei für die automatische Bereitstellung:

1. Erstellen Sie eine Konfigurationsdatei, in der ein CMEK-Schlüssel an einem Speicherort festgelegt ist, an dem gcloud darauf zugreifen kann.

2. Wenden Sie die Konfiguration auf Ihren Cluster an, indem Sie den folgenden Befehl ausführen:

   gcloud container clusters update CLUSTER_NAME \
      --enable-autoprovisioning \
      --autoprovisioning-config-file FILE_NAME

   Dabei gilt:

   • CLUSTER_NAME ist der Name des Clusters.
   • FILE_NAME: der Name der Konfigurationsdatei

Knotenintegrität

Die automatische Knotenbereitstellung unterstützt die Erstellung von Knotenpools mit aktiviertem Secure Boot und Integritätsmonitoring.

Sie können Secure Boot und das Integritätsmonitoring mit einer Konfigurationsdatei aktivieren. Die folgende YAML-Konfiguration aktiviert Secure Boot und deaktiviert das Integritätsmonitoring:

  shieldedInstanceConfig:
    enableSecureBoot: true
    enableIntegrityMonitoring: false

So verwenden Sie eine Konfigurationsdatei für die automatische Bereitstellung:

1. Kopieren Sie die Konfiguration oben in eine Datei an einem Speicherort, auf den gcloud zugreifen kann. Bearbeiten Sie die Werte für enableSecureBoot und enableIntegrityMonitoring. Speichern Sie die Datei.

2. Wenden Sie die Konfiguration auf Ihren Cluster an, indem Sie den folgenden Befehl ausführen:

   gcloud container clusters update CLUSTER_NAME \
      --enable-autoprovisioning \
      --autoprovisioning-config-file FILE_NAME

   Dabei gilt:

   • CLUSTER_NAME ist der Name des Clusters.
   • FILE_NAME: der Name der Konfigurationsdatei

Automatische Knotenreparatur und automatische Upgrades

Die automatische Knotenbereitstellung unterstützt das Erstellen von Knotenpools mit aktivierter automatischer Reparatur und automatischem Upgrade.

gcloud

Führen Sie den folgenden Befehl aus, um die automatische Reparatur und das automatische Upgrade für alle neuen, automatisch bereitgestellten Knotenpools zu aktivieren:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning --enable-autoprovisioning-autorepair \
    --enable-autoprovisioning-autoupgrade

Ersetzen Sie CLUSTER_NAME durch den Namen des Clusters.

Führen Sie den folgenden Befehl aus, um die automatische Reparatur und das automatische Upgrade für alle neuen, automatisch bereitgestellten Knotenpools zu deaktivieren:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning --no-enable-autoprovisioning-autorepair \
    --no-enable-autoprovisioning-autoupgrade

Ersetzen Sie CLUSTER_NAME durch den Namen des Clusters.

Datei

Sie können die automatische Reparatur und das automatische Upgrade von Knoten mit einer Konfigurationsdatei aktivieren oder deaktivieren. Die folgende YAML-Konfiguration aktiviert die automatische Reparatur und deaktiviert das automatische Upgrade:

  management:
    autoRepair: true
    autoUpgrade: false

So verwenden Sie eine Konfigurationsdatei für die automatische Bereitstellung:

1. Kopieren Sie die Konfiguration oben in eine Datei an einem Speicherort, auf den gcloud zugreifen kann. Bearbeiten Sie die Werte für autoUpgrade und autoRepair. Speichern Sie die Datei.

2. Wenden Sie die Konfiguration auf Ihren Cluster an, indem Sie den folgenden Befehl ausführen:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning \
    --autoprovisioning-config-file FILE_NAME

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• FILE_NAME: der Name der Konfigurationsdatei

Surge-Upgrade-Einstellungen von Knoten

Sie können die Surge-Upgrade-Einstellungen für alle neuen, automatisch bereitgestellten Knotenpools mithilfe des gcloud-Tools oder einer Konfigurationsdatei angeben.

Hinweis: Bevor Sie beginnen, müssen Sie die automatische Knotenbereitstellung für den Cluster aktivieren.

gcloud

Führen Sie den folgenden Befehl aus, um die Surge-Upgrade-Einstellungen für alle neuen, automatisch bereitgestellten Knotenpools zu übernehmen:

gcloud container clusters update CLUSTER_NAME \
    --autoprovisioning-max-surge-upgrade MAX_SURGE \
    --autoprovisioning-max-unavailable-upgrade MAX_UNAVAILABLE

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• MAX_SURGE: die maximale Anzahl von Knoten, die während eines Upgrades dem Knotenpool hinzugefügt werden können.
• MAX_UNAVAILABLE: die maximale Anzahl von Knoten im Knotenpool, die während Upgrades gleichzeitig nicht verfügbar sind.

Datei

Mithilfe einer Konfigurationsdatei wie der Folgenden können Sie Surge-Upgrade-Einstellungen für alle neuen, automatisch bereitgestellten Knotenpools festlegen:

  upgradeSettings:
    maxSurgeUpgrade: 1
    maxUnavailableUpgrade: 2

So verwenden Sie eine Konfigurationsdatei für die automatische Bereitstellung:

1. Kopieren Sie die Konfiguration oben in eine Datei an einem Speicherort, auf den gcloud zugreifen kann. Bearbeiten Sie die Werte für maxSurgeUpgrade und maxUnavailableUpgrade. Speichern Sie die Datei.

2. Wenden Sie die Konfiguration auf Ihren Cluster an, indem Sie den folgenden Befehl ausführen:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning \
    --autoprovisioning-config-file FILE_NAME

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• FILE_NAME: der Name der Konfigurationsdatei

Weitere Informationen finden Sie in der Dokumentation zu gcloud container clusters update.

Benutzerdefinierte Bootlaufwerke

Die automatische Knotenbereitstellung unterstützt die Erstellung von Knotenpools mit benutzerdefinierten Bootlaufwerken.

Sie können die Einstellung des Bootlaufwerks mit einer Konfigurationsdatei anpassen. Die folgende YAML-Konfiguration bewirkt, dass die automatische Knotenbereitstellung Knotenpools mit SSD-Laufwerken mit einer Größe von 100 GB erstellt:

  diskSizeGb: 100
  diskType: pd-ssd

Geben Sie Folgendes an:

• diskSizeGb: die Größe des Laufwerks in GB
• diskType: der Typ des Laufwerks, nämlich einer der folgenden Werte:
  • pd-standard: ein nichtflüchtiger Standardspeicher (Standard)
  • pd-ssd: ein nichtflüchtiger SSD-Speicher

So verwenden Sie eine Konfigurationsdatei für die automatische Bereitstellung:

1. Erstellen Sie eine Datei mit der gewünschten Bootlaufwerkkonfiguration an einem Speicherort, an dem gcloud darauf zugreifen kann.

2. Wenden Sie die Konfiguration auf Ihren Cluster an, indem Sie den folgenden Befehl ausführen:

   gcloud container clusters update CLUSTER_NAME \
      --enable-autoprovisioning \
      --autoprovisioning-config-file FILE_NAME

   Dabei gilt:

   • CLUSTER_NAME ist der Name des Clusters.
   • FILE_NAME: der Name der Konfigurationsdatei

Mindest-CPU-Plattform

Die automatische Knotenbereitstellung unterstützt die Erstellung von Knotenpools mit der Mindest-CPU-Plattform.

Sie können die Standard-Mindest-CPU-Plattform für neue, automatisch bereitgestellte Knotenpools mit dem gcloud-Tool oder einer Konfigurationsdatei angeben.

Warnung: Das Festlegen der Mindest-CPU-Plattform für automatisch bereitgestellte Knotenpools kann nicht zusammen mit der Auswahl einer benutzerdefinierten Maschinenfamilie verwendet werden. Wenn Sie eine Plattform festlegen, werden nur N1-Knotenpools für die automatische Bereitstellung berücksichtigt.

Warnung: Von der Maschinenfamilie N1 unterstützte CPU-Plattformen sind die einzigen gültigen Einstellungen. Das Festlegen einer nicht unterstützten Plattform führt zu nicht definiertem Verhalten.

gcloud

Führen Sie den folgenden Befehl aus, um die Standard-CPU-Plattform festzulegen:

gcloud container clusters update CLUSTER_NAME \
  --enable-autoprovisioning \
  --autoprovisioning-min-cpu-platform MIN_CPU_PLATFORM

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• MIN_CPU_PLATFORM: Die gewünschte Mindest-CPU-Plattform.

Datei

Um die standardmäßige Mindest-CPU-Plattform festzulegen, können Sie eine Konfigurationsdatei verwenden. Mit der folgenden YAML-Konfiguration wird die standardmäßige Mindest-CPU-Plattform festgelegt:

minCpuPlatform: MIN_CPU_PLATFORM

Ersetzen Sie MIN_CPU_PLATFORM durch die gewünschte Mindest-CPU-Plattform.

So verwenden Sie eine Konfigurationsdatei für die automatische Bereitstellung:

1. Erstellen Sie eine Konfigurationsdatei, in der die Mindest-CPU-Plattform an einem Standort angegeben ist, an dem gcloud darauf zugreifen kann.

2. Wenden Sie die Konfiguration auf Ihren Cluster an, indem Sie den folgenden Befehl ausführen:

   gcloud container clusters update CLUSTER_NAME \
      --enable-autoprovisioning \
      --autoprovisioning-config-file FILE_NAME

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• FILE_NAME: der Name der Konfigurationsdatei

GPU-Limits konfigurieren

Wenn Sie die automatische Knotenbereitstellung mit GPUs verwenden, können Sie mit dem gcloud-Tool oder der Google Cloud Console die Höchstgrenze für jeden GPU-Typ im Cluster festlegen. Wenn Sie mehrere GPU-Typen konfigurieren möchten, müssen Sie eine Konfigurationsdatei verwenden.

Führen Sie den Befehl gcloud compute accelerator-types list aus, um die verfügbaren resourceTypes auflisten zu lassen.

Hinweis: CPU- und Arbeitsspeicherlimits sind auch beim Festlegen von GPU-Limits erforderlich.

gcloud

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning \
    --max-cpu MAXIMUM_CPU \
    --max-memory MAXIMUM_MEMORY \
    --min-accelerator type=GPU_TYPE,count=MINIMUM_ACCELERATOR \
    --max-accelerator type=GPU_TYPE,count=MAXIMUM_ACCELERATOR

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• MAXIMUM_CPU: die maximale Anzahl der Kerne im Cluster
• MAXIMUM_MEMORY: die maximale Anzahl von Gigabyte Arbeitsspeicher im Cluster
• GPU_TYPE: GPU-Typ
• MINIMUM_ACCELERATOR: die Mindestanzahl von -GPU-Beschleunigern im Cluster
• MAXIMUM_ACCELERATOR: die maximale Anzahl von -GPU-Beschleunigern im Cluster

Im folgenden Beispiel werden die GPU-Limits für den GPU-Beschleunigertyp nvidia-tesla-k80 im Cluster dev-cluster festgelegt:

gcloud container clusters update dev-cluster \
    --enable-autoprovisioning \
    --max-cpu 10 \
    --max-memory 64 \
    --min-accelerator type=nvidia-tesla-k80,count=1 \
    --max-accelerator type=nvidia-tesla-k80,count=4

Datei

Wenn Sie eine Konfigurationsdatei verwenden, können Sie Limits für mehrere Grafikprozessortypen laden. Mit der folgenden YAML-Konfiguration werden zwei verschiedene GPU-Typen konfiguriert:

  resourceLimits:
    -resourceType: 'cpu'
     minimum: 4
     maximum: 10
    -resourceType: 'memory'
     maximum: 64
    -resourceType: 'nvidia-tesla-k80'
     maximum: 4
    -resourceType: 'nvidia-tesla-v100'
     maximum: 2

So verwenden Sie eine Konfigurationsdatei für die automatische Bereitstellung:

1. Kopieren Sie die Konfiguration oben in eine Datei an einem Speicherort, auf den gcloud zugreifen kann. Bearbeiten Sie die Werte für cpu und memory. Fügen Sie beliebig viele Werte für resourceType hinzu. Speichern Sie die Datei.

2. Wenden Sie die Konfiguration auf Ihren Cluster an, indem Sie den folgenden Befehl ausführen:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning \
    --autoprovisioning-config-file FILE_NAME

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• FILE_NAME: der Name der Konfigurationsdatei

Weitere Informationen finden Sie in der Dokumentation zu gcloud container clusters update.

Console

Führen Sie die folgenden Schritte aus, um die automatische Knotenbereitstellung mit GPU-Ressourcen zu aktivieren:

1. Rufen Sie in der Cloud Console die Seite Google Kubernetes Engine auf:

   Zur Seite "Google Kubernetes Engine"

2. Klicken Sie auf den Namen des Clusters.

3. Klicken Sie im Abschnitt Automatisierung unter Automatische Knotenbereitstellung auf Bearbeiten.

4. Klicken Sie auf das Kästchen Automatische Knotenbereitstellung aktivieren.

5. Legen Sie die gewünschte minimale und maximale CPU- und Arbeitsspeicherauslastung für den Cluster fest.

6. Klicken Sie auf Ressource hinzufügen.

7. Wählen Sie den GPU-Typ aus, den Sie hinzufügen möchten, z. B. NVIDIA TESLA K80. Legen Sie die gewünschte Mindest- und Höchstzahl von GPUs fest, die dem Cluster hinzugefügt werden sollen.

8. Akzeptieren Sie die Einschränkungen für GPUs in GKE.

9. Klicken Sie auf Änderungen speichern.

Standorte für die automatische Bereitstellung von Knoten

Sie legen die Zonen fest, in denen über die automatische Knotenbereitstellung neue Knotenpools erstellt werden können. Regionale Standorte werden nicht unterstützt. Zonen müssen zu derselben Region wie der Cluster gehören, sind aber nicht auf Knotenstandorte beschränkt, die auf Clusterebene definiert sind. Eine Änderung der Standorte für die automatische Knotenbereitstellung hat keine Auswirkungen auf vorhandene Knotenpools.

Führen Sie den folgenden Befehl aus, um Standorte festzulegen, an denen durch die automatische Knotenbereitstellung neue Knotenpools erstellt werden können:

gcloud container clusters update CLUSTER_NAME \
    --enable-autoprovisioning --autoprovisioning-locations=ZONE

Dabei gilt:

• CLUSTER_NAME ist der Name des Clusters.
• ZONE: die Zone, in der durch die automatische Knotenbereitstellung neue Knotenpools erstellt werden können Wenn Sie mehrere Zonen angeben möchten, trennen Sie die Zonen durch ein Komma voneinander ab (z. B. ZONE1, ZONE2,...).

Automatische Knotenbereitstellung deaktivieren

Wenn Sie die automatische Knotenbereitstellung für einen Cluster deaktivieren, werden Knotenpools nicht mehr automatisch bereitgestellt.

Hinweis: Wenn Sie die automatische Bereitstellung deaktivieren, werden alle Knotenpools als nicht automatisch bereitgestellt markiert. Durch erneutes Aktivieren der automatischen Bereitstellung werden Knotenpools nicht automatisch als automatisch bereitgestellt gekennzeichnet.

gcloud

Führen Sie den folgenden Befehl aus, um die automatische Knotenbereitstellung für einen Cluster zu deaktivieren:

gcloud container clusters update CLUSTER_NAME \
  --no-enable-autoprovisioning

Ersetzen Sie CLUSTER_NAME durch den Namen Ihres Clusters.

Console

So deaktivieren Sie die automatische Knotenbereitstellung über die Google Cloud Console:

1. Rufen Sie in der Cloud Console die Seite Google Kubernetes Engine auf:

   Zur Seite "Google Kubernetes Engine"

2. Klicken Sie auf den Namen des Clusters.

3. Klicken Sie im Abschnitt Automatisierung bei Automatische Bereitstellung von Knoten auf Bearbeiten.

4. Entfernen Sie das Häkchen bei Automatische Knotenbereitstellung aktivieren.

5. Klicken Sie auf Änderungen speichern.

Knotenpool als automatisch bereitgestellt markieren

Nach dem Aktivieren der automatischen Knotenbereitstellung für den Cluster können Sie angeben, welche Knotenpools automatisch bereitgestellt werden sollen. Ein automatisch bereitgestellter Knotenpool wird automatisch gelöscht, wenn er von keinen Arbeitslasten verwendet wird.

Führen Sie den folgenden Befehl aus, um einen Knotenpool als automatisch bereitgestellt zu kennzeichnen:

gcloud container node-pools update NODE_POOL_NAME \
  --enable-autoprovisioning

Ersetzen Sie NODE_POOL_NAME durch den Namen des Knotenpools.

Knotenpool als nicht automatisch bereitgestellt markieren

Führen Sie den folgenden Befehl aus, um einen Knotenpool als nicht automatisch bereitgestellt zu kennzeichnen:

gcloud container node-pools update NODE_POOL_NAME \
  --no-enable-autoprovisioning

Ersetzen Sie NODE_POOL_NAME durch den Namen des Knotenpools.

Benutzerdefinierte Maschinenfamilie verwenden

Ab GKE 1.19.7-gke.800 können Sie für Ihre Arbeitslasten eine Maschinenfamilie auswählen. Dafür gibt es zwei Möglichkeiten:

• Sie legen die Knotenaffinität mit dem Schlüssel von cloud.google.com/machine-family, mit dem Operator In und mit dem Wert für die gewünschte Maschinenfamilie (z. B. n2) fest.
• Sie fügen nodeSelector mit dem Schlüssel von cloud.google.com/machine-family und mit dem Wert für die gewünschte Maschinenfamilie hinzu.

Im folgenden Beispiel wird für nodeAffinity die Maschinenfamilie n2 festgelegt:

spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: cloud.google.com/machine-family
            operator: In
            values:
            - n2

Nach Anwendung der Änderungen wählt die automatische Knotenbereitstellung den besten Knotenpool mit einem Maschinentyp aus der angegebenen Maschinenfamilie aus. Wenn für den Übereinstimmungsausdruck mehrere Werte verwendet werden, wird ein Wert zufällig ausgewählt.

Nächste Schritte

• Cluster Autoscaler
• Knotenpools
• Surge-Upgrade-Einstellungen