Kommunikation mit nichtflüchtigen IP-Adressen auf GKE-Pods steuern

Standard

Auf dieser Seite wird beschrieben, wie Sie nichtflüchtige IP-Adressen in Google Kubernetes Engine-Pods (GKE) implementieren. Mit einer benutzerdefinierten Zuordnung von nichtflüchtigen IP-Adressen können Sie Ihr GKE-Pod-Netzwerk steuern. Weitere Informationen zu nichtflüchtigen IP-Adressen, ihren Anwendungsfällen und Vorteilen finden Sie unter Nichtflüchtige IP-Adressen für GKE Pod.

Voraussetzungen

GKE-Version 1.29 oder höher.
Wählen Sie aus, ob Sie von Google bereitgestellte IP-Adressen (von Google bereitgestellte IP-Adressen) reservieren oder Ihre eigenen IP-Adressen (BYOIP) verwenden.
Konfigurieren Sie Ihre Anwendung, die innerhalb der Pods ausgeführt wird, um zugewiesene nichtflüchtige IP-Adressen zu erkennen und zu verwenden.
Nichtflüchtige IP-Adressen für GKE-Pods erfordern Cluster, für die GKE Dataplane V2 und mehrere Netzwerke aktiviert sind.

Beschränkungen

Das Standardnetzwerk unterstützt keine persistenten IP-Adressen. Sie müssen Multi-Netzwerke während der Clustererstellung aktivieren.
Konfigurieren Sie Ihre Anwendungen für die Verwendung zugewiesener persistenter IP-Adressen. GKE fügt die IP-Adresskonfiguration nicht automatisch den Netzwerkschnittstellen des Pods hinzu.
Sie können jede persistente IP-Adresse mit einem einzelnen Pod verknüpfen. Wenn Sie mehrere Pods haben, sendet GKE Traffic normalerweise an den neuesten Pod. GKE tut dies jedoch nur dann, wenn der neueste Pod fehlerfrei ist, d. h., der Pod hat standardmäßig den Bedingungsstatus Ready als True. Sie können dieses Verhalten konfigurieren und mit der Einstellung reactionMode für GKEIPRoute ändern.
GKE unterstützt IPv4-Adressen nur als nichtflüchtige IP-Adressen.
GKE unterstützt nur Layer-3- oder Gerätetyp-Multi-Netzwerke für persistente IP-Adressen.

Hinweise

Führen Sie die folgenden Schritte durch, bevor Sie beginnen:

Aktivieren Sie die Google Kubernetes Engine API.

Google Kubernetes Engine API aktivieren

Wenn Sie die Google Cloud CLI für diese Aufgabe verwenden möchten, müssen Sie die gcloud CLI installieren und dann initialisieren. Wenn Sie die gcloud CLI bereits installiert haben, rufen Sie die neueste Version mit gcloud components update ab.
Hinweis: Legen Sie für vorhandene Installationen der gcloud CLI die compute/region- und compute/zone-Attribute fest. Durch das Festlegen von Standardspeicherorten können Sie in der gcloud CLI Fehler wie One of [--zone, --region] must be supplied: Please specify location vermeiden.

GKE Enterprise aktivieren
Weitere Informationen zu IP-Adressen
Sehen Sie sich die Anforderungen und Einschränkungen an.

Preise

Die folgenden NFO-Funktionen (Network Function Optimizer) werden nur in Clustern unterstützt, die sich in Projekten mit GKE Enterprise befinden:

Unterstützung mehrerer Netzwerke für Pods
Unterstützung für nichtflüchtige IP-Adressen für Pods (Vorabversion)
Richtlinien für mehrere Netzwerke (Vorschau)
Unterstützung der Dienststeuerung für Pods (Vorschau)

Informationen zu den Gebühren, die für das Aktivieren der Google Kubernetes Engine (GKE) Enterprise-Version anfallen, finden Sie bei den GKE Enterprise-Preisen.

Nichtflüchtige IP-Adressen für GKE-Pods implementieren

Nichtflüchtige IP-Adressen in GKE bieten die Möglichkeit, Ihren Pods eine stabile Netzwerkidentität zu geben, auch wenn die Pods selbst aktualisiert oder verschoben werden.

In diesem Abschnitt wird der Workflow zum Implementieren nichtflüchtiger IP-Adressen für GKE-Pods zusammengefasst:

Cluster erstellen: Erstellen Sie einen Cluster, für den die Gateway API, GKE Dataplane V2 und das Multi-Netzwerk aktiviert sind.
IP-Adresse reservieren: Legen Sie fest, ob Sie eine externe (öffentlich zugängliche) oder interne (nur Google Cloud) IP-Adresse benötigen, und reservieren Sie diese. Wählen Sie die Region des GKE-Clusters aus.
Gateway erstellen: Konfigurieren Sie das Kubernetes Gateway-Objekt, das Ihre reservierten nichtflüchtigen IP-Adressen enthält, und erstellen Sie Regeln (GKEIPRoutes) dafür, welche Pods in Ihrem Cluster diese persistenten IP-Adressen verwenden können.
Arbeitslasten mit zusätzlichen Netzwerken für nichtflüchtige IP-Adressen erstellen oder identifizieren: Bereiten Sie Pods auf die Verwendung nichtflüchtiger IP-Adressen vor. Aktivieren Sie dazu mehrere Netzwerkschnittstellen und definieren Sie das Netzwerk, in dem sich die nichtflüchtigen IP-Adressen befinden.
GKEIPRoute-Objekt für ausgewählte Arbeitslasten erstellen: Konfigurieren Sie GKEIPRoute so, dass die nichtflüchtige IP-Adresse einem bestimmten Pod zugewiesen wird. Sie können Labels verwenden, um die richtigen Pods anzusteuern, und optional konfigurieren, wie das Routing auf Pod-Änderungen reagiert.
Anwendungsbewusstsein konfigurieren: Konfigurieren Sie Ihre Anwendung innerhalb des Pods so, dass die nichtflüchtige IP-Adresse aktiv verwendet wird.
Monitoring: Verfolgen Sie den Status Ihres Gateways und der GKEIPRoute-Objekte, um sicherzustellen, dass alles erwartungsgemäß funktioniert.

Führen Sie die folgenden Schritte aus, um eine nichtflüchtige IP-Adresse für GKE-Pods zu implementieren:

Schritt 1: GKE-Cluster erstellen, für den GKE Dataplane V2 und Multi-Netzwerke aktiviert sind

Wenn Sie die erweiterten Verwaltungsfunktionen für Netzwerkrouting und IP-Adressen aktivieren möchten, die für die Implementierung nichtflüchtiger IP-Adressen auf GKE-Pods erforderlich sind, müssen Sie einen Cluster create, für den Multi-Netzwerke und GKE Dataplane V2 aktiviert sind.

Schritt 2: Nichtflüchtige IP-Adressen reservieren

Um zuverlässige Netzwerkidentitäten für Ihre Pods einzurichten und nichtflüchtige IP-Adressen einzurichten, müssen Sie zuerst nichtflüchtige IP-Adressen abrufen. Sie können von Google bereitgestellte IP-Adressen reservieren oder Ihre eigenen (BYOIP) verwenden.

Schritt 2a: Von Google bereitgestellte IP-Adressen reservieren

Führen Sie den folgenden Befehl aus, um externe IP-Adressen zu reservieren:

gcloud compute addresses create ADDRESS_NAME \
   --region=REGION

Ersetzen Sie Folgendes:

ADDRESS_NAME: der Name, den Sie mit dieser Adresse verknüpfen möchten.
REGION: die Region, in der Sie diese Adresse reservieren möchten. Die Region muss sich in derselben Region befinden wie der Pod, dem Sie die IP-Adresse zuweisen möchten.

Hinweis: Sie müssen beim Reservieren einer IP-Adresse eine Region angeben, da Weiterleitungsregeln, die das Traffic-Routing für nichtflüchtige IP-Adressen verarbeiten, regional sind. Ihre IP-Adresse und der GKE-Cluster müssen sich in derselben Region befinden, damit das Routing ordnungsgemäß funktioniert.

Führen Sie den folgenden Befehl aus, um interne IP-Adressen zu reservieren:

gcloud compute addresses create ADDRESS_NAME \
    --region REGION
    --subnet SUBNETWORK \
    --addresses IP_ADDRESS

Ersetzen Sie Folgendes:

ADDRESS_NAME: Die Namen einer oder mehrerer Adressen, die Sie reservieren möchten. Geben Sie bei mehreren Adressen alle Adressen als Liste an, getrennt durch Leerzeichen. Beispiel: example-address-1 example-address-2 example-address-3
REGION: Die Region für diese Anfrage.
SUBNETWORK: Das Subnetz für diese interne IPv4-Adresse.

Damit der Traffic innerhalb Ihres privaten Netzwerks ordnungsgemäß weitergeleitet wird, müssen interne IP-Adressen zu einem festgelegten Subnetz gehören.

Weitere Informationen zu externen und internen IP-Adressen finden Sie unter Statische externe IP-Adresse reservieren und Statische interne IP-Adresse reservieren.

Schritt 2b: Eigene IP-Adressen verwenden (BYOIP)

Sie können Ihre eigenen IP-Adressen (BYOIP) verwenden, anstatt sich auf von Google bereitgestellte IP-Adressen zu verlassen. BYOIP ist hilfreich, wenn Sie bestimmte IP-Adressen für Ihre Anwendungen benötigen oder vorhandene Systeme in Google Cloud verschieben. Zur Verwendung von BYOIP prüft Google, ob Sie der Inhaber des IP-Adressbereichs sind. Nachdem die IP-Adressen in Google Cloud importiert wurden, können Sie sie als persistente IP-Adressen für GKE-Pods zuweisen. Weitere Informationen finden Sie unter Eigene IP-Adressen verwenden.

Schritt 3: Gateway-Objekte erstellen

Gateway-Objekte enthalten die IP-Adressen und definieren, welche Pods sie verwenden können. Um zu steuern, wie Ihren GKE-Pods persistente IP-Adressen zugewiesen werden, verwenden Sie Gateway-Objekte.

Erstellen Sie ein Kubernetes Gateway-Objekt der entsprechenden Klasse:
- gke-persistent-regional-external-managed für externe (öffentliche) IP-Adressen.
- gke-persistent-regional-internal-managed für interne (nur Google Cloud) IP-Adressen.
Listen Sie im Abschnitt „Adressen“ des Gateways die nichtflüchtigen IP-Adressen auf (von Google bereitgestellt oder BYOIP), die von diesem Gateway verwaltet werden.
Ermitteln Sie im Abschnitt Listeners, welche Pods und zugehörigen GKEIPRoute-Objekte möglicherweise die IP-Adressen des Gateways verwenden können. Listeners dient als Filter basierend auf dem Namespace der GKEIPRoute, in dem sich ein GKEIPRoute-Objekt befindet.

Sie können aus den folgenden Auswahloptionen für Kubernetes-Namespaces auswählen:
- Alle Namespaces: Beliebige GKEIPRoute im Cluster.
- Selektor: GKEIPRoute in den Namespaces von GKEIPRoute, die einem bestimmten Label entsprechen.
- Gleicher Namespace: Nur GKEIPRoutes im selben Namespace von GKEIPRoute wie das Gateway.

Das folgende Beispiel bietet clusterweiten Zugriff auf externe nichtflüchtige IP-Adressen, sodass jeder Pod sie potenziell verwenden kann.

Speichern Sie das folgende Beispielmanifest als allowed-pod-ips.yaml:

kind: Gateway
apiVersion: gateway.networking.k8s.io/v1beta1
metadata:
  namespace: default
  name: allowed-pod-ips
spec:
  gatewayClassName: gke-persistent-regional-external-managed

  listeners:
    - name: default
      port: 443
      protocol: none
      allowedRoutes:
        namespaces:
          from: All

  addresses:
    - value: "34.123.10.1/32"
      type: "gke.networking.io/cidr"
    - value: "34.123.10.2/32"
      type: "gke.networking.io/cidr"

Dabei gilt:

addresses: Listet alle IP-Adressen auf, deren Berechtigungen von dem jeweiligen Gateway verwaltet werden.
Listener: wird verwendet, um die Namespaces zu identifizieren, aus denen GKEIPRoute-Objekte auf dieses Gateway verweisen können.

Wenden Sie das Manifest auf den Cluster an:

kubectl apply -f allowed-pod-ips.yaml

Schritt 4: Arbeitslasten mit zusätzlichen Netzwerken für nichtflüchtige IP-Adressen erstellen oder identifizieren

Richten Sie Pods mit mehreren Netzwerken ein und erstellen Sie Netzwerkobjekte, die Netzwerke angeben, zu denen die nichtflüchtige IP-Adresse gehört.

Schritt 5: Objekt `GKEIPRoute` für ausgewählte Arbeitslasten erstellen

Erstellen Sie ein GKEIPRoute-Objekt, um einem ausgewählten Pod eine persistente IP-Adresse zuzuweisen.

Speichern Sie das folgende Beispielmanifest als my-ip-route.yaml:

kind: GKEIPRoute
apiVersion: networking.gke.io/v1
metadata:
  namespace: default
  name: my-ip-route
spec:
  parentRefs:
  - name: allowed-pod-ips
    namespace: default
  addresses:
  - value: "34.123.10.1/32"
    type: "gke.networking.io/cidr"
  network: blue-network
  reactionMode: ReadyCondition
  podSelector: # Only one pod is selected.
    matchLabels:
      component: proxy

Dabei gilt:

parentRefs: verweist auf das Gateway, von dem persistente IP-Adressen verwendet werden. Dieses Feld ist unveränderlich.
addresses: Listet alle nichtflüchtigen IP-Adressen auf, die an den mit podSelector angegebenen Pod weitergeleitet werden. Dieses Feld ist änderbar. Bei IPv4 werden nur /32-Adressen unterstützt.
podSelector: Gibt Labels an, die den Pod identifizieren, an den die nichtflüchtigen IP-Adressen weitergeleitet werden. Dieses Feld ist änderbar und gilt für den gleichen Namespace, in dem GKEIPRoute platziert wird. Wenn Sie mehrere Pods auswählen, werden zwei zusätzliche Faktoren berücksichtigt: die Erstellungszeit des Pods (GKE wählt die neuesten aus) und die Einstellung des Felds reactionMode.
reactionMode: Gibt an, wie sich dieses Feature verhält, wenn ein bestimmter Pod (ausgewählt durch podSelector) erstellt oder gelöscht wird. Dieses Feld ist optional und standardmäßig auf ReadyCondition eingestellt. Das Feld ReadyCondition ist unveränderlich. Sie können den reactionMode festlegen, um zu steuern, wie sich das Feature verhält, wenn Pods erstellt, gelöscht oder aktualisiert werden.
network: verweist auf die Netzwerkschnittstelle auf einem Pod, an den nichtflüchtige IP-Adressen weitergeleitet werden. Dieses Feld ist unveränderlich.

Wenden Sie das Manifest auf den Cluster an:

kubectl apply -f my-ip-route.yaml

StatefulSet-Pods nichtflüchtige IP-Adressen zuweisen

Wenn Sie einem bestimmten Pod innerhalb eines StatefulSet eine persistente IP-Adresse zuweisen möchten, verwenden Sie den vorhersehbaren Hostnamen des Pods und die automatische Labelerstellung von Kubernetes, wie im folgenden Beispiel gezeigt:

Speichern Sie das folgende Beispielmanifest als my-pod-ips.yaml:

kind: GKEIPRoute
apiVersion: networking.gke.io/v1
metadata:
  namespace: proxy-ss-ns
  name: my-pod-ips
spec:
  parentRefs:
  - name: allowed-pod-ips
    namespace: default
  addresses:
  - value: "34.123.10.1/32"
    type: "gke.networking.io/cidr"
  - value: "34.123.10.2/32"
    type: "gke.networking.io/cidr"
  network: blue-network
  reactionMode: ReadyCondition
  podSelector:
    matchLabels:
      statefulset.kubernetes.io/pod-name: proxy-ss-1
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  namespace: proxy-ss-ns
  name: proxy-ss
spec:
  selector:
    matchLabels:
      component: proxy
  serviceName: "proxy"
  replicas: 3
  template:
    metadata:
      annotations:
        networking.gke.io/default-interface: 'eth0'
        networking.gke.io/interfaces: '[{"interfaceName":"eth0","network":"default"}, {"interfaceName":"eth1","network":"blue-network"}]'
      labels:
        component: proxy
    spec:
      containers:
      - name: hello-app
        image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0

Wenden Sie das Manifest auf den Cluster an (achten Sie darauf, dass Sie ein Netzwerk namens "blue-network" haben):

kubectl apply -f my-pod-ips.yaml

Deployment-Pods nichtflüchtige IP-Adressen zuweisen

Wenn Sie dem neuesten Pod in einem Deployment eine persistente IP-Adresse zuweisen möchten, wenden Sie eine GKEIPRoute mit der folgenden Konfiguration an:

Speichern Sie das folgende Beispielmanifest als my-pod-ips.yaml:

kind: GKEIPRoute
apiVersion: networking.gke.io/v1
metadata:
  namespace: proxy-deploy-ns
  name: my-pod-ips
spec:
  parentRefs:
  - name: allowed-pod-ips
    namespace: default
  addresses:
  - value: "34.123.10.1/32"
    type: "gke.networking.io/cidr"
  - value: "34.123.10.2/32"
    type: "gke.networking.io/cidr"
  network: blue-network
  reactionMode: ReadyCondition
  podSelector:
    matchLabels:
      component: proxy
---
apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: proxy-deploy-ns
  name: proxy-deploy
spec:
  selector:
    matchLabels:
      component: proxy
  replicas: 4 # Latest Pod is used
  template:
    metadata:
      annotations:
        networking.gke.io/default-interface: 'eth0'
        networking.gke.io/interfaces: '[{"interfaceName":"eth0","network":"default"}, {"interfaceName":"eth1","network":"blue-network"}]'
      labels:
        component: proxy
    spec:
      containers:
      - name: hello-app
        image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0

Wenden Sie das Manifest auf den Cluster an (achten Sie darauf, dass Sie ein Netzwerk namens "blue-network" haben):

kubectl apply -f my-ip-route.yaml

Schritt 6: Nichtflüchtige IP-Adressen im Pod verwenden

Wenn Sie einem GKE-Pod eine persistente IP-Adresse mithilfe eines GKEIPRoute zuweisen, können die IP-Adressen nicht automatisch von Ihrer Anwendung verwendet werden. Die persistenten IP-Adressen werden auf Netzwerkroutingebene verarbeitet, was aber in der Standardkonfiguration Ihres Pods nicht bekannt ist. Sie müssen die Konfiguration Ihrer Anwendung so konfigurieren, dass die Adresse im Pod erkannt und verwendet wird. Dazu benötigt Ihr Pod Berechtigungsberechtigungen.

Beachten Sie beim Konfigurieren Ihrer Anwendung die folgenden Optionen:

net.ipv4.ip_nonlocal_bind: Ändern Sie eine Systemeinstellung, damit Ihre Anwendung IP-Adressen verwenden kann, die ihrer Schnittstelle nicht direkt zugewiesen sind.
ip address add: Verwenden Sie diesen Befehl in der Anwendungslogik, um die persistente IP-Adresse manuell zu einer Schnittstelle hinzuzufügen.
Raw-Sockets: Für noch mehr Kontrolle könnte Ihre Anwendung direkt mit dem Netzwerk-Stack interagieren (erweitert).
Userspace-IP-Adressstack: In bestimmten Fällen kann eine separate Anwendung innerhalb des Pods ausgeführt werden, um die IP-Adresse zu verwalten (sehr erweitert).

Verhalten der persistenten IP-Adresse bei Pod-Änderungen anpassen

In diesem Abschnitt wird beschrieben, wie sich die nichtflüchtige IP-Adresse für den GKE-Pod verhält, wenn der Ziel-Pod erstellt oder gelöscht wird. Der GKE-Controller überwacht Ihre Pods und die GKEIPRoute-Konfiguration. Wenn eine Aktualisierung erkannt wird, wird die persistente IP-Adresse gemäß des von Ihnen ausgewählten reactionMode automatisch einem geeigneten Pod zugewiesen.

Informationen dazu, wie das Feature für persistente IP-Adressen Pod-Änderungen automatisch verarbeitet, sowie die verfügbaren Konfigurationsoptionen:

Wählen Sie im Feld reactionMode Ihrer GKEIPRoute-Konfiguration ReadyCondition oder Exists aus. Berücksichtigen Sie im Hinblick auf die Anforderungen Ihrer Anwendung, wie schnell die IP-Adresse zugewiesen wird, im Vergleich zu strengen Bereitschaftsanforderungen.
Wenn Sie ReadyCondition verwenden, um die Bereitschaft zu gewährleisten, prüfen Sie, ob Ihre Pods die Kubernetes-Bereitschaftsprüfungen korrekt implementiert haben. Andernfalls funktioniert die nichtflüchtige IP-Adresse möglicherweise nicht wie vorgesehen.
Wir empfehlen Ihnen, den Status Ihrer Pods und das Feld Conditions des GKEIPRoute-Objekts zu überwachen, um sicherzustellen, dass das System ordnungsgemäß funktioniert. Der Status true der Bedingung Ready gibt an, dass das System ordnungsgemäß funktioniert.

Fehlerbehebung bei der Kommunikation mit nichtflüchtigen IP-Adressen für Pods

In diesem Abschnitt wird gezeigt, wie Sie Probleme im Zusammenhang mit nichtflüchtigen IP-Adressen für Pods beheben.

`NoPodsFound`, wenn keine übereinstimmenden Pods gefunden wurden

Symptom

Das GKEIPRoute-Objekt gibt einen podSelector (eine Reihe von Labels) an, um zu ermitteln, welche Pods der nichtflüchtigen IP-Adresse zugeordnet sind. Der Status NoPodsFound gibt an, dass in den Ziel-GKEIPRoute's-Namespaces keine Pods mit übereinstimmenden Labels vorhanden sind.

Mögliche Ursachen

Falsche Labels: Der Pod, den Sie für die persistente IP-Adresse verwenden möchten, hat möglicherweise falsche oder gar keine Labels.
Keine Pods vorhanden: Wenn reactionMode == Exists vorhanden ist, prüfen Sie im Feld pod.Spec.nodeName, ob der Pod einem Knoten zugewiesen ist. Im Namespace GKEIPRoute's werden möglicherweise keine Pods ausgeführt, die mit dem Selektor übereinstimmen.
Pod nicht bereit: Wenn reactionMode == ReadyCondition, prüfen Sie, ob der Pod-Status READY lautet. Selbst wenn ein übereinstimmender Pod vorhanden ist, kann er keinen Traffic bereitstellen, wenn er sich nicht im Status Ready befindet, und ist somit nicht ausgewählt.

Lösung

Labels prüfen: Prüfen Sie noch einmal, ob die Labels in Ihrem GKEIPRoute's-podSelector mit den Labels übereinstimmen, die Sie auf den gewünschten Pod angewendet haben.
Pod-Vorhandensein prüfen: Achten Sie darauf, dass ein Pod mit den richtigen Labels tatsächlich in den Namespaces GKEIPRoute's vorhanden ist, die durch die Listeners des Gateways angegeben werden. Wenn reactionMode == Exists, prüfen Sie im Feld pod.Spec.nodeName, ob der Pod einem Knoten zugewiesen ist.
Pod-Bereitschaft bestätigen: Falls reactionMode == ReadyCondition, prüfen Sie, ob der Pod-Status READY lautet. Prüfen Sie mit dem folgenden Befehl, ob der Pod den Status Ready hat:
```
kubectl get pods -n <namespace>
```
Pods in anderen Status (z. B. „Ausstehend“, „Fehler“) werden nicht ausgewählt.
Konfigurieren Sie Ihre Pods so, dass sie auf die zugewiesene persistente IP-Adresse reagieren.

`Mutated`, wenn ein übereinstimmender Pod gefunden wurde und die Programmierung einer persistenten IP-Adresse ausgeführt wird