Agente di mascheramento IP

Questa pagina spiega come funziona il mascheramento IP in Google Kubernetes Engine (GKE) e fornisce opzioni di configurazione per diversi scenari.

Panoramica dell'IP masquerading

L'IP masquerading è una forma di Network Address Translation dell'origine (SNAT) che esegue traduzioni molti-a-uno degli indirizzi IP. GKE può utilizzare il masquerading IP per modificare gli indirizzi IP di origine dei pacchetti inviati dai pod.

Per una panoramica più generale del mascheramento IP in qualsiasi implementazione di Kubernetes, consulta la Guida utente dell'agente di mascheramento IP.

IP masquerading di GKE

Quando il mascheramento IP viene applicato a un pacchetto emesso da un pod, GKE cambia l'indirizzo IP di origine del pacchetto dall'indirizzo IP del pod all'indirizzo IP del nodo sottostante. La smorfia dell'indirizzo IP di origine di un pacchetto è utile quando un destinatario è configurato per ricevere i pacchetti solo dagli indirizzi IP dei nodi del cluster.

Sui nodi Linux, GKE configura le regole iptables. GKE utilizza il ip-masq-agent DaemonSet per configurare il dataplane appropriato.

Il masquerading IP non è supportato con i pool di nodi Windows Server.

IP masquerading per i cluster standard

Nei cluster standard, il comportamento di mescola IP del cluster è regolato da tre fattori:

La tabella seguente riassume le configurazioni di IP spoofing per i cluster GKE standard:

Configurazione cluster Comportamento SNAT risultante

Il DaemonSet ip-masq-agent è presente nel cluster e esiste un elenco nonMasqueradeCIDRs personalizzato nel ConfigMap ip-masq-agent.

GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati alle destinazioni specificate nell'elenco nonMasqueradeCIDRs.

GKE modifica gli indirizzi IP dei pod di origine in indirizzi IP dei nodi di origine per i pacchetti inviati a destinazioni non specificate nell'elenco nonMasqueradeCIDRs.

Il DaemonSet ip-masq-agent è presente nel cluster, ma un elenco nonMasqueradeCIDRs personalizzato non esiste nel ConfigMap ip-masq-agent o il ConfigMap ip-masq-agent non è presente.

GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati a un insieme di destinazioni predefinite non con mascheramento.

GKE modifica gli indirizzi IP dei pod di origine in indirizzi IP dei nodi di origine per i pacchetti inviati a destinazioni esterne alle destinazioni predefinite senza mascheramento.

Il DaemonSet ip-masq-agent non è presente nel cluster e hai creato il cluster senza il flag --disable-default-snat.

GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati a un insieme di destinazioni predefinite non con mascheramento.

GKE modifica gli indirizzi IP dei pod di origine in indirizzi IP dei nodi di origine per i pacchetti inviati a destinazioni esterne alle destinazioni predefinite senza mascheramento.

Il DaemonSet ip-masq-agent non è presente nel cluster e hai creato il cluster con il flag --disable-default-snat.

GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati a tutte le destinazioni.

Consulta Preserving Pod IPv4 address sources to internet destinations (Mantenimento delle origini degli indirizzi IPv4 del pod per le destinazioni internet) per importanti considerazioni sul routing quando mantieni gli indirizzi IPv4 di origine del pod e devi instradare i pacchetti su internet.

IP masquerading per i cluster Autopilot

Nei cluster Autopilot, GKE esegue sempre il deployment di un ip-masq-agent DaemonSet. Ad eccezione dei pacchetti inviati dai pod agli intervalli di nodi, pod o servizi del cluster, puoi controllare il comportamento di mascheramento IP utilizzando un EgressNATPolicy. Per utilizzare un EgressNATPolicy, il tuo cluster Autopilot deve soddisfare entrambi i seguenti requisiti:

  • Il cluster deve utilizzare GKE 1.23.4-gke.1600 o versioni successive o 1.22.7-gke.1500 o versioni successive.
  • Il cluster deve essere stato creato con GKE Dataplane V2 attivo.

La tabella seguente riassume le configurazioni di IP spoofing per i cluster GKE Autopilot:

Configurazione del cluster Autopilot Comportamento SNAT risultante

Il cluster include un EgressNATPolicy personalizzato il cui spec.action è NoSNAT contenente destinazioni non di mascheramento specificate in spec.destinations[].

GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati alle destinazioni specificate in spec.destinations[] del EgressNATPolicy. GKE esegue questa operazione traducendo spec.destinations[] in un nonMasqueradeCIDRs elenco in un ip-masq-agent configMap.

GKE modifica gli indirizzi IP del pod di origine in indirizzi IP del nodo di origine per i pacchetti inviati a destinazioni non specificate in spec.destinations[] del EgressNATPolicy.

Il cluster non include un personalizzato EgressNATPolicy.

Vengono applicati sia il criterio predefinito EgressNATPolicy sia il criterio gestito da GKE, con il seguente comportamento:

  • GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati a un insieme di destinazioni non mascherate predefinite.
  • GKE modifica gli indirizzi IP dei pod di origine in indirizzi IP dei nodi di origine per i pacchetti inviati a destinazioni esterne alle destinazioni predefinite senza mascheramento.

Esempi di configurazione

Espandi le sezioni seguenti per visualizzare esempi di configurazione e masquerading IP in base al tipo di cluster.

Guida di riferimento alla configurazione avanzata

Quando ip-masq-agent viene implementato automaticamente

Nei cluster in modalità Autopilot, GKE esegue sempre il deployment di un ip-masq-agent DaemonSet.

Nei cluster standard, GKE esegue il deployment di un ip-masq-agent DaemonSet quando il flag --disable-default-snat non è impostato e il cluster utilizza una delle seguenti combinazioni di configurazione:

  • Il cluster non utilizza GKE Dataplane V2 e l'applicazione dei criteri di rete è abilitata.

  • Il cluster utilizza un intervallo di indirizzi IP del pod che non rientra in 10.0.0.0/8.

Affinché il DaemonSet ip-masq-agent sia efficace, devi anche specificare l'elenco nonMasqueradeCIDRs nel ConfigMap ip-masq-agent. Per ulteriori informazioni, consulta la sezione su come configurare un agente di mascheramento IP.

Quando in un cluster è presente un ip-masq-agent DaemonSet, GKE aggiornate e riconcilia un pod di servizio su ogni nodo del cluster.

Destinazioni non mascherate predefinite

Le destinazioni non con mascheramento predefinite sono:

  • 10.0.0.0/8
  • 172.16.0.0/12
  • 192.168.0.0/16
  • 100.64.0.0/10
  • 192.0.0.0/24
  • 192.0.2.0/24
  • 192.88.99.0/24
  • 198.18.0.0/15
  • 198.51.100.0/24
  • 203.0.113.0/24
  • 240.0.0.0/4

Le destinazioni predefinite non con mascheramento sono applicabili ai cluster con le seguenti configurazioni:

Le destinazioni non con mascheramento predefinite non sono applicabili ai cluster con le seguenti configurazioni:

Effetto del flag --disable-default-snat

Il flag --disable-default-snat modifica il comportamento predefinito di GKE SNAT in modo che gli indirizzi IP dei pod di origine vengano conservati per i pacchetti inviati a tutte le destinazioni. GKE implementa il comportamento SNAT predefinito non eseguendo il deployment di alcun DaemonSetip-masq-agent nel cluster.

Il flag --disable-default-snat non ha effetto quando un cluster include un DaemonSet ip-masq-agent:

  • Poiché i cluster Autopilot includono sempre un DaemonSet ip-masq-agent, il flag --disable-default-snat non ha alcun effetto sui cluster Autopilot.

Puoi impostare il flag --disable-default-snat aggiornando un cluster dopo la sua creazione. A condizione che nel cluster non sia stato disegnato un ip-masq-agent DaemonSet, la disattivazione della SNAT predefinita viene applicata dopo che il cluster ha sostituito tutti i suoi nodi, a volte anche dopo diverse ore. Questo accade perché GKE rispetta le finestre di manutenzione configurate quando sostituisce i nodi nel cluster. Se non hai configurato alcuna finestra di manutenzione, devi eseguire manualmente il ciclo dei nodi nel cluster prima che il flag --disable-default-snat abbia effetto.

Mascheramento link-local

L'intervallo 169.254.0.0/16 viene utilizzato per gli indirizzi IP locali rispetto al collegamento. Con masquerading link-local si intende la modifica di un indirizzo IP del pod di origine in un indirizzo IP del nodo di origine per i pacchetti inviati alle destinazioni 169.254.0.0/16.

I cluster Autopilot conservano sempre gli indirizzi IP dei pod di origine per i pacchetti inviati a destinazioni 169.254.0.0/16.

Per impostazione predefinita, i cluster standard conservano anche gli indirizzi IP dei pod di origine per i pacchetti inviati alle destinazioni 169.254.0.0/16.

Puoi attivare il mascheramento degli indirizzi IP link-local in un cluster standard svolgendo entrambi i seguenti passaggi:

Contenitori e pod di diagnostica con hostNetwork: true

A meno che non specifichi un indirizzo IP di origine personalizzato per i pacchetti, i pod in esecuzione con hostNetwork: true e i container di diagnostica inviano pacchetti con origini corrispondenti all'indirizzo IP del nodo. Per i pod in esecuzione con hostNetwork: true, GKE assegna al pod l'indirizzo IP del nodo. GKE non gestisce gli indirizzi IP per i container di diagnostica, inclusi i container per il debug dei problemi del nodo utilizzando toolbox.

I cluster Autopilot non supportano l'esecuzione di pod con spec.hostNetwork: true. Poiché i nodi di un cluster Autopilot non sono accessibili tramite SSH, non puoi eseguire container di diagnostica su di essi.

Preservare le origini degli indirizzi IPv4 dei pod per le destinazioni internet

Se la configurazione della maschera IP del tuo cluster è una delle seguenti, GKE conserva le origini degli indirizzi IP dei pod per i pacchetti inviati a tutte le destinazioni, incluse quelle internet:

  • Nei cluster standard con un DaemonSet ip-masq-agent, se hai impostato nonMasqueradeCIDRs su 0.0.0.0 nel ConfigMap ip-masq-agent.
  • Nei cluster standard senza un DaemonSet ip-masq-agent, se hai impostato il flag --disable-default-snat.

Le origini IPv4 del pod sono indirizzi IPv4 interni, il che significa che non possono essere indirizzati su internet. Di conseguenza, quando mantieni gli indirizzi IPv4 del pod di origine per i pacchetti inviati a internet, devi utilizzare una tecnica come una delle seguenti per instradare i pacchetti dopo che escono dai nodi del cluster:

  • Assicurati che la rete VPC abbia una route predefinita con il successivo hop del gateway internet predefinito e configura un gateway Cloud NAT per fornire servizi NAT pubblici ad almeno gli intervalli di indirizzi IPv4 secondari della subnet utilizzati dai pod nel cluster. Per maggiori dettagli, consulta la sezione Interazione con GKE nella panoramica di Cloud NAT.
  • Configura la rete VPC in modo da utilizzare una route predefinita personalizzata il cui hop successivo è un'istanza VM o un bilanciatore del carico di rete passthrough interno, in cui la VM o i backend del bilanciatore del carico sono stati configurati per inoltrare i pacchetti a internet per conto dei pod.

Ripristino del comportamento SNAT predefinito

Per ripristinare il comportamento SNAT predefinito quando un DaemonSet ip-masq-agent è presente in un cluster, elimina il ConfigMap ip-masq-agent associato. Il DaemonSet ip-masq-agent ripristina il comportamento predefinito dell'IP masquerading sui nodi che gestisce.

Per ripristinare il comportamento SNAT predefinito quando un DaemonSet ip-masq-agent non è presente in un cluster, devi eseguire l'upgrade del pool di nodi (assicurati che --disable-default-snat non sia impostato sul cluster).

Effetto del criterio NAT in uscita nei cluster Autopilot

Il criterio NAT in uscita di GKE ti consente di configurare il mascheramento IP sui cluster Autopilot. Puoi utilizzare la definizione della risorsa personalizzata (CRD) del criterio di traduzione NAT in uscita GKE per modificare gli indirizzi IP di origine dei pacchetti inviati dai pod.

Per motivi di sicurezza o per esaurimento degli indirizzi IP, puoi mascherare gli indirizzi IP dall'intervallo IP del pod a quello del nodo per il traffico in uscita verso le reti on-premise. Ad esempio, puoi utilizzare un intervallo diverso da RFC-1918 per i cluster Autopilot e un intervallo RFC-1918 per i nodi. Tuttavia, se i pod devono comunicare con reti on-premise che utilizzano anche un intervallo diverso da RFC 1918, gli indirizzi IP possono sovrapporsi. Per evitare la perdita di traffico, puoi configurare un criterio NAT in uscita in modo da non pubblicizzare gli intervalli non RFC-1918 dei pod alle reti on-premise. Il criterio NAT in uscita maschera l'intervallo non RFC-1918 dei pod per utilizzare invece l'intervallo RFC-1918 del nodo. Assicurati che un intervallo di nodi non si sovrapponga a un intervallo on-premise, altrimenti potrebbe causare un loop di traffico.

GKE applica il comportamento di masquerading IP per i cluster Autopilot tramite la seguente procedura:

  1. GKE esegue il deployment del controller Egress NAT e del ip-masq-agent.
  2. Crea il criterio NAT in uscita.
  3. Il controller GKE traduce il criterio nel ConfigMap ip-masq-agent.
  4. Il DaemonSet ip-masq-agent legge il ConfigMap e GKE applica il comportamento di masquerading dell'IP.

Criteri generati automaticamente

GKE supporta i seguenti due criteri NAT in uscita generati automaticamente:

  • Valore predefinito: questi criteri sono modificabili.
  • Gestito da GKE: queste norme sono fisse e non possono essere modificate.

Criterio predefinito

GKE predefinisce un insieme di intervalli di indirizzi IP predefiniti. Quando i pacchetti vengono inviati a queste destinazioni, il cluster non maschera le origini degli indirizzi IP e conserva gli indirizzi IP dei pod di origine. Per modificare questi intervalli di indirizzi IP predefiniti, consulta Modificare ed eseguire il deployment del criterio NAT in uscita.

Il seguente manifest descrive un criterio NAT in uscita predefinito:

    Name:         default
    Namespace:
    Labels:       <none>
    Annotations:  <none>
    API Version:  networking.gke.io/v1
    Kind:         EgressNATPolicy
    Metadata:
      Creation Timestamp:  2022-03-16T21:05:45Z
      Generation:          2
      Managed Fields:
        API Version:  networking.gke.io/v1
        Fields Type:  FieldsV1
        fieldsV1:
          f:spec:
            .:
            f:action:
          f:status:
        Manager:      egress-nat-controller
        Operation:    Update
        Time:         2022-03-16T21:05:45Z
        API Version:  networking.gke.io/v1
        Fields Type:  FieldsV1
        fieldsV1:
          f:spec:
            f:destinations:
        Manager:         kubectl
        Operation:       Update
        Time:            2022-03-17T01:58:13Z
      Resource Version:  189346
      UID:               06acbb5a-23ba-4c2a-bb34-9b6ed8c4a87f
    Spec:
      Action:  NoSNAT
      Destinations:
        Cidr:  10.0.0.0/8
        Cidr:  172.16.0.0/12
        Cidr:  192.168.0.0/16
        Cidr:  240.0.0.0/4
        Cidr:  192.0.2.0/24
        Cidr:  198.51.100.0/24
        Cidr:  203.0.113.0/24
        Cidr:  100.64.0.0/10
        Cidr:  198.18.0.0/15
        Cidr:  192.0.0.0/24
        Cidr:  192.88.99.0/24
    Status:
    Events:  <none>

Gli intervalli CIDR sono gli stessi degli intervalli di destinazione non con mascheramento predefiniti.

Criterio Gestito da GKE

Il criterio NAT in uscita di GKE riserva un intervallo statico di indirizzi IP necessari per mantenere invariata l'operazione del cluster. Questo intervallo statico contiene gli intervalli di indirizzi IP di pod, servizi e nodi del cluster e potrebbe sovrapporsi al criterio predefinito.

Puoi identificare questo criterio tramite un hash dinamico di 8 byte (gke-{CLUSTER_SHORT_HASH}) assegnato da GKE. Non puoi modificare questo criterio.

Il seguente manifest descrive un criterio gestito da GKE denominato gke-bbfa6c0e-1:

    Name:         gke-bbfa6c0e-1
    Namespace:
    Labels:       <none>
    Annotations:  <none>
    API Version:  networking.gke.io/v1
    Kind:         EgressNATPolicy
    Metadata:
      Creation Timestamp:  2022-03-16T21:05:46Z
      Generation:          1
      Managed Fields:
        API Version:  networking.gke.io/v1
        Fields Type:  FieldsV1
        fieldsV1:
          f:spec:
            .:
            f:action:
            f:destinations:
          f:status:
        Manager:         egress-nat-controller
        Operation:       Update
        Time:            2022-03-16T21:05:46Z
      Resource Version:  11699
      UID:               0201b5de-a6f6-4926-822b-31ed7cdee2c6
    Spec:
      Action:  NoSNAT
      Destinations:
        Cidr:  10.119.128.0/17
        Cidr:  10.120.0.0/22
        Cidr:  10.128.0.0/20
    Status:
    Events:  <none>

Passaggi successivi