Requisiti di rete

Questo documento descrive i requisiti di networking per l'installazione e il funzionamento di GKE su Bare Metal.

Requisiti di rete esterna

GKE su Bare Metal richiede una connessione a internet per scopi operativi. GKE su Bare Metal recupera i componenti del cluster da Container Registry e il cluster è registrato con Connect.

Puoi connetterti a Google utilizzando la rete internet pubblica tramite HTTPS, una rete privata virtuale (VPN) o una connessione Dedicated Interconnect.

Se le macchine che utilizzi per la workstation di amministrazione e i nodi del cluster utilizzano un server proxy per accedere a internet, il server proxy deve consentire alcune connessioni specifiche. Per maggiori dettagli, consulta la sezione dei prerequisiti in Installazione tramite proxy.

Requisiti di rete interni

GKE su Bare Metal può funzionare con la connettività di livello 2 o livello 3 tra i nodi del cluster. I nodi del bilanciatore del carico possono essere i nodi del piano di controllo o un insieme dedicato di nodi. Per maggiori informazioni, consulta Scelta e configurazione dei bilanciatori del carico.

Quando utilizzi il bilanciamento del carico di livello 2 in bundle con MetalLB (spec.loadBalancer.mode: bundled e spec.loadBalancer.type: layer2), i nodi del bilanciatore del carico richiedono l'adjacency di livello 2. Il requisito di adjacency di livello 2 si applica a prescindere dall'esecuzione del bilanciatore del carico sui nodi del piano di controllo o in un set dedicato di nodi di bilanciamento del carico. Il bilanciamento del carico in bundle con BGP supporta il protocollo di livello 3, quindi non è richiesta un'adjacency rigorosa di livello 2.

I requisiti per le macchine del bilanciatore del carico sono i seguenti:

  • Per il bilanciamento del carico di livello 2 in bundle, tutti i bilanciatori del carico per un determinato cluster si trovano nello stesso dominio di livello 2. Anche i nodi del piano di controllo devono trovarsi nello stesso dominio di Livello 2.
  • Per il bilanciamento del carico di livello 2 in bundle, tutti gli indirizzi IP virtuali (VIP) devono trovarsi nella subnet della macchina del bilanciatore del carico ed essere instradabili al gateway della subnet.
  • È responsabilità degli utenti consentire il traffico del bilanciatore del carico in entrata.

Networking di pod

GKE su Bare Metal 1.7.0 e versioni successive consente di configurare fino a 250 pod per nodo. Kubernetes assegna un blocco CIDR (Classless Inter-Domain Routing) a ciascun nodo in modo che ogni pod possa avere un indirizzo IP univoco. La dimensione del blocco CIDR corrisponde al numero massimo di pod per nodo. La seguente tabella elenca le dimensioni del blocco CIDR che Kubernetes assegna a ciascun nodo in base al numero massimo di pod configurati per nodo:

Numero massimo di pod per nodo Blocco CIDR per nodo Numero di indirizzi IP
32 /26 64
33-64 /25 128
65-128 /24 256
129 - 250 /23 512

L'esecuzione di 250 pod per nodo richiede che Kubernetes prenoti un blocco CIDR /23 per ciascun nodo. Supponendo che il cluster utilizzi il valore predefinito di /16 per il campo clusterNetwork.pods.cidrBlocks, il cluster ha un limite di (2(23-16))=128 nodi. Se intendi far crescere il cluster oltre questo limite, puoi aumentare il valore di clusterNetwork.pods.cidrBlocks o diminuire il valore di nodeConfig.podDensity.maxPodsPerNode. Questo metodo presentava alcuni svantaggi.

Deployment di cluster utente singolo con disponibilità elevata

Il seguente diagramma illustra una serie di concetti chiave di networking per GDCV per Bare Metal in una possibile configurazione di rete.

Configurazione di rete tipica di GKE su Bare Metal

Per soddisfare i requisiti di rete, considera le seguenti informazioni:

  • I nodi del piano di controllo eseguono i bilanciatori del carico e hanno tutti la connettività di livello 2, mentre altre connessioni, inclusi i nodi worker, richiedono solo la connettività di livello 3.
  • I file di configurazione definiscono gli indirizzi IP per i pool di nodi worker. I file di configurazione definiscono inoltre i VIP per gli scopi seguenti:
    • Servizi
    • In entrata
    • Accesso al piano di controllo tramite l'API Kubernetes
  • È necessaria una connessione a Google Cloud.

Utilizzo porta

Questa sezione mostra in che modo le porte UDP e TCP vengono utilizzate sui nodi del cluster e del bilanciatore del carico.

Nodi del piano di controllo

ProtocolloDirezioneIntervallo porteFinalitàUtilizzata da
UDPIn entrata6081Incapsulamento GENEVEIndipendente
TCPIn entrata22Provisioning e aggiornamenti dei nodi dei cluster di amministrazioneWorkstation di amministrazione
TCPIn entrata6444Server API KubernetesTutti
TCPIn entrata2379 - 2381API client server etcdkube-apiserver e etcd
TCPIn entrata2382 - 2384API client server etcd-eventskube-apiserver e etcd-events
TCPIn entrata10250kubelet APIAuto e piano di controllo
TCPIn entrata10251kube-schedulerIndipendente
TCPIn entrata10252kube-controller-managerIndipendente
TCPIn entrata10256Controllo di integrità del nodoTutti
TCPEntrambe4240Controllo di integrità CNITutti

Nodi worker

ProtocolloDirezioneIntervallo porteFinalitàUtilizzata da
TCPIn entrata22Provisioning e aggiornamenti dei nodi dei cluster utenteNodi del cluster di amministrazione
UDPIn entrata6081Incapsulamento GENEVEIndipendente
TCPIn entrata10250kubelet APIAuto e piano di controllo
TCPIn entrata10256Controllo di integrità del nodoTutti
TCPIn entrata30.000 - 32.767Servizi NodePortIndipendente
TCPEntrambe4240Controllo di integrità CNITutti

Nodi del bilanciatore del carico

ProtocolloDirezioneIntervallo porteFinalitàUtilizzata da
TCPIn entrata22Provisioning e aggiornamenti dei nodi dei cluster utenteNodi del cluster di amministrazione
UDPIn entrata6081Incapsulamento GENEVEIndipendente
TCPIn entrata443*Gestione dei clusterTutti
TCPEntrambe4240Controllo di integrità CNITutti
TCPIn entrata7946Controllo di integrità di Metal LBnodi del bilanciatore del carico
UDPIn entrata7946Controllo di integrità di Metal LBnodi del bilanciatore del carico
TCPIn entrata10256Controllo di integrità del nodoTutti

* Questa porta può essere configurata nella configurazione del cluster utilizzando il campo controlPlaneLBPort.

Requisiti delle porte multi-cluster

In una configurazione multi-cluster, i cluster aggiunti devono includere le seguenti porte per comunicare con il cluster di amministrazione.

ProtocolloDirezioneIntervallo porteFinalitàUtilizzata da
TCPIn entrata22Provisioning e aggiornamenti dei nodi clusterTutti i nodi
TCPIn entrata443*Server API Kubernetes per il cluster aggiuntoNodi del piano di controllo e del bilanciatore del carico

* Questa porta può essere configurata nella configurazione del cluster utilizzando il campo controlPlaneLBPort.

Configura porte con firewall

Non è necessario disabilitare il firewall per eseguire GKE su Bare Metal su Red Hat Enterprise Linux (RHEL) o CentOS. Per utilizzare firewalld, devi aprire le porte UDP e TCP utilizzate dai nodi del piano di controllo, del worker e del bilanciatore del carico, come descritto nella sezione Utilizzo delle porte in questa pagina. Le configurazioni di esempio seguenti mostrano come aprire le porte con firewall-cmd, l'utilità a riga di comando firewalld. Devi eseguire i comandi come utente root.

Configurazione di esempio del nodo del piano di controllo

Il seguente blocco di comandi mostra un esempio di come aprire le porte necessarie sui server che eseguono i nodi del piano di controllo:

firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-port=4240/tcp
firewall-cmd --permanent --zone=public --add-port=6444/tcp
firewall-cmd --permanent --zone=public --add-port=6081/udp
firewall-cmd --permanent --zone=public --add-port=10250-10252/tcp
firewall-cmd --permanent --zone=public --add-port=10256/tcp
firewall-cmd --permanent --zone=public --add-port=2379-2380/tcp
firewall-cmd --permanent --zone=public --add-port=443/tcp
firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
firewall-cmd --permanent --new-zone=k8s-pods
firewall-cmd --permanent --zone=k8s-pods --add-source PODS_CIDR
firewall-cmd --permanent --zone=k8s-pods --set-target=ACCEPT
firewall-cmd --reload

Sostituisci PODS_CIDR con i blocchi CIDR riservati ai pod configurati nel campo clusterNetwork.pods.cidrBlocks. Il blocco CIDR predefinito per i pod è 192.168.0.0/16.

Configurazione di esempio di nodo worker

Il seguente blocco di comandi mostra un esempio di come aprire le porte necessarie sui server che eseguono i nodi worker:

firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-port=4240/tcp
firewall-cmd --permanent --zone=public --add-port=6444/tcp
firewall-cmd --permanent --zone=public --add-port=6081/udp
firewall-cmd --permanent --zone=public --add-port=10250/tcp
firewall-cmd --permanent --zone=public --add-port=10256/tcp
firewall-cmd --permanent --zone=public --add-port=443/tcp
firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
firewall-cmd --permanent --new-zone=k8s-pods
firewall-cmd --permanent --zone=k8s-pods --add-source PODS_CIDR
firewall-cmd --permanent --zone=k8s-pods --set-target=ACCEPT
firewall-cmd --reload

Sostituisci PODS_CIDR con i blocchi CIDR riservati ai pod configurati nel campo clusterNetwork.pods.cidrBlocks. Il blocco CIDR predefinito per i pod è 192.168.0.0/16.

Configurazione di esempio di nodo del bilanciatore del carico

Il seguente blocco di comandi mostra un esempio di come aprire le porte necessarie sui server che eseguono i nodi del bilanciatore del carico:

firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-port=4240/tcp
firewall-cmd --permanent --zone=public --add-port=6444/tcp
firewall-cmd --permanent --zone=public --add-port=7946/tcp
firewall-cmd --permanent --zone=public --add-port=7946/udp
firewall-cmd --permanent --zone=public --add-port=6081/udp
firewall-cmd --permanent --zone=public --add-port=10250/tcp
firewall-cmd --permanent --zone=public --add-port=10256/tcp
firewall-cmd --permanent --zone=public --add-port=443/tcp
firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
firewall-cmd --permanent --new-zone=k8s-pods
firewall-cmd --permanent --zone=k8s-pods --add-source PODS_CIDR
firewall-cmd --permanent --zone=k8s-pods --set-target=ACCEPT
firewall-cmd --reload

Sostituisci PODS_CIDR con i blocchi CIDR riservati ai pod configurati nel campo clusterNetwork.pods.cidrBlocks. Il blocco CIDR predefinito per i pod è 192.168.0.0/16.

Conferma la configurazione della porta

Per verificare la configurazione della porta, utilizza questi passaggi sui nodi del piano di controllo, dei worker e del bilanciatore del carico:

  1. Esegui il comando Network Mapper riportato di seguito per verificare quali porte sono aperte:

    nmap localhost
    
  2. Esegui questi comandi per recuperare le impostazioni di configurazione firewalld:

    firewall-cmd --zone=public --list-all-policies
    firewall-cmd --zone=public --list-ports
    firewall-cmd --zone=public --list-services
    firewall-cmd --zone=k8s-pods --list-all-policies
    firewall-cmd --zone=k8s-pods --list-ports
    firewall-cmd --zone=k8s-pods --list-services
    
  3. Se necessario, esegui nuovamente i comandi delle sezioni precedenti per configurare correttamente i nodi. Potresti dover eseguire i comandi come utente root.

Problema noto relativo a firewall

Durante l'esecuzione di GKE su Bare Metal con firewalld abilitato su CentOS o Red Hat Enterprise Linux (RHEL), le modifiche a firewalld possono rimuovere le catene iptables Cilium sulla rete host. Le catene iptables vengono aggiunte dal pod anetd all'avvio. La perdita delle catene Cilium iptables causa la perdita della connettività di rete al di fuori del nodo nel pod.

Le modifiche a firewalld che rimuovono le catene iptables includono, a titolo esemplificativo:

  • Riavvio di firewalld utilizzando systemctl

  • Ricaricamento di firewalld con il client a riga di comando (firewall-cmd --reload)

Per applicare modifiche firewalld senza rimuovere iptables catene, riavvia anetd sul nodo:

  1. Individua ed elimina il pod anetd con i seguenti comandi per riavviare anetd:

    kubectl get pods -n kube-system kubectl delete pods -n kube-system ANETD_XYZ
    

    Sostituisci ANETD_XYZ con il nome del pod anetd.