Questo documento descrive come configurare e utilizzare bilanciatori del carico in bundle con Border
Gateway Protocol (BGP) per Google Distributed Cloud. Questa modalità di bilanciamento del carico
supporta la pubblicità di ServiceType
indirizzi IP virtuali (VIP) LoadBalancer
tramite il Border Gateway Protocol (eBGP) esterno per i tuoi cluster. In questo scenario, la rete del cluster è un sistema autonomo che si interconnette con un altro sistema autonomo, una rete esterna, tramite peering.
I bilanciatori del carico in bundle con funzionalità BGP si applicano a tutti i tipi di cluster, ma i cluster di amministrazione supportano solo la parte del bilanciamento del carico del piano di controllo di questa funzionalità.
L'utilizzo dei bilanciatori del carico in bundle con la funzionalità BGP offre i seguenti vantaggi:
- Si avvale della funzionalità di bilanciamento del carico attivo/attivo N-way, offrendo un failover più rapido e un uso più efficiente della larghezza di banda disponibile.
- Supporta il protocollo di livello 3 che funziona con router e switch top-of-rack (ToR) di terze parti compatibili con eBGP.
- Abilita i data center che eseguono uno stack di networking software-defined (SDN) avanzato per eseguire il push del confine di livello 3 fino ai cluster.
Come funziona il bilanciamento del carico in bundle con BGP
Le sezioni seguenti forniscono un breve riepilogo di come funzionano i bilanciatori del carico in bundle con BGP.
Peering BGP
La funzionalità dei bilanciatori del carico in bundle con BGP avvia diverse connessioni BGP alla tua infrastruttura. BGP ha i seguenti requisiti tecnici:
- Le sessioni di peering sono separate per il VIP del piano di controllo e per i VIP di servizio.
- Le sessioni di peering del piano di controllo vengono avviate dagli indirizzi IP dei nodi del piano di controllo.
- Le sessioni di peering di servizi vengono avviate da indirizzi IP mobili che hai specificato nella risorsa personalizzata
NetworkGatewayGroup
. - Il gateway di rete per il controller GDC gestisce gli indirizzi IP mobili.
- Il bilanciamento del carico basato su BGP in bundle supporta solo il peering eBGP.
- Il peering multi-hop è supportato per impostazione predefinita.
- Le password MD5 nelle sessioni BGP non sono supportate.
- Le sessioni di peering basate su IPv6 non sono supportate.
- Le route annunciate a qualsiasi peer devono essere ridistribuite nella rete e raggiungibili da qualsiasi altra parte del cluster.
- Si consiglia di utilizzare la funzionalità
ADD-PATH
di BGP in modalità di ricezione per le sessioni di peering. - La pubblicità di più percorsi per ogni peer comporta il bilanciamento del carico attivo/attivo.
- Il routing ECMP (Equal-cost multipath) deve essere abilitato per la tua rete in modo che sia possibile utilizzare più percorsi per distribuire il traffico tra un insieme di nodi del bilanciatore del carico.
Bilanciamento del carico del piano di controllo
Ogni nodo del piano di controllo nel cluster stabilisce sessioni BGP con uno o più peer nella tua infrastruttura. Ogni nodo del piano di controllo deve avere almeno un peer. Nel file di configurazione del cluster puoi configurare quali nodi del piano di controllo si connettono a quali peer esterni.
Il seguente diagramma mostra un esempio di peering del piano di controllo. Il cluster ha due nodi del piano di controllo in una subnet e uno in un'altra. In ogni subnet è presente un peer esterno (TOR) e i nodi del piano di controllo Google Distributed Cloud sono in peering con il relativo TOR.
Bilanciamento del carico del servizio
Oltre alle sessioni di peering avviate da ciascun nodo del piano di controllo per il peering del piano di controllo, vengono avviate sessioni di peering aggiuntive per i servizi LoadBalancer
. Queste sessioni di peering non vengono avviate direttamente dagli indirizzi IP dei nodi cluster, ma utilizzano indirizzi IP mobili.
Sono supportati i servizi con un criterio di rete externalTrafficPolicy=Local
.
Tuttavia, l'impostazione externalTrafficPolicy=Local
dipende dal carico di lavoro e
causa l'aggiornamento delle route ogni volta che un pod che supporta il servizio viene aggiunto o rimosso
completamente da un nodo. Questo comportamento di aggiornamento della route può portare il routing ECMP (Equal Cost Multi-Path) a modificare i flussi di traffico, determinando una diminuzione del traffico.
Indirizzi IP mobili
Il bilanciamento del carico del servizio richiede la prenotazione di indirizzi IP mobili nelle subnet dei nodi cluster da utilizzare per il peering BGP. Per il cluster è richiesto almeno un indirizzo IP mobile, ma ti consigliamo di prenotare almeno due indirizzi per garantire una disponibilità elevata per le sessioni BGP. Gli indirizzi IP mobili sono specificati nella risorsa personalizzata (RP) NetworkGatewayGroup
, che può essere inclusa nel file di configurazione del cluster.
Gli indirizzi IP mobili rimuovono il problema di mappare gli indirizzi IP degli speaker BGP ai nodi. Il gateway di rete per il controller GDC si occupa di assegnare NetworkGatewayGroup
ai nodi e gestisce anche gli indirizzi IP mobili.
Se un nodo smette di funzionare, il gateway di rete per il controller GDC riassegna gli indirizzi IP mobili per garantire che i peer esterni abbiano un indirizzo IP deterministico con cui eseguire il peering.
App peer esterne
Per il bilanciamento del carico del piano dati, puoi utilizzare gli stessi peer esterni specificati per il peering del piano di controllo nella sezione loadBalancer.controlPlaneBGP
del file di configurazione del cluster. In alternativa, puoi specificare
diversi peer BGP.
Se vuoi specificare peer BGP diversi per il peering del piano dati, aggiungi le specifiche delle risorse BGPLoadBalancer
e BGPPeer
al file di configurazione del cluster. Se non specifichi queste risorse personalizzate, i peer
del piano di controllo vengono usati automaticamente per il piano dati.
Devi specificare i peer esterni utilizzati per le sessioni di peering con gli indirizzi IP mobili
nella risorsa personalizzata BGPPeer
, che aggiungi al file di configurazione
del cluster. La risorsa BGPPeer
include un'etichetta per l'identificazione
da parte della risorsa personalizzata BGPLoadBalancer
corrispondente. Devi specificare l'etichetta corrispondente nel campo peerSelector
della risorsa personalizzata BGPLoadBalancer
per selezionare l'BGPPeer
da utilizzare.
Il gateway di rete per il controller GDC tenta di stabilire sessioni (il numero di sessioni è configurabile) per ciascun peer esterno dall'insieme di indirizzi IP mobili prenotati. Ti consigliamo di specificare almeno due peer
esterni per garantire l'alta disponibilità per le sessioni BGP. Ogni peer esterno
designato per il bilanciamento del carico dei servizi deve essere configurato per il peering con ogni
indirizzo IP mobile specificato nella risorsa personalizzata NetworkGatewayGroup
.
Nodi del bilanciatore del carico
Per il bilanciamento del carico viene utilizzato un sottoinsieme di nodi del cluster, ovvero i nodi pubblicizzati per essere in grado di accettare il traffico di bilanciamento del carico in entrata.
Per impostazione predefinita, questo insieme di nodi è il pool di nodi del piano di controllo, ma puoi specificare un pool di nodi diverso nella sezione loadBalancer
del file di configurazione del cluster. Se specifichi un pool di nodi, questo viene utilizzato per i nodi del bilanciatore del carico, anziché per il pool di nodi del piano di controllo.
Gli indirizzi IP mobili, che funzionano come altoparlanti BGP, possono essere eseguiti o meno sui nodi del bilanciatore del carico. Gli indirizzi IP mobili vengono assegnati a un nodo nella stessa subnet e il peering viene avviato da lì, a prescindere dal fatto che si tratti di un nodo del bilanciatore del carico. Tuttavia, gli hop successivi pubblicizzati su BGP sono sempre i nodi del bilanciatore del carico.
Esempio di topologia di peering
Il seguente diagramma mostra un esempio di bilanciamento del carico del servizio con il peering BGP. Esistono due indirizzi IP mobili assegnati ai nodi nelle rispettive subnet. Sono stati definiti due peer esterni. Ogni IP mobile esegue il peering di entrambi i peer esterni.
Configura il bilanciatore del carico BGP
Le sezioni seguenti descrivono come configurare i cluster e la rete esterna per utilizzare il bilanciatore del carico in bundle con BGP.
Pianifica l'integrazione con un'infrastruttura esterna
Per utilizzare il bilanciatore del carico in bundle con BGP, devi configurare l'infrastruttura esterna:
Per configurare la comunicazione del piano di controllo, l'infrastruttura esterna deve essere configurata per il peering con ciascuno dei nodi del piano di controllo nel cluster. Queste sessioni di peering vengono utilizzate per pubblicizzare i VIP del piano di controllo Kubernetes.
L'infrastruttura esterna deve essere configurata per il peering con un insieme di indirizzi IP mobili riservati per le comunicazioni del piano dati. Gli indirizzi IP mobili vengono utilizzati per il peering BGP per i VIP del servizio. Ti consigliamo di utilizzare due indirizzi IP mobili e due peer per garantire l'alta disponibilità per le sessioni BGP. Il processo di prenotazione dell'IP mobile viene descritto come parte della configurazione del cluster per il bilanciamento del carico in bundle con il BGP.
Dopo aver configurato l'infrastruttura, aggiungi le informazioni sul peering BGP al file di configurazione del cluster. Il cluster che crei può avviare sessioni di peering con l'infrastruttura esterna.
Configura il cluster per il bilanciamento del carico in bundle con BGP
Quando crei un cluster, puoi abilitare e configurare il bilanciamento del carico in bundle con BGP nel file di configurazione del cluster. Nel file di configurazione del cluster, abiliti il networking avanzato e aggiorni la sezione loadBalancer
. Aggiungi anche le specifiche per le seguenti tre risorse personalizzate:
NetworkGatewayGroup
: specifica gli indirizzi IP mobili utilizzati per le sessioni di peering BGP dei servizi.BGPLoadBalancer
: specifica con i selettori di etichette quali peer vengono utilizzati per il bilanciamento del carico di BGP.BGPPeer
: specifica i singoli peer, inclusa un'etichetta per scopi di selezione, per le sessioni di peering BGP.
Le seguenti istruzioni descrivono come configurare il cluster e le tre risorse personalizzate per configurare il bilanciamento del carico in bundle con BGP.
Aggiungi il campo
advancedNetworking
al file di configurazione del cluster nella sezioneclusterNetwork
e impostalo sutrue
.Questo campo abilita funzionalità di networking avanzate, in particolare la risorsa Gruppo gateway di rete.
apiVersion: baremetal.cluster.gke.io/v1 kind: Cluster metadata: name: bm namespace: CLUSTER_NAMESPACE spec: ... clusterNetwork: advancedNetworking: true
Sostituisci
CLUSTER_NAMESPACE
con lo spazio dei nomi per il cluster. Per impostazione predefinita, gli spazi dei nomi del cluster per Google Distributed Cloud sono il nome del cluster preceduto dacluster-
. Ad esempio, se assegni al cluster il nometest
, lo spazio dei nomi ècluster-test
.Nella sezione
loadBalancer
del file di configurazione del cluster, impostamode
subundled
e aggiungi un campotype
con il valorebgp
.Questi valori dei campi abilitano il bilanciamento del carico in bundle basato su BGP.
... loadBalancer: mode: bundled # type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2. type: bgp ...
Per specificare le informazioni di peering BGP per il piano di controllo, aggiungi i seguenti campi alla sezione
loadBalancer
:... # AS number for the cluster localASN: CLUSTER_ASN # List of BGP peers used for the control plane peering sessions. bgpPeers: - ip: PEER_IP asn: PEER_ASN # optional; if not specified, all CP nodes connect to all peers. controlPlaneNodes: # optional - CP_NODE_IP ...
Sostituisci quanto segue:
CLUSTER_ASN
: il numero di sistema autonomo per il cluster in fase di creazione.PEER_IP
: l'indirizzo IP del dispositivo peer esterno.PEER_ASN
: il numero di sistema autonomo per la rete che contiene il dispositivo peer esterno.CP_NODE_IP
: (facoltativo) l'indirizzo IP del nodo del piano di controllo che si connette al peer esterno. Se non specifichi nessun nodo del piano di controllo, tutti i nodi del piano di controllo possono connettersi al peer esterno. Se specifichi uno o più indirizzi IP, solo i nodi specificati partecipano alle sessioni di peering.
Puoi specificare più peer esterni.
bgpPeers
crea un elenco di mappature. Ti consigliamo di specificare almeno due peer esterni per l'alta disponibilità per le sessioni BGP. Per un esempio con più peer, consulta Configurazioni di esempio.Imposta i campi
loadBalancer.ports
,loadBalancer.vips
eloadBalancer.addressPools
(valori predefiniti mostrati).... loadBalancer: ... # Other existing load balancer options remain the same ports: controlPlaneLBPort: 443 # When type=bgp, the VIPs are advertised over BGP vips: controlPlaneVIP: 10.0.0.8 ingressVIP: 10.0.0.1 addressPools: - name: pool1 addresses: - 10.0.0.1-10.0.0.4 ...
Specifica il nodo del cluster da utilizzare per il bilanciamento del carico del piano dati.
Questo passaggio è facoltativo. Se non rimuovi il commento dalla sezione
nodePoolSpec
, i nodi del piano di controllo vengono utilizzati per il bilanciamento del carico del piano dati.... # Node pool used for load balancing data plane (nodes where incoming traffic # arrives. If not specified, this defaults to the control plane node pool. # nodePoolSpec: # nodes: # - address: <Machine 1 IP> ...
Prenota indirizzi IP mobili configurando la risorsa personalizzata
NetworkGatewayGroup
:Gli indirizzi IP mobili vengono utilizzati nelle sessioni di peering per il bilanciamento del carico del piano dati.
... --- apiVersion: networking.gke.io/v1 kind: NetworkGatewayGroup metadata: name: default namespace: CLUSTER_NAMESPACE spec: floatingIPs: - FLOATING_IP nodeSelector: # optional - NODE_SELECTOR ...
Sostituisci quanto segue:
CLUSTER_NAMESPACE
: lo spazio dei nomi per il cluster. Per impostazione predefinita, gli spazi dei nomi del cluster per Google Distributed Cloud sono il nome del cluster preceduto dacluster-
. Ad esempio, se assegni al cluster il nometest
, lo spazio dei nomi ècluster-test
.FLOATING_IP
: un indirizzo IP di una delle subnet del cluster. Devi specificare almeno un indirizzo IP, ma ti consigliamo di specificarne almeno due.NODE_SELECTOR
: (facoltativo) un selettore di etichette per identificare i nodi per creare un'istanza delle sessioni di peering con peer esterni, ad esempio gli switch top-of-rack (ToR). Se non è necessario, rimuovi questo campo.
Assicurati che la risorsa personalizzata
NetworkGatewayGroup
sia denominatadefault
e utilizzi lo spazio dei nomi del cluster. Per un esempio di come potrebbe apparire la specifica delle risorse personalizzateNetworkGatewayGroup
, consulta Configurazioni di esempio.(Facoltativo) Specifica i peer da utilizzare per il bilanciamento del carico del piano dati configurando la risorsa personalizzata
BGPLoadBalancer
:... --- apiVersion: networking.gke.io/v1 kind: BGPLoadBalancer metadata: name: default namespace: CLUSTER_NAMESPACE spec: peerSelector: PEER_LABEL: "true" ...
Sostituisci quanto segue:
CLUSTER_NAMESPACE
: lo spazio dei nomi del cluster. Per impostazione predefinita, gli spazi dei nomi del cluster per Google Distributed Cloud sono il nome del cluster preceduto dacluster-
. Ad esempio, se assegni al cluster il nometest
, lo spazio dei nomi ècluster-test
.PEER_LABEL
: l'etichetta utilizzata per identificare i peer da utilizzare per il bilanciamento del carico. Qualsiasi risorsa personalizzataBGPPeer
con un'etichetta corrispondente specifica i dettagli di ogni peer.
Assicurati che la risorsa personalizzata
BGPLoadBalancer
sia denominatadefault
e utilizzi lo spazio dei nomi del cluster. Se non specifichi una risorsa personalizzataBGPLoadBalancer
, i peer del piano di controllo vengono utilizzati automaticamente per il bilanciamento del carico del piano dati. Per esempi completi, consulta Configurazioni di esempio.(Facoltativo) Specifica i peer esterni per il piano dati configurando una o più risorse personalizzate di
BGPPeer
:... --- apiVersion: networking.gke.io/v1 kind: BGPPeer metadata: name: BGP_PEER_NAME namespace: CLUSTER_NAMESPACE labels: PEER_LABEL: "true" spec: localASN: CLUSTER_ASN peerASN: PEER_ASN peerIP: PEER_IP sessions: SESSION_QTY selectors: # Optional gatewayRefs: - GATEWAY_REF ...
Sostituisci quanto segue:
BGP_PEER_NAME
: il nome del peer.CLUSTER_NAMESPACE
: lo spazio dei nomi per il cluster. Per impostazione predefinita, gli spazi dei nomi del cluster per Google Distributed Cloud sono il nome del cluster preceduto dacluster-
. Ad esempio, se assegni al cluster il nometest
, lo spazio dei nomi ècluster-test
.PEER_LABEL
: l'etichetta utilizzata per identificare i peer da utilizzare per il bilanciamento del carico. Questa etichetta deve corrispondere all'etichetta specificata nella risorsa personalizzataBGPLoadBalancer
.CLUSTER_ASN
: il numero di sistema autonomo per il cluster in fase di creazione.PEER_IP
: l'indirizzo IP del dispositivo peer esterno. Ti consigliamo di specificare almeno due peer esterni, ma devi specificarne almeno uno.PEER_ASN
: il numero di sistema autonomo per la rete che contiene il dispositivo peer esterno.SESSION_QTY
: il numero di sessioni da stabilire per il peer. Ti consigliamo di definire almeno due sessioni per assicurarti di mantenere una connessione con il peer nel caso in cui uno dei tuoi nodi smetta di funzionare.GATEWAY_REF
: (facoltativo) il nome di una risorsa NetworkGatewayGroup da utilizzare per il peering. Se il criterio non viene configurato, possono essere utilizzate tutte le risorse del gateway. Utilizza questa impostazione in combinazione con il camponodeSelector
nella risorsa NetworkGatewayGroups per selezionare i nodi da utilizzare per il peering con un peer esterno specifico, ad esempio uno switch ToR. Questo può prendere più voci per selezionare più NetworkGatewayGroups, se vuoi, nel formato di un gateway per riga.
Puoi specificare più peer esterni creando
BGPPeer
risorse personalizzate aggiuntive. Ti consigliamo di specificare almeno due peer esterni (due risorse personalizzate) per l'alta disponibilità delle sessioni BGP. Se non specifichi una risorsa personalizzataBGPPeer
, i peer del piano di controllo vengono utilizzati automaticamente per il bilanciamento del carico del piano dati.Quando esegui
bmctl cluster create
per creare il cluster, vengono eseguiti controlli preflight. Tra gli altri controlli, i controlli preflight convalidano la configurazione del peering BGP per il piano di controllo e segnalano eventuali problemi direttamente alla workstation di amministrazione prima di poter creare il cluster.Se l'operazione riesce, le risorse di bilanciamento del carico BGP aggiunte (NetworkGatewayGroup, BGPLoadBalancer e BGPPeer) vanno nel cluster di amministrazione nello spazio dei nomi del cluster utente. Utilizza il file kubeconfig del cluster di amministrazione quando esegui aggiornamenti successivi di queste risorse. Il cluster di amministrazione esegue quindi la riconciliazione delle modifiche al cluster utente. Se modifichi queste risorse direttamente nel cluster utente, il cluster di amministrazione sovrascrive le modifiche nelle riconciliazioni successive.
Pubblicizza più hop successivi per sessione con BGP ADD-PATH
Ti consigliamo di utilizzare la funzionalità BGP ADD-PATH
per le sessioni di peering come
specificato in
RFC 7911.
Per impostazione predefinita, il protocollo BGP consente di pubblicizzare un solo hop successivo ai peer
per un singolo prefisso. BGP ADD-PATH
abilita la pubblicità
di più hop successivi per lo stesso prefisso. Quando ADD-PATH
viene utilizzato con il bilanciamento del carico in bundle basato su BGP, il cluster può pubblicizzare più nodi cluster come nodi frontend (hop successivi) per un servizio di bilanciamento del carico (prefisso). Abilitare ECMP nella rete in modo
che il traffico possa essere distribuito su più percorsi. La possibilità di eseguire il fan-out del traffico pubblicizzando più nodi del cluster come hop successivi, offre una migliore scalabilità della capacità del piano dati per il bilanciamento del carico.
Se il dispositivo peer esterno, ad esempio uno switch o un router top-of-rack (ToR), supporta BGP ADD-PATH
, è sufficiente attivare solo l'estensione di ricezione.
Il bilanciamento del carico in bundle con BGP funziona senza la funzionalità ADD-PATH
, ma la limitazione della pubblicità di un singolo nodo di bilanciamento del carico per sessione di peering limita la capacità del piano dati del bilanciatore del carico. Senza ADD-PATH
,
Google Distributed Cloud sceglie i nodi da pubblicizzare dal pool di nodi del bilanciatore del carico
e tenta di distribuire gli hop successivi per VIP diversi su nodi diversi.
Limita il peering BGP ai nodi del bilanciatore del carico
Google Distributed Cloud assegna automaticamente indirizzi IP mobili su qualsiasi nodo nella stessa subnet dell'indirizzo IP mobile. Le sessioni BGP vengono avviate da questi indirizzi IP anche se non arrivano ai nodi del bilanciatore del carico. Questo comportamento è dovuto alla progettazione, perché abbiamo disaccoppiato il piano di controllo (BGP) dal piano dati (pool di nodi LB).
Se vuoi limitare l'insieme di nodi che possono essere utilizzati per il peering BGP, puoi designare una subnet da utilizzare solo per i nodi del bilanciatore del carico. In altre parole, puoi configurare tutti i nodi in quella subnet in modo che si trovino nel pool di nodi del bilanciatore del carico. Poi, quando configuri gli indirizzi IP mobili utilizzati per il peering BGP, assicurati che provengano dalla stessa subnet. Google Distributed Cloud garantisce che le assegnazioni di indirizzi IP mobili e il peering BGP vengano eseguiti solo dai nodi del bilanciatore del carico.
Configura il bilanciamento del carico BGP con networking a doppio stack
A partire dalla release 1.14.0 di Google Distributed Cloud, il bilanciatore del carico in bundle basato su BGP supporta IPv6. Con l'introduzione del supporto IPv6, puoi configurare IPv6 e i servizi LoadBalancer a doppio stack su un cluster configurato per il networking a doppio stack. Questa sezione descrive le modifiche necessarie per configurare il bilanciamento del carico in bundle a doppio stack con BGP.
Per abilitare i servizi LoadBalancer a doppio stack, sono necessarie le seguenti modifiche alla configurazione:
Il cluster sottostante deve essere configurato per il networking a doppio stack:
Specifica i CIDR del servizio IPv4 e IPv6 nel file di configurazione del cluster in
spec.clusterNetwork.services.cidrBlocks
.Definisci le risorse ClusterCIDRConfig appropriate per specificare gli intervalli CIDR IPv4 e IPv6 per i pod.
Per ulteriori informazioni sulla configurazione di un cluster per il networking a doppio stack, consulta Networking a doppio stack IPv4/IPv6.
Specifica un pool di indirizzi IPv6 nel file di configurazione del cluster in
spec.loadBalancer.addressPools
. Affinché MetalLB possa allocare indirizzi IP a un servizio Dual Stack, deve essere presente almeno un pool di indirizzi con indirizzi in formato IPv4 e IPv6.
La configurazione di esempio seguente evidenzia le modifiche necessarie per il bilanciamento del carico in bundle a doppio stack con BGP:
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: bm
namespace: cluster-bm
spec:
...
clusterNetwork:
services:
cidrBlocks:
# Dual-stack Service IP addresses must be provided
- 10.96.0.0/16
- fd00::/112
...
loadBalancer:
mode: bundled
# type can be 'bgp' or 'layer2'. If no type is specified we default to layer2.
type: bgp
# AS number for the cluster
localASN: 65001
bgpPeers:
- ip: 10.8.0.10
asn: 65002
- ip: 10.8.0.11
asn: 65002
addressPools:
- name: pool1
addresses:
# Each address must be either in the CIDR form (1.2.3.0/24)
# or range form (1.2.3.1-1.2.3.5).
- "203.0.113.1-203.0.113.20"
- "2001:db8::1-2001:db8::20" # Note the additional IPv6 range
... # Other cluster config info omitted
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
name: default
namespace: cluster-bm
spec:
floatingIPs:
- 10.0.1.100
- 10.0.2.100
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig
metadata:
name: cluster-wide-1
namespace: cluster-bm
spec:
ipv4:
cidr: "192.168.0.0/16"
perNodeMaskSize: 24
ipv6:
cidr: "2001:db8:1::/112"
perNodeMaskSize: 120
Limitazioni per il bilanciamento del carico a doppio stack e in bundle con BGP
Quando configuri il cluster per l'utilizzo del bilanciamento del carico a doppio stack e in bundle con BGP, tieni presente le seguenti limitazioni:
Il bilanciamento del carico del piano di controllo IPv6 non è supportato.
Le sessioni BGP IPv6 non sono supportate, ma le route IPv6 possono essere annunciate su sessioni IPv4 utilizzando BGP multiprotocollo.
Configurazioni di esempio
Le sezioni seguenti mostrano come configurare il bilanciamento del carico basato su BGP per vari tipi di opzioni o comportamenti.
Configura tutti i nodi utilizzando gli stessi peer
Come mostrato nel diagramma seguente, questa configurazione genera un insieme di peer esterni (10.8.0.10
e 10.8.0.11
) raggiungibili da tutti i nodi.
I nodi del piano di controllo (10.0.1.10
, 10.0.1.11
e 10.0.2.10
) e gli indirizzi IP mobili (10.0.1.100
e 10.0.2.100
) assegnati ai nodi del piano dati raggiungono tutti i peer.
Gli stessi peer esterni sono raggiungibili entrambi da uno degli indirizzi IP mobili (10.0.1.100
o 10.0.2.100
) riservati per il peering di servizi loadBalancer
. Gli indirizzi IP mobili possono essere assegnati ai nodi
che si trovano nella stessa subnet.
Come mostrato nel seguente esempio di configurazione del cluster, configurerai i peer per i nodi del piano di controllo, bgpPeers
, senza specificare controlPlaneNodes
.
Se non vengono specificati nodi per i peer, tutti i nodi del piano di controllo si connettono a tutti i peer.
Devi specificare gli indirizzi IP mobili da utilizzare per le sessioni di peering con bilanciamento del carico dei servizi nella risorsa personalizzata NetworkGatewayGroup
. In questo esempio, poiché non è specificato alcun BGPLoadBalancer
, i peer del piano di controllo vengono utilizzati automaticamente per le sessioni BGP del piano dati.
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: bm
namespace: cluster-bm
spec:
...
loadBalancer:
mode: bundled
# type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
type: bgp
# AS number for the cluster
localASN: 65001
bgpPeers:
- ip: 10.8.0.10
asn: 65002
- ip: 10.8.0.11
asn: 65002
... (other cluster config omitted)
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
name: default
namespace: cluster-bm
spec:
floatingIPs:
- 10.0.1.100
- 10.0.2.100
Configura nodi specifici del piano di controllo per eseguire il peering con peer esterni specifici
Come mostrato nel seguente diagramma, questa configurazione genera il peering di due nodi del piano di controllo (10.0.1.10
e 10.0.1.11
) con un peer esterno (10.0.1.254
). Il terzo nodo del piano di controllo (10.0.2.10
) è il peering con un altro peer esterno (10.0.2.254
). Questa configurazione è utile quando non vuoi che tutti i nodi si connettano a tutti i peer. Ad esempio, potresti volere che i nodi
del piano di controllo eseguano il peering con i corrispondenti switch top-of-rack (ToR).
Gli stessi peer esterni sono raggiungibili da uno degli indirizzi IP mobili (10.0.1.100
o 10.0.2.100
) riservati alle sessioni di peering con bilanciamento del carico dei servizi. Gli indirizzi IP in virgola mobile possono essere
assegnati a nodi nella stessa subnet.
Come mostrato nell'esempio di configurazione del cluster riportato di seguito, puoi limitare i nodi del piano di controllo che possono connettersi a un determinato peer specificando i relativi indirizzi IP nel campo controlPlaneNodes
per il peer nella sezione bgpPeers
.
Devi specificare gli indirizzi IP mobili da utilizzare per le sessioni di peering con bilanciamento del carico dei servizi nella risorsa personalizzata NetworkGatewayGroup
. In questo esempio, poiché non è specificato alcun BGPLoadBalancer
, i peer del piano di controllo vengono utilizzati automaticamente per le sessioni BGP del piano dati.
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: bm
namespace: cluster-bm
spec:
...
loadBalancer:
mode: bundled
# type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
type: bgp
# AS number for the cluster
localASN: 65001
bgpPeers:
- ip: 10.0.1.254
asn: 65002
controlPlaneNodes:
- 10.0.1.10
- 10.0.1.11
- ip: 10.0.2.254
asn: 65002
controlPlaneNodes:
- 10.0.2.10
... (other cluster config omitted)
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
name: default
namespace: cluster-bm
spec:
floatingIPs:
- 10.0.1.100
- 10.0.2.100
Configura il piano di controllo e il piano dati separatamente
Come mostrato nel seguente diagramma, questa configurazione genera il peering di due nodi del piano di controllo (10.0.1.10
e 10.0.1.11
) con un peer esterno (10.0.1.254
) e il terzo nodo del piano di controllo (10.0.2.11
) in peering con un altro peer esterno (10.0.2.254
).
Un terzo peer esterno (10.0.3.254
) è raggiungibile da uno degli indirizzi IP mobili (10.0.3.100
o 10.0.3.101
) riservati alle sessioni di peering con bilanciamento del carico dei servizi. Gli indirizzi IP in virgola mobile possono essere
assegnati a nodi nella stessa subnet.
Come mostrato nell'esempio di configurazione del cluster riportato di seguito, puoi limitare i nodi del piano di controllo che possono connettersi a un determinato peer specificando i relativi indirizzi IP nel campo controlPlaneNodes
per il peer nella sezione bgpPeers
.
Devi specificare gli indirizzi IP mobili da utilizzare per le sessioni di peering con bilanciamento del carico dei servizi nella risorsa personalizzata NetworkGatewayGroup
.
Per configurare il bilanciamento del carico del piano dati:
Specifica il peer esterno per il piano dati nella risorsa
BGPPeer
e aggiungi un'etichetta da utilizzare per la selezione dei peer, ad esempiocluster.baremetal.gke.io/default-peer: "true"
.Specifica l'etichetta corrispondente per il campo
peerSelector
nella risorsaBGPLoadBalancer
.
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: bm
namespace: cluster-bm
spec:
...
loadBalancer:
mode: bundled
# type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
type: bgp
# AS number for the cluster
localASN: 65001
bgpPeers:
- ip: 10.0.1.254
asn: 65002
controlPlaneNodes:
- 10.0.1.10
- 10.0.1.11
- ip: 10.0.2.254
asn: 65002
controlPlaneNodes:
- 10.0.2.11
... (other cluster config omitted)
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
name: default
namespace: cluster-bm
spec:
floatingIPs:
- 10.0.3.100
- 10.0.3.101
---
apiVersion: networking.gke.io/v1
kind: BGPLoadBalancer
metadata:
name: default
namespace: cluster-bm
spec:
peerSelector:
cluster.baremetal.gke.io/default-peer: "true"
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
name: bgppeer1
namespace: cluster-bm
labels:
cluster.baremetal.gke.io/default-peer: "true"
spec:
localASN: 65001
peerASN: 65002
peerIP: 10.0.3.254
sessions: 2
Modifica la configurazione del bilanciamento del carico basato su BGP
Dopo aver creato il cluster configurato per utilizzare il bilanciamento del carico in bundle con BGP, alcune impostazioni di configurazione possono essere aggiornate, ma altre non possono essere aggiornate dopo la creazione del cluster.
Utilizza il file kubeconfig del cluster di amministrazione quando apporti aggiornamenti successivi alle risorse correlate a BGP (NetworkGatewayGroup, BGPLoadBalancer e BGPPeer). Il cluster di amministrazione esegue quindi la riconciliazione delle modifiche al cluster utente. Se modifichi queste risorse direttamente nel cluster utente, il cluster di amministrazione sovrascrive le tue modifiche nelle riconciliazioni successive.
Piano di controllo
Le informazioni sul peering BGP del piano di controllo possono essere aggiornate nella risorsa Cluster
.
Puoi aggiungere o rimuovere i peer specificati nella sezione relativa al bilanciamento del carico del piano di controllo.
Le sezioni seguenti descrivono le best practice per l'aggiornamento delle informazioni sul peering BGP del piano di controllo.
Controlla lo stato delle app peer prima di eseguire l'aggiornamento
Per ridurre al minimo il rischio di configurazione errata dei peer, verifica che le sessioni di peering BGP del piano di controllo siano nello stato previsto prima di apportare modifiche. Ad esempio,
se prevedi che tutte le sessioni di peering BGP siano attualmente attive, verifica che
tutti i pod bgp-advertiser
riportino ready
, indicando che le sessioni sono attive.
Se lo stato attuale non corrisponde a quello previsto, risolvi il problema prima di aggiornare una configurazione peer.
Per informazioni sul recupero dei dettagli della sessione BGP del piano di controllo, consulta Sessioni BGP del piano di controllo.
Aggiorna i peer in modo controllato
Se possibile, aggiorna un peer alla volta per isolare i possibili problemi:
- Aggiungi o aggiorna un singolo peer.
- Attendi la riconciliazione della configurazione.
- Verifica che il cluster sia in grado di connettersi al peer nuovo o aggiornato.
- Rimuovi i colleghi vecchi o non necessari.
Servizi
Per aggiornare i pool di indirizzi e le impostazioni dei nodi del bilanciatore del carico, modifica nodePoolSpec
nella
risorsa Cluster
.
Per modificare la configurazione del peering BGP dopo la creazione del cluster, modifica le risorse personalizzate NetworkGatewayGroup
e BGPLoadBalancer
. Eventuali modifiche alle informazioni di peering in queste risorse personalizzate si riflettono nella configurazione della soluzione di bilanciamento del carico nel cluster di destinazione.
Apporta aggiornamenti nelle risorse di origine solo nello spazio dei nomi del cluster nel cluster di amministrazione. Le modifiche apportate alle risorse nel cluster di destinazione (utente) vengono sovrascritte.
Risoluzione dei problemi
Le seguenti sezioni descrivono come accedere alle informazioni di risoluzione dei problemi per il bilanciamento del carico in bundle con BGP.
Sessioni BGP del piano di controllo
La configurazione del peering BGP del piano di controllo viene convalidata con controlli preflight durante la creazione del cluster. I controlli preflight tentano di:
- Stabilisci una connessione BGP con ogni peer.
- Pubblicizza il VIP del piano di controllo.
- Verifica che il nodo del piano di controllo possa essere raggiunto utilizzando il VIP.
Se la creazione del cluster non supera i controlli preflight, esamina i log di controllo preflight per rilevare eventuali errori. I file di log dei controlli preflight con indicazione della data si trovano nella directory baremetal/bmctl-workspace/CLUSTER_NAME/log
.
In fase di runtime, gli speaker BGP del piano di controllo vengono eseguiti come pod statici su ciascun nodo
del piano di controllo e scrivono le informazioni sugli eventi nei log. Questi pod statici includono
"bgpAdvertiser" nel nome, quindi utilizza il seguente comando kubectl get pods
per visualizzare lo stato dei pod degli speaker BGP:
kubectl -n kube-system get pods | grep bgpadvertiser
Quando i pod funzionano correttamente, la risposta sarà simile alla seguente:
bgpadvertiser-node-01 1/1 Running 1 167m
bgpadvertiser-node-02 1/1 Running 1 165m
bgpadvertiser-node-03 1/1 Running 1 163m
Utilizza il seguente comando per visualizzare i log per il pod bgpadvertiser-node-01
:
kubectl -n kube-system logs bgpadvertiser-node-01
Sessioni BGP dei servizi
La risorsa BGPSession
fornisce informazioni sulle sessioni BGP attuali. Per
ottenere informazioni sulla sessione, recupera prima le sessioni correnti, quindi recupera la
risorsa BGPSession
per una delle sessioni.
Utilizza il seguente comando kubectl get
per elencare le sessioni correnti:
kubectl -n kube-system get bgpsessions
Il comando restituisce un elenco di sessioni come nell'esempio seguente:
NAME LOCAL ASN PEER ASN LOCAL IP PEER IP STATE LAST REPORT
10.0.1.254-node-01 65500 65000 10.0.1.178 10.0.1.254 Established 2s
10.0.1.254-node-02 65500 65000 10.0.3.212 10.0.1.254 Established 2s
10.0.3.254-node-01 65500 65000 10.0.1.178 10.0.3.254 Established 2s
10.0.3.254-node-02 65500 65000 10.0.3.212 10.0.3.254 Established 2s
Usa il seguente comando kubectl describe
per recuperare la risorsa BGPSession
per la sessione BGP 10.0.1.254-node-01
:
kubectl -n kube-system describe bgpsession 10.0.1.254-node-01
La risorsa BGPSession
restituita dovrebbe avere un aspetto simile al seguente
esempio:
Name: 10.0.1.254-node-01
Namespace: kube-system
Labels: <none>
Annotations: <none>
API Version: networking.gke.io/v1
Kind: BGPSession
Metadata:
(omitted)
Spec:
Floating IP: 10.0.1.178
Local ASN: 65500
Local IP: 10.0.1.178
Node Name: node-01
Peer ASN: 65000
Peer IP: 10.0.1.254
Status:
Advertised Routes:
10.0.4.1/32
Last Report Time: 2021-06-14T22:09:36Z
State: Established
Usa il comando kubectl get
per recuperare le risorse BGPAdvertisedRoute
:
kubectl -n kube-system get bgpadvertisedroutes
La risposta, che dovrebbe avere un aspetto simile all'esempio seguente, mostra le route attualmente pubblicizzate:
NAME PREFIX METRIC
default-default-load-balancer-example 10.1.1.34/32
default-gke-system-istio-ingress 10.1.1.107/32
Utilizza kubectl describe
per visualizzare i dettagli sugli hop successivi su cui ogni percorso è pubblicitaria.
Recupero dell'accesso al VIP del piano di controllo per i cluster autogestiti
Per riottenere l'accesso al VIP del piano di controllo su un cluster di amministrazione, ibrido o autonomo, devi aggiornare la configurazione BGP nel cluster. Come mostrato nell'esempio di comando seguente, utilizza SSH per connetterti al nodo, quindi utilizza kubectl
per aprire la risorsa del cluster per la modifica.
ssh -i IDENTITY_FILE root@CLUSTER_NODE_IP
kubectl --kubeconfig /etc/kubernetes/admin.conf edit -n CLUSTER_NAMESPACE cluster CLUSTER_NAME
Sostituisci quanto segue:
IDENTITY_FILE
: il nome del file di identità SSH che contiene la chiave di identità per l'autenticazione con chiave pubblica.CLUSTER_NODE_IP
: l'indirizzo IP del nodo del cluster.CLUSTER_NAMESPACE
: lo spazio dei nomi del cluster.CLUSTER_NAME
: il nome del cluster.
Modifica la configurazione del peering BGP nell'oggetto del cluster. Dopo aver salvato la nuova configurazione del cluster, monitora l'integrità dei pod bgpadvertiser
. Se la configurazione funziona, i pod si riavviano e diventano integri una volta connessi ai peer.
Verifica BGP manuale
Questa sezione contiene le istruzioni per verificare manualmente la configurazione di BGP. La procedura imposta una connessione BGP a lunga esecuzione per permetterti di eseguire ulteriormente il debug della configurazione BGP con il tuo team di rete. Utilizza questa procedura per verificare la configurazione prima di creare un cluster o utilizzarlo se i controlli preflight relativi a BGP non vanno a buon fine.
I controlli preflight automatizzano le seguenti attività di verifica BGP:
- Configura una connessione BGP a un peer.
- Pubblicizza il VIP del piano di controllo.
- Verifica che il traffico inviato da tutti gli altri nodi del cluster al VIP raggiunga il nodo attuale del bilanciatore del carico.
Queste attività vengono eseguite per ciascun peer BGP su ciascun nodo del piano di controllo. Superare questi controlli è fondamentale quando si crea un cluster. I controlli preflight, tuttavia, non creano connessioni a lunga esecuzione, quindi è difficile eseguire il debug di un errore.
Le sezioni seguenti forniscono istruzioni per configurare una connessione BGP e pubblicizzare una route da una singola macchina cluster a un peer. Per testare più macchine e più peer, ripeti le istruzioni di nuovo, utilizzando una diversa combinazione di macchina e peer.
Ricorda che le connessioni BGP vengono stabilite dai nodi del piano di controllo, quindi assicurati di testare questa procedura da uno dei nodi del piano di controllo pianificato.
Ottenere il file binario del programma di test BGP
Esegui i passaggi descritti in questa sezione sulla workstation di amministrazione. Questi passaggi consentono di recuperare il programma bgpadvertiser
utilizzato per testare le connessioni BGP e copiarlo per i nodi del piano di controllo su cui vuoi eseguire il test.
Estrai l'immagine Docker ansible-runner.
Senza Mirror del registro
Se non utilizzi un mirror del registro, esegui questi comandi per eseguire il pull dell'immagine Docker ansible-runner:
gcloud auth login gcloud auth configure-docker docker pull gcr.io/anthos-baremetal-release/ansible-runner:1.10.0-gke.13
Con mirroring del registro
Se utilizzi un mirror del registro, esegui questi comandi per eseguire il pull dell'immagine docker anible-runner:
docker login REGISTRY_HOST docker pull REGISTRY_HOST/anthos-baremetal-release/ansible-runner:1.10.0-gke.13
Sostituisci REGISTRY_HOST con il nome del tuo server mirror del registry.
Per estrarre il programma binario
bgpadvertiser
.Senza Mirror del registro
Per estrarre il programma binario
bgpadvertiser
, esegui questo comando:docker cp $(docker create gcr.io/anthos-baremetal-release/ansible-runner:1.10.0-gke.13):/bgpadvertiser .
Con mirroring del registro
Per estrarre il programma binario
bgpadvertiser
, esegui questo comando:docker cp $(docker create REGISTRY_HOST/anthos-baremetal-release/ansible-runner:1.10.0-gke.13):/bgpadvertiser .
Per copiare il programma binario
bgpadvertiser
sul nodo del piano di controllo su cui vuoi eseguire il test, esegui questo comando:scp bgpadvertiser USERNAME>@CP_NODE_IP:/tmp/
Sostituisci quanto segue:
USERNAME
: il nome utente che utilizzi per accedere al nodo del piano di controllo.CP_NODE_IP
: l'indirizzo IP del nodo del piano di controllo.
Configura una connessione BGP
Esegui i passaggi descritti in questa sezione su un nodo del piano di controllo.
Crea un file di configurazione sul nodo in
/tmp/bgpadvertiser.conf
simile al seguente:localIP: NODE_IP localASN: CLUSTER_ASN peers: - peerIP: PEER_IP peerASN: PEER_ASN
Sostituisci quanto segue:
NODE_IP
: indirizzo IP del nodo del piano di controllo in cui ti trovi.CLUSTER_ASN
: il numero del sistema autonomo utilizzato dal cluster.PEER_IP
: l'indirizzo IP di uno dei peer esterni che vuoi testare.PEER_ASN
: il numero di sistema autonomo per la rete che contiene il dispositivo peer esterno.
Esegui il daemon
bgpadvertiser
, sostituendo il VIP del piano di controllo con il seguente comando:/tmp/bgpadvertiser --config /tmp/bgpadvertiser.conf --advertise-ip CONTROL_PLANE_VIP
Sostituisci
CONTROL_PLANE_VIP
con l'indirizzo IP che utilizzerai per il VIP del piano di controllo. Questo comando fa sì che l'inserzionista BGP annunci questo indirizzo al peer.Visualizza l'output del programma.
A questo punto, il daemon
bgpadvertiser
si avvia, tenta di connettersi al peer e annuncia il VIP. Quando viene stabilita la connessione BGP, il programma stampa periodicamente messaggi (vedi l'output di esempio di seguito) che includonoBGP_FSM_ESTABLISHED
.{"level":"info","ts":1646788815.5588224,"logger":"BGPSpeaker","msg":"GoBGP gRPC debug endpoint disabled","localIP":"21.0.101.64"} {"level":"info","ts":1646788815.5596201,"logger":"BGPSpeaker","msg":"Started.","localIP":"21.0.101.64"} I0309 01:20:15.559667 1320826 main.go:154] BGP advertiser started. I0309 01:20:15.561434 1320826 main.go:170] Health status HTTP server started at "127.0.0.1:8080". INFO[0000] Add a peer configuration for:21.0.101.80 Topic=Peer {"level":"info","ts":1646788815.5623345,"logger":"BGPSpeaker","msg":"Peer added.","localIP":"21.0.101.64","peer":"21.0.101.80/4273481989"} DEBU[0000] IdleHoldTimer expired Duration=0 Key=21.0.101.80 Topic=Peer I0309 01:20:15.563503 1320826 main.go:187] Peer applied: {4273481989 21.0.101.80} DEBU[0000] state changed Key=21.0.101.80 Topic=Peer new=BGP_FSM_ACTIVE old=BGP_FSM_IDLE reason=idle-hold-timer-expired DEBU[0000] create Destination Nlri=10.0.0.1/32 Topic=Table {"level":"info","ts":1646788815.5670514,"logger":"BGPSpeaker","msg":"Route added.","localIP":"21.0.101.64","route":{"ID":0,"Metric":0,"NextHop":"21.0.101.64","Prefix":"10.0.0.1/32","VRF":""}} I0309 01:20:15.568029 1320826 main.go:199] Route added: {0 0 21.0.101.64 10.0.0.1/32 } I0309 01:20:15.568073 1320826 main.go:201] BGP advertiser serving... DEBU[0005] try to connect Key=21.0.101.80 Topic=Peer DEBU[0005] state changed Key=21.0.101.80 Topic=Peer new=BGP_FSM_OPENSENT old=BGP_FSM_ACTIVE reason=new-connection DEBU[0005] state changed Key=21.0.101.80 Topic=Peer new=BGP_FSM_OPENCONFIRM old=BGP_FSM_OPENSENT reason=open-msg-received INFO[0005] Peer Up Key=21.0.101.80 State=BGP_FSM_OPENCONFIRM Topic=Peer DEBU[0005] state changed Key=21.0.101.80 Topic=Peer new=BGP_FSM_ESTABLISHED old=BGP_FSM_OPENCONFIRM reason=open-msg-negotiated DEBU[0005] sent update Key=21.0.101.80 State=BGP_FSM_ESTABLISHED Topic=Peer attributes="[{Origin: i} 4273481990 {Nexthop: 21.0.101.64}]" nlri="[10.0.0.1/32]" withdrawals="[]" DEBU[0006] received update Key=21.0.101.80 Topic=Peer attributes="[{Origin: i} 4273481989 4273481990 {Nexthop: 21.0.101.64}]" nlri="[10.0.0.1/32]" withdrawals="[]" DEBU[0006] create Destination Nlri=10.0.0.1/32 Topic=Table DEBU[0035] sent Key=21.0.101.80 State=BGP_FSM_ESTABLISHED Topic=Peer data="&{{[] 19 4} 0x166e528}" DEBU[0065] sent Key=21.0.101.80 State=BGP_FSM_ESTABLISHED Topic=Peer data="&{{[] 19 4} 0x166e528}"
Se non vedi questi messaggi, ricontrolla i parametri di configurazione BGP nel file di configurazione e verifica con l'amministratore di rete. A questo punto hai configurato una connessione BGP. Puoi verificare con l'amministratore di rete che la connessione sia stata stabilita e che il percorso sia stato pubblicizzato.
Test del traffico
Per verificare che la rete possa inoltrare il traffico al VIP, devi aggiungere il VIP al nodo del piano di controllo che esegue bgpadvertiser
. Esegui questo comando in un terminale diverso in modo da lasciare in esecuzione bgpadvertiser
:
Aggiungi il VIP al nodo del piano di controllo:
ip addr add CONTROL_PLANE_VIP/32 dev INTF_NAME
Sostituisci quanto segue:
CONTROL_PLANE_VIP
: l'argomento VIP--advertise-ip
dibgpadvertiser
.INTF_NAME
: l'interfaccia di Kubernetes sul nodo. Vale a dire che l'interfaccia con l'indirizzo IP inserito nella configurazione di Google Distributed Cloud perloadBalancer.bgpPeers.controlPlaneNodes
.
Invia un ping al VIP da un nodo diverso:
ping CONTROL_PLANE_VIP
Se il ping non riesce, potrebbe esserci un problema con la configurazione di BGP sul dispositivo di rete. Rivolgiti all'amministratore di rete per verificare la configurazione e risolvere il problema.
Esegui la pulizia
Assicurati di seguire questi passaggi per reimpostare il nodo dopo aver verificato manualmente che BGP funziona. Se non reimposti correttamente il nodo, la configurazione manuale potrebbe interferire con il controllo preflight o con la successiva creazione del cluster.
Rimuovi il VIP dal nodo del piano di controllo se lo hai aggiunto per il test del traffico:
ip addr del CONTROL_PLANE_VIP/32 dev INTF_NAME
Sul nodo del piano di controllo, premi
Ctrl
+C
nel terminalebgpadvertiser
per arrestare bgpAdvertiser.Verifica che nessun processo
bgpadvertiser
sia in esecuzione:ps -ef | grep bgpadvertiser
Se sono presenti processi in esecuzione, interrompili utilizzando il comando
kill
.