Proxy e regole firewall

Questa pagina mostra come configurare le regole del proxy e del firewall per Google Distributed Cloud (solo software) per VMware. Questa pagina è rivolta agli esperti di networking che di implementare sistemi di sicurezza dei dati come i firewall. Per scoprire di più sui modelli ruoli e attività di esempio a cui facciamo riferimento nei contenuti di Google Cloud, vedi Ruoli e attività utente comuni di GKE Enterprise.

Nota: non puoi utilizzare il proxy SSL MITM per il proxy, perché questo richiede il deployment automatico di un certificato CA aggiuntivo per il proxy, che non è supportato. Nota: in 1.10, la funzionalità Konnectivity è attiva per impostazione predefinita. Devi creare una regola firewall in modo che i nodi worker utente possano accedere alle porte 8132 sull'indirizzo VIP del control plane utente e ricevere i pacchetti di ritorno.

Inserire indirizzi nella lista consentita per il proxy

Se la tua organizzazione richiede che il traffico in uscita passi attraverso un server proxy, inserisci nella lista consentita i seguenti indirizzi nel server proxy. Tieni presente che È necessario specificare www.googleapis.com anziché googleapis.com:

• dl.google.com ¹
• gcr.io
• www.googleapis.com
• accounts.google.com
• anthos.googleapis.com
• anthosgke.googleapis.com
• cloudresourcemanager.googleapis.com
• compute.googleapis.com
• connectgateway.googleapis.com
• container.googleapis.com
• gkeconnect.googleapis.com ²
• gkehub.googleapis.com
• gkeonprem.googleapis.com
• gkeonprem.mtls.googleapis.com
• iam.googleapis.com
• iamcredentials.googleapis.com
• kubernetesmetadata.googleapis.com
• logging.googleapis.com
• monitoring.googleapis.com
• oauth2.googleapis.com
• opsconfigmonitoring.googleapis.com
• securetoken.googleapis.com
• servicecontrol.googleapis.com
• serviceusage.googleapis.com
• storage.googleapis.com
• sts.googleapis.com
• releases.hashicorp.com (facoltativo) ³

Note:

¹ dl.google.com è richiesto dall'installatore di Google Cloud SDK.

² Se il cluster è stato registrato nel parco risorse utilizzando una regione Google Cloud, devi inserire nella lista consentita REGION-gkeconnect.googleapis.com (per ad esempio us-central1-gkeconnect.googleapis.com). Se non hai specificato regione, il cluster utilizza l'istanza del servizio Connect globale lista consentita gkeconnect.googleapis.com. Se hai bisogno di trovare le risorse località dell'appartenenza del parco risorse, esegui gcloud container fleet memberships list. Per maggiori informazioni, consulta gkeConnect.location.

³ Se non utilizzi il client Terraform nella alla workstation di amministrazione di Google Cloud per eseguire comandi come terraform apply, devono inserire releases.hashicorp.com nella lista consentita. Se usi il client Terraform sulla workstation di amministrazione, puoi facoltativamente aggiungere releases.hashicorp.com alla lista consentita puoi verificare se la versione del client Terraform che stai utilizzando più recente eseguendo terraform version .

Inoltre, se il server vCenter ha un indirizzo IP esterno, inseriscilo nella lista consentita nel tuo server proxy.

Regole firewall per i cluster di amministrazione

Gli indirizzi IP del cluster di amministrazione dipendono dall'abilitazione o meno del piano di controllo V2 sul cluster utente e sulla versione in cui è stato creato.

• Quando il control plane v2 è abilitato, quello per un cluster utente viene eseguito sul cluster utente stesso. Quando il piano di controllo V2 non è abilitato, il controllo per un cluster utente viene eseguito su uno o più nodi nel cluster di amministrazione, noto come kubeception.

• Nella versione 1.28 e successive, i nuovi cluster di amministrazione ad alta disponibilità non hanno nodi aggiuntivi.

Gli indirizzi IP dei nodi del cluster di amministrazione aggiuntivi (se esistenti) e dei nodi del control plane del cluster utente kubeception sono elencati nel file del blocco IP del cluster di amministrazione. I nodi del piano di controllo del cluster di amministrazione sono configurati nella sezione network.controlPlaneIPBlock.ips del file di configurazione del cluster di amministrazione.

Perché gli indirizzi IP nel file dei blocchi IP del cluster di amministrazione non sono assegnati a nodi specifici, devi assicurarti che tutte le regole firewall elencate la tabella seguente si applica a tutti gli indirizzi IP disponibili per l'amministratore in un cluster Kubernetes.

Nota: nella tabella seguente, un nodo worker del cluster di amministrazione fa riferimento a un nodo del componente aggiuntivo o a un nodo del piano di controllo del cluster utente Kubeception.

Configura le regole del firewall per consentire il traffico seguente.

Da	Porta di origine	A	Porta	Protocollo	Descrizione
Nodo del control plane del cluster di amministrazione	1024 - 65535	API vCenter Server	443	TCP/https	Ridimensionamento del cluster.
Nodi aggiuntivi del cluster di amministrazione	1024 - 65535	API vCenter Server	443	TCP/https	Gestione del ciclo di vita dei cluster utente.
Nodi dei componenti aggiuntivi del cluster di amministrazione	32768-60999	VIP del server API Kubernetes del cluster di amministrazione VIP dei cluster utente Server API Kubernetes	443	TCP/https	Creazione di un cluster utente. Aggiornamento del cluster utente. Upgrade del cluster utente. Eliminazione del cluster utente.
Nodi del piano di controllo del cluster di amministrazione	32.768 - 60.999	gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per i cluster di amministrazione o utente VIP dei cluster utente Server API Kubernetes VIP del server API Kubernetes del cluster di amministrazione API vCenter Server API BIG_IP del cluster di amministrazione F5 API BIG_IP del cluster utente F5 Server NTP del cluster di amministrazione Server NTP del cluster utente Server DNS del cluster di amministrazione Server DNS del cluster utente	443	TCP/https	Controlli preflight (convalida). Quando crei, aggiorni o esegui l'upgrade dei cluster utente. Quando crei, aggiorni o esegui l'upgrade del cluster di amministrazione.
Nodi del control plane del cluster di amministrazione	32768-60999	Registro Docker locale on-premise del cluster utente	Dipende dal registro	TCP/https	Controlli preflight (convalida). Obbligatorio se un cluster utente è configurato per utilizzare un registro Docker privato locale anziché gcr.io. Quando crei o esegui l'upgrade dei cluster utente. Quando crei o esegui l'upgrade del cluster di amministrazione.
Nodi del piano di controllo del cluster di amministrazione	32768-60999	Nodi del cluster di amministrazione Nodi del cluster utente VIP del bilanciatore del carico del cluster di amministrazione VIP del bilanciatore del carico del cluster utente		icmp	Controlli preflight (convalida). Quando crei, aggiorni o esegui l'upgrade dei cluster utente. Quando crei, aggiorni o esegui l'upgrade del cluster di amministrazione.
Nodi del piano di controllo del cluster di amministrazione	32.768 - 60.999	Nodi worker del cluster utente	22	ssh	Controlli preflight (convalida). Quando esegui l'upgrade dei cluster utente. Quando esegui l'upgrade del cluster di amministrazione.
Nodo del piano di controllo del cluster utente (solo kubeception)	1024 - 65535	API vCenter Server	443	TCP/https	Ridimensionamento del cluster.
Nodo del control plane del cluster utente (solo kubeception)	1024 - 65535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com o REGION-gkeconnect.googleapis.com gkehub.googleapis.com	443	TCP/https	L'accesso è richiesto per la registrazione del parco risorse. Vedi nota 2 dopo l'elenco degli URL da inserire nella lista consentita.
Nodo del control plane del cluster utente (solo kubeception)	1024 - 65535	API BIG-IP di F5	443	TCP/https
Nodo del piano di controllo del cluster utente (solo kubeception)	1024 - 65535	Registro Docker locale on-premise	Dipende dal registro	TCP/https	Obbligatorio se Google Distributed Cloud è configurato in modo da utilizzare un server Docker privato invece che in gcr.io.
Nodo del piano di controllo del cluster utente (solo kubeception)	1024 - 65535	gcr.io oauth2.googleapis.com storage.googleapis.com Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per il cluster di amministrazione	443	TCP/https	Scaricare le immagini dai registri Docker pubblici. Non necessario se utilizzi un registro Docker privato.
Cloud Logging Collector, che viene eseguito su un nodo del componente aggiuntivo del cluster di amministrazione	1024 - 65535	oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com	443	TCP/https
Cloud Metadata Collector, che viene eseguito su un nodo aggiuntivo del cluster di amministrazione	1024 - 65535	opsconfigmonitoring.googleapis.com	443	TCP/https
Il raccoglitore Cloud Monitoring, che viene eseguito su un nodo aggiuntivo del cluster di amministrazione	1024 - 65535	oauth2.googleapis.com monitoring.googleapis.com	443	TCP/https
Nodo del control plane del cluster di amministrazione	1024 - 65535	API BIG-IP di F5	443	TCP/https
Nodo del control plane del cluster di amministrazione	1024 - 65535	Registro Docker locale on-premise	Dipende dal registro	TCP/https	Obbligatorio se Google Distributed Cloud è configurato per utilizzare un registro Docker privato locale anziché gcr.io.
Nodo del control plane del cluster di amministrazione	1024 - 65535	gcr.io oauth2.googleapis.com storage.googleapis.com Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per il cluster di amministrazione	443	TCP/https	Scaricare le immagini dai registri Docker pubblici. Non necessario se utilizzi un registro Docker privato.
Nodi worker del cluster di amministrazione	1024 - 65535	Nodi worker del cluster di amministrazione	Tutti	179 - bgp 443 - https 5473 - Calico/Typha 9443 - Metriche Envoy 10250 - porta del nodo kubelet	Tutti i nodi worker devono essere adiacenti di livello 2 e privi di firewall.
Nodi del cluster di amministrazione	1024 - 65535	CIDR del pod del cluster di amministrazione	tutte	tutte	Il traffico esterno viene sottoposto a SNAT sul primo nodo e inviato all'IP del pod.
Nodi worker del cluster di amministrazione	tutte	Nodi del cluster utente	22	ssh	Obbligatorio per kubeception. Comunicazione tra il server API e il kubelet tramite un tunnel SSH. Questo comando deve essere ignorato per il piano di controllo V2.
Nodi del cluster di amministrazione	1024 - 65535	Indirizzi IP delle VM LB Seesaw del cluster di amministrazione	20255, 20257	TCP/http	Monitoraggio delle metriche e push della configurazione del bilanciamento del carico. Necessario solo se utilizzi LB Seesaw in bundle.
Nodi del cluster di amministrazione	1024 - 65535	Nodi del cluster di amministrazione	7946	TCP/UDP	Controllo di integrità MetalLB. Serve solo se utilizzi LB MetalLB incluso.
Nodi del cluster di amministrazione	Tutti	VIP del piano di controllo del cluster utente	443	https	Obbligatorio per il piano di controllo V2. Consenti ai nodi e ai pod nel cluster di amministrazione di comunicare con il server API Kubernetes del cluster utente.
Nodi del cluster di amministrazione	Tutti	Nodi del piano di controllo del cluster utente	443	https	Obbligatorio per il piano di controllo V2. Consenti nodi e pod nel cluster di amministrazione per comunicare con il server API Kubernetes del cluster utente utilizzando l'indirizzo di un nodo del piano di controllo del cluster utente.

Regole firewall per i nodi del cluster utente

Nei nodi del cluster utente, i relativi indirizzi IP sono elencati nella File del blocco IP.

Come per i nodi del cluster di amministrazione, non sai quale indirizzo IP verrà utilizzato per quale nodo. Pertanto, tutte le regole nei nodi del cluster utente si applicano a ciascun nodo del cluster utente.

Da	Porta di origine	A	Porta	Protocollo	Descrizione
Nodo del control plane del cluster utente (solo Control plane V2)	1024 - 65535	API vCenter Server	443	TCP/https	Ridimensionamento del cluster.
Nodo del control plane del cluster utente (solo Control plane V2)	1024 - 65535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com o REGION-gkeconnect.googleapis.com gkehub.googleapis.com	443	TCP/https	L'accesso è richiesto per la registrazione del parco risorse. Consulta la nota 2 dopo l'elenco degli URL da inserire nella lista consentita.
Nodo del piano di controllo del cluster utente (solo Controlplane V2)	1024 - 65535	Registro Docker locale on-premise	Dipende dal registro	TCP/https	Obbligatorio se Google Distributed Cloud è configurato per utilizzare un registro Docker privato locale anziché gcr.io.
Nodo del control plane del cluster utente (solo Control plane V2)	1024 - 65535	gcr.io oauth2.googleapis.com storage.googleapis.com Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per il cluster di amministrazione	443	TCP/https	Scaricare le immagini dai registri Docker pubblici. Non necessario se utilizzi un registry Docker privato.
Nodo del piano di controllo del cluster utente (solo Controlplane V2)	1024 - 65535	API BIG-IP di F5	443	TCP/https
Nodi worker del cluster utente	tutte	gcr.io oauth2.googleapis.com storage.googleapis.com Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per questo cluster	443	TCP/https	Scaricare le immagini dai registri Docker pubblici. Non necessario se utilizzi un registro Docker privato.
Nodi worker del cluster utente	tutte	API F5 BIG-IP	443	TCP/https
Nodi worker del cluster utente	tutte	VIP del server pushprox, eseguito nel cluster di amministrazione.	8443	TCP/https	Traffico di Prometheus.
Nodi worker del cluster utente	tutte	Nodi worker del cluster utente	tutte	22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - Metriche di Envoy 10250 - Porta del nodo kubelet"	Tutti i nodi worker devono essere adiacenti a livello 2 e non devono avere firewall.
Nodi worker del cluster utente	tutte	VIP piano di controllo utente	443	TCP/https
Nodi worker del cluster utente	Tutti	VIP piano di controllo utente	8132	GRPC	Obbligatorio per kubeception. Connessione Konnectivity. Questo comando deve essere ignorato per il piano di controllo V2.
Nodi del cluster di amministrazione	Tutti	Server vCenter del cluster di utenti	443	https	Consenti al cluster di amministrazione di gestire il ciclo di vita del cluster utente. Obbligatorio se i cluster di amministrazione e utente hanno server vCenter diversi.
Nodi del cluster utente	1024 - 65535	CIDR pod del cluster utente	tutte	tutte	Il traffico esterno viene sottoposto a SNAT sul primo nodo e inviato all'IP del pod.
Cloud Logging Collector, che viene eseguito su un nodo worker del cluster utente scelto in modo casuale	1024 - 65535	oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com www.googleapis.com	443	TCP/https
Agente di connessione, che viene eseguito su un nodo worker del cluster utente casuale.	1024 - 65535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com o REGION-gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com	443	TCP/https	Connetti per via del traffico. Vedi la nota 2 dopo l'elenco degli URL da nella lista consentita.
Cloud Metadata Collector, che viene eseguito su un nodo worker del cluster utente scelto in modo casuale	1024 - 65535	opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com	443	TCP/https
Cloud Monitoring Collector, che viene eseguito su un nodo worker del cluster utente scelto in modo casuale	1024 - 65535	oauth2.googleapis.com monitoring.googleapis.com	443	TCP/https
Nodi del cluster utente	1024 - 65535	Indirizzi IP delle VM LB Seesaw del cluster utente	20255,20257	TCP/http	Monitoraggio delle metriche e push della configurazione del bilanciamento del carico. Serve solo se utilizzi LB Seesaw in bundle.
I nodi del cluster degli utenti con abilitaLoadBalancer=true	1024 - 65535	Nodi del cluster di utenti con enableLoadBalancer=true	7946	TCP/UDP	Controllo di integrità MetalLB. Serve solo se utilizzi LB MetalLB incluso.
Rete del cluster di utenti	tutte	VIP del piano di controllo del cluster utente	443	TCP/https

Regole firewall per i componenti rimanenti

Queste regole si applicano a tutti gli altri componenti non elencati nelle tabelle per i nodi del cluster di amministrazione e del cluster utente.

Da	Porta di origine	A	Porta	Protocollo	Descrizione
CIDR pod del cluster di amministrazione	1024 - 65535	CIDR del pod del cluster di amministrazione	tutte	tutte	Il traffico tra i pod esegue l'inoltro L2 direttamente utilizzando l'IP di origine e di destinazione all'interno del CIDR dei pod.
CIDR pod del cluster di amministrazione	1024 - 65535	Nodi del cluster di amministrazione	tutte	tutte	Restituisce il traffico esterno.
CIDR del pod del cluster di utenti	1024 - 65535	CIDR pod del cluster utente	tutte	tutte	Il traffico inter-pod esegue il forwarding L2 direttamente utilizzando l'IP di origine e di destinazione all'interno del CIDR del pod.
CIDR del pod del cluster di utenti	1024 - 65535	Nodi del cluster utente	tutte	tutte	Restituisci il traffico di traffico esterno.
Clienti e utenti finali dell'applicazione	tutte	VIP dell'ingresso Istio	80, 443	TCP	Traffico degli utenti finali verso il servizio in entrata di un cluster utente.
Jump server per il deployment della workstation di amministrazione	intervallo di porte temporanee	API vCenter Server IP VMkernel ESXi (mgt) degli host nel cluster di destinazione	443	TCP/https	Controlla l'intervallo di porte temporanee da "cat /proc/sys/net/ipv4/ip_local_port_range".
Workstation di amministrazione	32.768 - 60.999	gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per questo cluster	443	TCP/https	Scaricare immagini Docker dai registri Docker pubblici.
Workstation di amministrazione	32768-60999	gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per i cluster di amministrazione o utente VIP dei server API Kubernetes dei cluster di utenti VIP del server API Kubernetes del cluster di amministrazione API vCenter Server API F5 BIG-IP	443	TCP/https	Controlli preflight (convalida). Quando crei, aggiorni, esegui l'upgrade o elimini i cluster utilizzando gkectl.
Workstation di amministrazione	32.768 - 60.999	API vCenter Server API F5 BIG-IP	443	TCP/https	Creazione del cluster di amministrazione. Creazione del cluster utente.
Workstation di amministrazione	32768-60999	IP VMkernel ESXi (mgt) degli host nel cluster di destinazione	443	TCP/https	La workstation di amministrazione carica l'OVA nel datastore tramite gli host ESXi.
Workstation di amministrazione	32.768 - 60.999	VIP del server API Kubernetes del cluster di amministrazione VIP dei cluster utente Server API Kubernetes	443	TCP/https	Creazione del cluster di amministrazione. Aggiornamento del cluster di amministrazione. Creazione di un cluster utente. Aggiornamento del cluster utente. Eliminazione del cluster utente.
Workstation di amministrazione	32768-60999	Nodo del piano di controllo e nodi worker del cluster di amministrazione	443	TCP/https	Creazione del cluster di amministrazione. Upgrade dei piani di controllo.
Workstation di amministrazione	32768-60999	Tutti i nodi del cluster di amministrazione e tutti i nodi del cluster utente	443	TCP/https	Convalida della rete nell'ambito del comando gkectl check-config.
Workstation di amministrazione	32.768 - 60.999	VIP del traffico Istio in entrata del cluster di amministrazione VIP dell'ingresso Istio dei cluster utente	443	TCP/https	Convalida della rete nell'ambito del comando gkectl check-config.
Workstation di amministrazione	32.768 - 60.999	oauth2.googleapis.com logging.googleapis.com monitoring.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com	443	TCP/https	Accesso a Logging e Monitoring di Cloud.
Workstation di amministrazione	32768-60999	IP delle VM LB di Seesaw nei cluster di amministrazione e utente VIP del bilanciatore del carico Seesaw sia dei cluster di amministrazione che di quelli utente	20256,20258	TCP/HTTP/gRPC	Controllo di integrità dei bilanciatori del carico. Obbligatorio solo se utilizzi LB Seesaw incluso.
Workstation di amministrazione	32768-60999	IP del nodo del piano di controllo del cluster	22	TCP	Obbligatorio se hai bisogno dell'accesso SSH dalla workstation di amministrazione all'amministratore dal piano di controllo del cluster.
Workstation di amministrazione	32768-60999	releases.hashicorp.com	443	TCP/https	Facoltativo. Vedi la nota 3 dopo l'elenco degli URL da nella lista consentita.
IP VM bilanciatore del carico	32.768 - 60.999	IP dei nodi del cluster corrispondente	10256: controllo di integrità del nodo 30000 - 32767: healthCheckNodePort	TCP/HTTP	Controllo di integrità del nodo. healthCheckNodePort è per i servizi con externalTrafficPolicy impostato su Local. Necessario solo se utilizzi LB Seesaw in bundle.
Auto-IP F5	1024 - 65535	Tutti i nodi di amministrazione e tutti i nodi del cluster utente	30000 - 32767	tutte	Per il traffico del piano dati bilanciato in base al carico da F5 BIG-IP tramite un VIP del server virtuale alle porte dei nodi sui nodi del cluster Kubernetes. In genere, l'IP autonomo di F5 si trova nella stessa rete/subnet dei nodi del cluster Kubernetes.