Auf dieser Seite wird gezeigt, wie Sie Proxy- und Firewallregeln für GKE on VMware einrichten.
Adressen für Ihren Proxy auf die Zulassungsliste setzen
Wenn in Ihrer Organisation ausgehender Traffic einen Proxyserver passieren muss, setzen Sie die folgenden Adressen auf die Zulassungsliste für den Proxyserver: Beachten Sie, dass www.googleapis.com
anstelle von googleapis.com
benötigt wird:
- dl.google.com 1
- gcr.io
- www.googleapis.com
- accounts.google.com
- anthos.googleapis.com
- anthosgke.googleapis.com
- cloudresourcemanager.googleapis.com
- compute.googleapis.com
- connectgateway.googleapis.com
- container.googleapis.com
- gkeconnect.googleapis.com 2
- gkehub.googleapis.com
- gkeonprem.googleapis.com
- gkeonprem.mtls.googleapis.com
- iam.googleapis.com
- iamcredentials.googleapis.com
- kubernetesmetadata.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- oauth2.googleapis.com
- opsconfigmonitoring.googleapis.com
- securetoken.googleapis.com
- servicecontrol.googleapis.com
- serviceusage.googleapis.com
- storage.googleapis.com
- sts.googleapis.com
- releases.hashicorp.com (optional) 3
Hinweise:
1 dl.google.com
ist für das Google Cloud SDK-Installationsprogramm erforderlich.
2 Wenn Ihr Cluster mit einer Google Cloud-Region bei der Flotte registriert wurde, müssen Sie REGION-gkeconnect.googleapis.com
auf die Zulassungsliste setzen (z. B. us-central1-gkeconnect.googleapis.com
). Wenn Sie keine Region angegeben haben, verwendet der Cluster die globale Connect-Dienstinstanz und Sie setzen gkeconnect.googleapis.com
auf die Zulassungsliste. Wenn Sie den Standort der Flottenmitgliedschaft Ihres Clusters ermitteln möchten, führen Sie gcloud container fleet memberships list
aus. Weitere Informationen finden Sie unter gkeConnect.location
.
3 Wenn Sie den Terraform-Client nicht auf Ihrer Administratorworkstation verwenden, um Befehle wie terraform apply
auszuführen, müssen Sie releases.hashicorp.com
nicht auf die Zulassungsliste setzen. Wenn Sie den Terraform-Client auf Ihrer Administratorworkstation verwenden, können Sie releases.hashicorp.com
optional auf die Zulassungsliste setzen. So können Sie prüfen, ob die von Ihnen verwendete Terraform-Clientversion die neueste ist. Dazu führen Sie den Befehl terraform version
aus.
Wenn außerdem Ihr vCenter-Server eine externe IP-Adresse hat, setzen Sie diese Adresse auf die Zulassungsliste für den Proxyserver.
Firewallregeln
Richten Sie Ihre Firewallregeln so ein, dass der folgende Traffic zugelassen wird.
Firewallregeln für im Admin-Cluster verfügbare IP-Adressen
Die im Administratorcluster verfügbaren IP-Adressen sind in der IP-Blockdatei aufgeführt. Diese IP-Adressen werden für den Knoten der Administrator-Steuerungsebene, die Add-on-Knoten des Administratorclusters und den Knoten der Steuerungsebene des Nutzerclusters verwendet. Da die IP-Adressen für den Administratorcluster bestimmten Knoten nicht zugewiesen sind, müssen Sie dafür sorgen, dass alle in der folgenden Tabelle aufgeführten Firewallregeln für alle IP-Adressen gelten, die für den Administratorcluster verfügbar sind.
Von |
Quellport |
To |
Port |
Protokoll |
Beschreibung |
---|---|---|---|---|---|
Knoten der Administratorcluster-Steuerungsebene |
1024 – 65535 |
vCenter Server API |
443 |
TCP/https |
Größenanpassung für Cluster |
Add-on-Knoten für Administratorcluster |
1024 – 65535 |
vCenter Server API |
443 |
TCP/https |
Verwaltung des Nutzercluster-Lebenszyklus |
Add-on-Knoten für Administratorcluster |
32768 – 60999 |
VIP des Kubernetes-API-Servers des Administratorclusters VIPs der Kubernetes-API-Server von Nutzerclustern |
443 |
TCP/https |
Nutzercluster erstellt. Aktualisierung des Nutzerclusters. Nutzerclusterupgrade. Nutzercluster gelöscht. |
Knoten der Steuerungsebene des Administratorclusters |
32768 – 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Beliebige *.googleapis.com-URL der für die Administrator- oder Nutzercluster aktivierten Dienste VIPs der Kubernetes API-Server des Nutzerclusters VIP der vCenter-API-Server des Kubernetes-Cluster-Administratorclusters BIP-Nutzercluster-Admin-API-Server des Kubernetes-Clusters IG_Server – BIP-Nutzercluster-Administrator-API-Server des Kubernetes FTP5-Nutzerclusters IG_Server – NIP-Cluster-Admin-FTP5-Nutzercluster-API-Server des Kubernetes FTP5-Admin-Clusters von Kubernetes FTP5 IG_Server-Admin-FTP5-Nutzercluster-API-Server für Kubernetes-FTP5-Admin-Cluster des Kubernetes-Clusters IG_Server – NIP-Cluster-Nutzercluster-API-Server für Kubernetes-FTP-5-Admin-Cluster gcr.io |
443 |
TCP/https |
Preflight-Prüfungen (Validierung) Wenn Sie Nutzercluster erstellen, aktualisieren oder upgraden. Wenn Sie den Administratorcluster erstellen, aktualisieren oder upgraden. |
Knoten der Steuerungsebene des Administratorclusters |
32768 – 60999 |
Lokale Docker-Registry des Nutzerclusters |
Hängt von Ihrer Registry ab |
TCP/https |
Preflight-Prüfungen (Validierung) Erforderlich, wenn der GKE on VMware-Nutzercluster für die Verwendung einer lokalen privaten Docker-Registry anstelle von gcr.io konfiguriert ist. Wenn Sie Nutzercluster erstellen oder upgraden. Wenn Sie den Administratorcluster erstellen oder upgraden. |
Knoten der Steuerungsebene des Administratorclusters |
32768 – 60999 |
Administratorclusterknoten Nutzerclusterknoten VIPs des Administratorclusters für Load-Balancer Nutzercluster-Load-Balancer-VIPs |
icmp |
Preflight-Prüfungen (Validierung) Wenn Sie Nutzercluster erstellen, aktualisieren oder upgraden. Wenn Sie den Administratorcluster erstellen, aktualisieren oder upgraden. |
|
Knoten der Steuerungsebene des Administratorclusters |
32768 – 60999 |
Worker-Knoten des Nutzerclusters |
22 |
ssh |
Preflight-Prüfungen (Validierung) Wenn Sie ein Upgrade für Nutzercluster durchführen. Wenn Sie ein Upgrade des Administratorclusters durchführen. |
Knoten der Nutzercluster-Steuerungsebene |
1024 – 65535 |
vCenter Server API |
443 |
TCP/https |
Größenanpassung für Cluster |
Knoten der Nutzercluster-Steuerungsebene |
1024 – 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com oder REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
Für die Flottenregistrierung ist der Zugriff erforderlich. Siehe Hinweis 2 nach der Liste der URLs, die auf die Zulassungsliste gesetzt werden sollen. |
Cloud Logging Collector, der auf einem Administratorcluster-Add-on-Knoten ausgeführt wird |
1024 – 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
Cloud Metadata Collector, der auf einem Administratorcluster-Add-on-Knoten ausgeführt wird |
1024 – 65535 |
opsconfigmonitoring.googleapis.com |
443 |
TCP/https |
|
Cloud Monitoring Collector, der auf einem Administratorcluster-Add-on-Knoten ausgeführt wird |
1024 – 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
Knoten der Administratorcluster-Steuerungsebene |
1024 – 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
Knoten der Nutzercluster-Steuerungsebene |
1024 – 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
Knoten der Administratorcluster-Steuerungsebene |
1024 – 65535 |
Lokale Docker-Registry |
Hängt von Ihrer Registry ab |
TCP/https |
Erforderlich, wenn GKE on VMware für die Verwendung einer lokalen privaten Docker-Registry anstelle von gcr.io konfiguriert ist. |
Knoten der Nutzercluster-Steuerungsebene |
1024 – 65535 |
Lokale Docker-Registry |
Hängt von Ihrer Registry ab |
TCP/https |
Erforderlich, wenn GKE on VMware für die Verwendung einer lokalen privaten Docker-Registry anstelle von gcr.io konfiguriert ist. |
Knoten der Administratorcluster-Steuerungsebene |
1024 – 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Alle *.googleapis.com-URLs, die für die für den Administratorcluster aktivierten Dienste erforderlich sind |
443 |
TCP/https |
Images aus öffentlichen Docker-Registrys herunterladen Nicht erforderlich, wenn eine private Docker-Registry verwendet wird |
Knoten der Nutzercluster-Steuerungsebene |
1024 – 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Alle *.googleapis.com-URLs, die für die für den Administratorcluster aktivierten Dienste erforderlich sind |
443 |
TCP/https |
Images aus öffentlichen Docker-Registrys herunterladen Nicht erforderlich, wenn eine private Docker-Registry verwendet wird |
Administratorcluster-Worker-Knoten |
1024 – 65535 |
Administratorcluster-Worker-Knoten |
Alle |
179 – bgp 443 – https 5473 – Calico/Typha 9443 – Envoy-Messwerte 10250 – Kubelet-Knotenport |
Alle Worker-Knoten müssen an Ebene 2 angrenzen und dürfen keine Firewall haben. |
Administratorcluster-Knoten |
1024 – 65535 |
Administratorcluster-Pod-CIDR |
all |
Beliebig |
Für externen Traffic wird auf dem ersten Knoten eine SNAT (Source Network Address Translation) durchgeführt und der Traffic wird an die Pod-IP-Adresse gesendet. |
Administratorcluster-Worker-Knoten |
all |
Nutzerclusterknoten |
22 |
ssh |
Erforderlich für kubeception. API-Server-zu-Kubelet-Kommunikation über einen SSH-Tunnel. Bei Controlplane V2 sollte dies übersprungen werden. |
Administratorcluster-Knoten |
1024 – 65535 |
IP-Adressen der Seesaw-LB-VMs des Administratorclusters |
20255, 20257 |
TCP/http |
LB-Konfigurations-Push und Messwert-Monitoring. Nur erforderlich, wenn Sie die Bundled LB Seesaw verwenden |
Administratorcluster-Knoten |
1024 – 65535 |
Administratorcluster-Knoten |
7946 |
TCP/UDP |
MetalLB-Systemdiagnose Nur erforderlich, wenn Sie die Bundled LB MetalLB verwenden. |
Administratorcluster-Knoten |
Alle |
Virtuelle IP-Adresse der Steuerungsebene des Nutzerclusters |
443 |
https |
Erforderlich für Controlplane V2. Zulassen, dass Knoten und Pods im Administratorcluster mit dem Kubernetes API-Server des Nutzerclusters kommunizieren. |
Administratorcluster-Knoten |
Alle |
Knoten der Steuerungsebene des Nutzerclusters |
443 |
https |
Erforderlich für Controlplane V2. Zulassen, dass Knoten und Pods im Administratorcluster über die IP-Adresse eines Knotens der Steuerungsebene des Nutzerclusters mit dem Kubernetes API-Server des Nutzerclusters kommunizieren. |
Firewallregeln für Nutzerclusterknoten
Die IP-Adressen der Nutzercluster werden in der IP-Blockdatei aufgeführt.
Wie bei den Knoten eines Administratorclusters wissen Sie nicht, welche IP-Adresse für welchen Knoten verwendet wird. Folglich gelten alle Regeln in den Nutzerclusterknoten für jeden Nutzerclusterknoten.
Von |
Quellport |
To |
Port |
Protokoll |
Beschreibung |
---|---|---|---|---|---|
Nutzercluster-Worker-Knoten |
all |
gcr.io oauth2.googleapis.com storage.googleapis.com Alle *.googleapis.com-URLs, die für die für diesen Cluster aktivierten Dienste erforderlich sind |
443 |
TCP/https |
Images aus öffentlichen Docker-Registrys herunterladen Nicht erforderlich, wenn eine private Docker-Registry verwendet wird |
Nutzercluster-Worker-Knoten |
all |
F5 BIG-IP API |
443 |
TCP/https |
|
Nutzercluster-Worker-Knoten |
all |
VIP des pushprox-Servers, der im Administratorcluster ausgeführt wird |
8443 |
TCP/https |
Prometheus-Traffic |
Nutzercluster-Worker-Knoten |
all |
Nutzercluster-Worker-Knoten |
all |
22 – ssh 179 – bgp 443 – https 5473 – Calico/Typha 9443 – Envoy-Messwerte 10250 – Kubelet-Knotenport |
Alle Worker-Knoten müssen an Ebene 2 angrenzen und dürfen keine Firewall haben. |
Nutzercluster-Worker-Knoten |
all |
VIP der Nutzersteuerungsebene |
443 |
TCP/https |
|
Nutzercluster-Worker-Knoten |
Alle |
VIP der Nutzersteuerungsebene |
8132 |
GRPC |
Erforderlich für kubeception. Konnektivitätsverbindung. Bei Controlplane V2 sollte dies übersprungen werden. |
Administratorcluster-Knoten |
Alle |
Nutzercluster vCenter Server |
443 |
https |
Erlauben Sie dem Administratorcluster, den Lebenszyklus des Nutzerclusters zu verwalten. Erforderlich, wenn die Administrator- und Nutzercluster unterschiedliche vCenter Server haben. |
Nutzerclusterknoten |
1024 – 65535 |
Nutzercluster-Pod-CIDR |
all |
Beliebig |
Für externen Traffic wird auf dem ersten Knoten eine SNAT (Source Network Address Translation) durchgeführt und der Traffic wird an die Pod-IP-Adresse gesendet. |
Cloud Logging Collector, der auf einem zufälligen Nutzercluster-Worker-Knoten ausgeführt wird |
1024 – 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
Connect Agent, das auf einem zufälligen Nutzercluster-Worker-Knoten ausgeführt wird |
1024 – 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com oder REGION-gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com |
443 |
TCP/https |
Connect-Traffic Siehe Hinweis 2 nach der Liste der URLs, die auf die Zulassungsliste gesetzt werden sollen. |
Cloud Metadata Collector, der auf einem zufälligen Nutzercluster-Worker-Knoten ausgeführt wird |
1024 – 65535 |
opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com |
443 |
TCP/https |
|
Cloud Monitoring Collector, der auf einem zufälligen Nutzercluster-Worker-Knoten ausgeführt wird |
1024 – 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
Nutzerclusterknoten |
1024 – 65535 |
IP-Adressen der Seesaw-LB-VMs des Nutzerclusters |
20255, 20257 |
TCP/http |
LB-Konfigurations-Push und Messwert-Monitoring. Nur erforderlich, wenn Sie die Bundled LB Seesaw verwenden |
Nutzerclusterknoten mit enableLoadBalancer=true |
1024 – 65535 |
Nutzerclusterknoten mit enableLoadBalancer=true |
7946 |
TCP/UDP |
MetalLB-Systemdiagnose Nur erforderlich, wenn Sie die Bundled LB MetalLB verwenden. |
Nutzerclusternetzwerk |
all |
VIP der Steuerungsebene des Nutzerclusters |
443 |
TCP/https |
Firewallregeln für die verbleibenden Komponenten
Diese Regeln gelten für alle anderen Komponenten, die in den Tabellen für den Administratorcluster und die Nutzerclusterknoten nicht aufgeführt sind.
Von |
Quellport |
To |
Port |
Protokoll |
Beschreibung |
---|---|---|---|---|---|
Administratorcluster-Pod-CIDR |
1024 – 65535 |
Administratorcluster-Pod-CIDR |
all |
Beliebig |
Bei Traffic zwischen Pods erfolgt die Ebene-2-Weiterleitung direkt über die Quell- und Ziel-IP-Adresse im Pod-CIDR. |
Administratorcluster-Pod-CIDR |
1024 – 65535 |
Administratorcluster-Knoten |
all |
Beliebig |
Rücktraffic des externen Traffics |
Nutzercluster-Pod-CIDR |
1024 – 65535 |
Nutzercluster-Pod-CIDR |
all |
Beliebig |
Bei Traffic zwischen Pods erfolgt die Ebene-2-Weiterleitung direkt über die Quell- und Ziel-IP-Adresse im Pod-CIDR. |
Nutzercluster-Pod-CIDR |
1024 – 65535 |
Nutzerclusterknoten |
all |
Beliebig |
Rücktraffic des externen Traffics |
Clients und Endnutzer von Anwendungen |
all |
VIP des eingehenden Istio-Traffics |
80, 443 |
TCP |
Endnutzer-Traffic zum Dienst für eingehenden Traffic eines Nutzerclusters |
Jump-Server zum Bereitstellen der Administrator-Workstation |
Siitzungspezifischer Portbereich |
vCenter Server API ESXi-VMkernel-IP-Adressen (Verwaltung) von Hosts im Zielcluster |
443 |
TCP/https |
Prüfen Sie den sitzungsspezifischen Portbereich von „cat /proc/sys/net/ipv4/ip_local_port_range“. |
Administratorworkstation |
32768 – 60999 |
gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com Alle *.googleapis.com-URLs, die für die für diesen Cluster aktivierten Dienste erforderlich sind |
443 |
TCP/https |
Docker-Images aus öffentlichen Docker-Registries herunterladen |
Administratorworkstation |
32768 – 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Jede *.googleapis.com-URL, die für die für die Administrator- oder Nutzercluster aktivierten Dienste erforderlich ist VIPs der Kubernetes API-Server der Nutzercluster Virtuelle IP-Adresse der vCenter API des Kubernetes API-Servers des Administratorclusters F-Server BIG-API des Kubernetes API-Servers des Administratorclusters F Server BIG-API des Kubernetes API-Servers des Administratorclusters |
443 |
TCP/https |
Preflight-Prüfungen (Validierung) Wenn Sie Cluster mit |
Administratorworkstation |
32768 – 60999 |
vCenter Server API F5 BIG-IP API |
443 |
TCP/https |
Administratorcluster erstellen. Nutzercluster erstellt. |
Administratorworkstation |
32768 – 60999 |
ESXi-VMkernel-IP-Adressen (Verwaltung) von Hosts im Zielcluster |
443 |
TCP/https |
Die Administrator-Workstation lädt die OVA-Datei über die ESXi-Hosts in den Datenspeicher hoch. |
Administratorworkstation |
32768 – 60999 |
VIP des Kubernetes-API-Servers des Administratorclusters VIPs der Kubernetes-API-Server von Nutzerclustern |
443 |
TCP/https |
Administratorcluster erstellen. Administratorcluster aktualisiert. Nutzercluster erstellt. Aktualisierung des Nutzerclusters. Nutzercluster gelöscht. |
Administratorworkstation |
32768 – 60999 |
Knoten und Worker-Knoten der Administratorcluster-Steuerungsebene |
443 |
TCP/https |
Administratorcluster erstellen. Aktualisierungen der Steuerungsebene |
Administratorworkstation |
32768 – 60999 |
Alle Administratorcluster-Knoten und alle Nutzercluster-Knoten |
443 |
TCP/https |
Netzwerkvalidierung als Teil des Befehls |
Administratorworkstation |
32768 – 60999 |
VIP des eingehenden Istio-Traffics des Administratorclusters VIP des eingehenden Istio-Traffics von Nutzerclustern |
443 |
TCP/https |
Netzwerkvalidierung als Teil des Befehls |
Administratorworkstation |
32768 – 60999 |
oauth2.googleapis.com logging.googleapis.com monitoring.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
Zugriff auf Cloud Logging und Monitoring |
Administratorworkstation |
32768 – 60999 |
IP-Adressen der Seesaw-LB-VMs in Administrator- und Nutzerclustern Seesaw-LB-VIPs von Administrator- und Nutzerclustern |
20256, 20258 |
TCP/http/gRPC |
Systemdiagnose von lokalen LBs. Nur erforderlich, wenn Sie Bundled LB Seesaw verwenden |
Administratorworkstation |
32768 – 60999 |
Knoten-IP der Cluster-Steuerungsebene |
22 |
TCP |
Erforderlich, wenn Sie von der Administratorworkstation aus SSH-Zugriff auf die Administratorcluster-Steuerungsebene benötigen. |
Administratorworkstation | 32768 – 60999 | releases.hashicorp.com | 443 | TCP/https | Optional. Siehe Hinweis 3 nach der Liste der URLs, die auf die Zulassungsliste gesetzt werden sollen. |
LB-VM-IP-Adressen |
32768 – 60999 |
Knoten-IP-Adressen des entsprechenden Clusters |
10256: Knoten-Systemdiagnose |
TCP/http |
Knoten-Systemdiagnose. healthCheckNodePort ist für Dienste bestimmt, bei denen externalTrafficPolicy auf "Local" gesetzt ist. Nur erforderlich, wenn Sie Bundled LB Seesaw verwenden |
F5-Self-IP |
1024 – 65535 |
Alle Administrator- und Nutzercluster-Knoten |
30000 bis 32767 |
Beliebig |
Für den Traffic auf Datenebene, für den F5 BIG-IP über eine VIP eines virtuellen Servers ein Load-Balancing zu den Knotenports auf den Kubernetes-Clusterknoten durchführt In der Regel befindet sich die F5-Selbst-IP im selben Netzwerk/Subnetz wie die Kubernetes-Clusterknoten. |