Aturan firewall dan proxy

Version 1.15 

• Versi terbaru
• Versi 1.16
• Versi sebelumnya (tidak didukung)

Halaman ini menunjukkan cara menyiapkan aturan proxy dan firewall untuk GKE di VMware.

Catatan: Anda tidak dapat menggunakan proxy SSL MITM untuk proxy, karena hal ini memerlukan deployment sertifikat CA tambahan secara otomatis untuk proxy tersebut, yang tidak didukung. Catatan: Pada 1.10, konnektivitas diaktifkan secara default. Anda perlu membuat aturan firewall agar node pekerja pengguna dapat mengakses port 8132 pada alamat VIP bidang kontrol pengguna dan mendapatkan paket pengembalian.

Mengizinkan alamat untuk proxy Anda

Jika organisasi Anda mewajibkan traffic keluar untuk melewati server proxy, tambahkan alamat berikut ke server proxy untuk diizinkan. Perhatikan bahwa www.googleapis.com diperlukan, bukan googleapis.com:

• dl.google.com ¹
• gcr.io
• www.googleapis.com
• accounts.google.com
• anthos.googleapis.com
• anthosgke.googleapis.com
• cloudresourcemanager.googleapis.com
• compute.googleapis.com
• connectgateway.googleapis.com
• container.googleapis.com
• gkeconnect.googleapis.com
• gkehub.googleapis.com
• gkeonprem.googleapis.com
• gkeonprem.mtls.googleapis.com
• iam.googleapis.com
• iamcredentials.googleapis.com
• logging.googleapis.com
• monitoring.googleapis.com
• oauth2.googleapis.com
• opsconfigmonitoring.googleapis.com
• securetoken.googleapis.com
• servicecontrol.googleapis.com
• serviceusage.googleapis.com
• stackdriver.googleapis.com
• storage.googleapis.com
• sts.googleapis.com
• rilis.hashicorp.com ²

Catatan:

¹ dl.google.com diperlukan oleh penginstal Google Cloud SDK.

² Jika tidak menggunakan klien Terraform di workstation admin untuk menjalankan perintah seperti terraform apply, Anda tidak perlu mengizinkan releases.hashicorp.com. Jika menggunakan klien Terraform di workstation admin, Anda dapat memilih untuk mengizinkan releases.hashicorp.com agar dapat memeriksa apakah versi klien Terraform yang digunakan adalah yang terbaru dengan menjalankan perintah terraform version.

Selain itu, jika Server vCenter Anda memiliki alamat IP eksternal, izinkan alamat tersebut di server proxy.

Aturan firewall

Siapkan aturan firewall Anda untuk mengizinkan traffic berikut.

Aturan firewall untuk alamat IP yang tersedia di cluster admin

Alamat IP yang tersedia di cluster admin tercantum dalam file blok IP. Alamat IP ini digunakan untuk node bidang kontrol cluster admin, node add-on cluster admin, dan node bidang kontrol cluster pengguna. Karena alamat IP untuk cluster admin tidak ditetapkan ke node tertentu, Anda harus memastikan bahwa semua aturan firewall yang tercantum dalam tabel berikut berlaku untuk semua alamat IP yang tersedia untuk cluster admin.

Catatan: Node pekerja cluster admin dapat berupa node add-on cluster admin atau node bidang kontrol cluster pengguna.

Dari	Port sumber	Kepada	Port	Protokol	Deskripsi
Node bidang kontrol cluster admin	1024 - 65.535	API vCenter Server	443	TCP/https	Pengubahan ukuran cluster.
Node add-on cluster admin	1024 - 65.535	API vCenter Server	443	TCP/https	Pengelolaan siklus proses cluster pengguna.
Node add-on cluster admin	32.768- 60.999	VIP server Kubernetes API cluster admin VIP server Kubernetes API cluster pengguna	443	TCP/https	Cluster pengguna dibuat. Update cluster pengguna. Upgrade cluster pengguna. Cluster pengguna dihapus.
Node add-on cluster admin	32.768- 60.999	gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk admin atau cluster pengguna VIP server Kubernetes API cluster pengguna	443	TCP/https	Pemeriksaan preflight (validasi). Saat Anda membuat, mengupdate, mengupgrade, atau menghapus cluster pengguna menggunakan Konsol Google Cloud, gcloud CLI, atau Terraform.
Node add-on cluster admin	32.768- 60.999	Registry Docker lokal cluster pengguna	Bergantung pada registry Anda	TCP/https	Pemeriksaan preflight (validasi). Saat Anda membuat, mengupdate, mengupgrade, atau menghapus cluster pengguna menggunakan Konsol Google Cloud, gcloud CLI, atau Terraform.
Node add-on cluster admin	32.768- 60.999	Node cluster admin Node cluster pengguna VIP Load Balancer cluster Admin VIP Load Balancer cluster pengguna		icmp	Pemeriksaan preflight (validasi). Saat Anda membuat, mengupdate, mengupgrade, atau menghapus cluster pengguna menggunakan Konsol Google Cloud, gcloud CLI, atau Terraform.
Node bidang kontrol cluster pengguna	1024 - 65.535	API vCenter Server	443	TCP/https	Pengubahan ukuran cluster.
Node bidang kontrol cluster pengguna	1024 - 65.535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com gkehub.googleapis.com	443	TCP/https	Akses diperlukan untuk pendaftaran hub.
Cloud Logging Collector, yang berjalan pada node add-on cluster admin	1024 - 65.535	oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com	443	TCP/https
Cloud Metadata Collector, yang berjalan pada node add-on cluster admin	1024 - 65.535	opsconfigmonitoring.googleapis.com	443	TCP/https
Cloud Monitoring Collector, yang berjalan pada node add-on cluster admin	1024 - 65.535	oauth2.googleapis.com monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com	443	TCP/https
Node bidang kontrol cluster admin	1024 - 65.535	API BIG-IP F5	443	TCP/https
Node bidang kontrol cluster pengguna	1024 - 65.535	API BIG-IP F5	443	TCP/https
Node bidang kontrol cluster admin	1024 - 65.535	Registry Docker lokal lokal	Bergantung pada registry Anda	TCP/https	Diperlukan jika GKE di VMware dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io.
Node bidang kontrol cluster pengguna	1024 - 65.535	Registry Docker lokal lokal	Bergantung pada registry Anda	TCP/https	Diperlukan jika GKE di VMware dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io.
Node bidang kontrol cluster admin	1024 - 65.535	gcr.io oauth2.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin	443	TCP/https	Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi.
Node bidang kontrol cluster pengguna	1024 - 65.535	gcr.io oauth2.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin	443	TCP/https	Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi.
Node pekerja cluster admin	1024 - 65.535	Node pekerja cluster admin	Semua	179 - bgp 443 - https 5473 - Belacu/Typha 9443 - Metrik Envoy 10250 - port node kubelet	Semua worker node harus berdekatan dengan lapisan-2 dan tanpa firewall.
Node cluster admin	1024 - 65.535	CIDR pod cluster admin	semua	apa pun	Traffic eksternal SNAT di node pertama dan dikirim ke pod IP.
Node pekerja cluster admin	semua	Node cluster pengguna	22	ssh	Diperlukan untuk kubeception. Komunikasi server API ke kubelet melalui tunnel SSH.
Node cluster admin	1024 - 65.535	IP VM Seesaw LB di cluster admin	2025520257	TCP/http	Pemantauan metrik dan push konfigurasi LB. Hanya diperlukan jika Anda menggunakan Seesaw dengan LBP.
Node cluster admin	1024 - 65.535	Node cluster admin	7946	TCP/UDP	Health check MetalLB. Hanya diperlukan jika Anda menggunakan Bundled LB MetalLB.
Node cluster admin	Semua	VIP bidang kontrol cluster pengguna	443	https	Diperlukan untuk Controlplane V2. Izinkan node dan Pod di cluster admin untuk berkomunikasi dengan server Kubernetes API cluster pengguna.
Node cluster admin	Semua	Node bidang kontrol cluster pengguna	443	https	Diperlukan untuk Controlplane V2. Izinkan node dan Pod di cluster admin untuk berkomunikasi dengan server Kubernetes API dari cluster pengguna menggunakan alamat IP node bidang kontrol cluster pengguna.

Aturan firewall untuk node cluster pengguna

Di node cluster pengguna, alamat IP mereka tercantum dalam file blok IP.

Seperti halnya node cluster admin, Anda tidak tahu alamat IP mana yang akan digunakan untuk node yang mana. Dengan demikian, semua aturan di node cluster pengguna berlaku untuk setiap node cluster pengguna.

Dari	Port sumber	Kepada	Port	Protokol	Deskripsi
Node pekerja cluster pengguna	semua	gcr.io oauth2.googleapis.com storage.googleapis.com Setiap URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster ini	443	TCP/https	Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi.
Node pekerja cluster pengguna	semua	API BIG-IP F5	443	TCP/https
Node pekerja cluster pengguna	semua	VIP server pushprox, yang berjalan di cluster Admin.	8443	TCP/https	Traffic Prometheus.
Node pekerja cluster pengguna	semua	Node pekerja cluster pengguna	semua	22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - metrik envoy 10250 - port node kubelet"	Semua worker node harus berdekatan dengan lapisan-2 dan tanpa firewall.
Node pekerja cluster pengguna	semua	VIP bidang kontrol pengguna	443	TCP/https
Node pekerja cluster pengguna	Semua	VIP bidang kontrol pengguna	8132	GRPC	Diperlukan untuk kubeception. Koneksi konnektivitas.
Node cluster admin	Semua	Server vCenter cluster pengguna	443	https	Izinkan cluster admin untuk mengelola siklus proses cluster pengguna. Diperlukan jika cluster admin dan pengguna memiliki Server vCenter yang berbeda.
Node cluster pengguna	1024 - 65.535	CIDR pod cluster pengguna	semua	apa pun	Traffic eksternal SNAT di node pertama dan dikirim ke pod IP.
Cloud Logging Collector, yang berjalan pada node pekerja cluster pengguna acak	1024 - 65.535	oauth2.googleapis.com logging.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com www.googleapis.com	443	TCP/https
Menghubungkan agen, yang berjalan pada node pekerja cluster pengguna acak.	1024 - 65.535	cloudresourcemanager.googleapis.com gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com	443	TCP/https	Hubungkan traffic.
Cloud Metadata Collector, yang berjalan pada node pekerja cluster pengguna acak	1024 - 65.535	opsconfigmonitoring.googleapis.com	443	TCP/https
Cloud Monitoring Collector, yang berjalan pada node pekerja cluster pengguna acak	1024 - 65.535	oauth2.googleapis.com Monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com	443	TCP/https
Node cluster pengguna	1024 - 65.535	IP VM Seesaw LB di cluster pengguna	2025520257	TCP/http	Pemantauan metrik dan push konfigurasi LB. Hanya diperlukan jika Anda menggunakan Seesaw dengan LBP.
Node cluster pengguna dengan enableLoadBalancer=true	1024 - 65.535	Node cluster pengguna dengan enableLoadBalancer=true	7946	TCP/UDP	Health check MetalLB. Hanya diperlukan jika Anda menggunakan Bundled LB MetalLB.
Jaringan cluster pengguna	semua	VIP bidang kontrol cluster pengguna	443	TCP/https

Aturan firewall untuk komponen lainnya

Aturan ini berlaku untuk semua komponen lain yang tidak tercantum dalam tabel untuk cluster admin dan node cluster pengguna.

Dari	Port sumber	Kepada	Port	Protokol	Deskripsi
CIDR pod cluster admin	1024 - 65.535	CIDR pod cluster admin	semua	apa pun	Traffic inter-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan di dalam CIDR Pod.
CIDR pod cluster admin	1024 - 65.535	Node cluster admin	semua	apa pun	Traffic eksternal traffic eksternal.
CIDR pod cluster pengguna	1024 - 65.535	CIDR pod cluster pengguna	semua	apa pun	Traffic inter-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan di dalam CIDR Pod.
CIDR pod cluster pengguna	1024 - 65.535	Node cluster pengguna	semua	apa pun	Traffic eksternal traffic eksternal.
Klien dan pengguna akhir aplikasi	semua	VIP akses masuk Istio	80, 443	TCP	Traffic pengguna akhir ke layanan ingress cluster pengguna.
Langsung server untuk men-deploy workstation admin	rentang port ephemeral	vCenter Server API IP VMkernel (mgt) ESXi dari host di cluster target	443	TCP/https	Periksa rentang port ephemeral dari `cat /proc/sys/net/ipv4/ip_local_port_range`.
Workstation admin	32.768- 60.999	gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster ini	443	TCP/https	Mendownload image Docker dari registry Docker publik.
Workstation admin	32.768- 60.999	gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Setiap URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk admin atau cluster pengguna VIP server Kubernetes API cluster pengguna IPCenter API VIP cluster pengguna	443	TCP/https	Pemeriksaan preflight (validasi). Saat Anda membuat, mengupdate, mengupgrade, atau menghapus cluster menggunakan gkectl.
Workstation admin	32.768- 60.999	API vCenter Server API BIG-IP F5	443	TCP/https	Cluster admin dibuat. Cluster pengguna dibuat.
Workstation admin	32.768- 60.999	ESXi VMkernel (mgt) IP host di cluster target	443	TCP/https	Workstation admin mengupload OVA ke datastore melalui host ESXi.
Workstation admin	32.768- 60.999	VIP server Kubernetes API cluster admin VIP server Kubernetes API cluster pengguna	443	TCP/https	Cluster admin dibuat. Pembaruan cluster admin. Cluster pengguna dibuat. Update cluster pengguna. Cluster pengguna dihapus.
Workstation admin	32.768- 60.999	Node pekerja dan node bidang kontrol cluster admin	443	TCP/https	Cluster admin dibuat. Upgrade pesawat kontrol.
Workstation admin	32.768- 60.999	Semua node cluster admin dan semua node cluster pengguna	443	TCP/https	Validasi jaringan sebagai bagian dari perintah gkectl check-config.
Workstation admin	32.768- 60.999	VIP ingress Istio di cluster admin VIP ingress Istio cluster pengguna	443	TCP/https	Validasi jaringan sebagai bagian dari perintah gkectl check-config.
Workstation admin	32.768- 60.999	oauth2.googleapis.com logging.googleapis.com monitoring.googleapis.com stackdriver.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com	443	TCP/https	Akses logging dan pemantauan cloud.
Workstation admin	32.768- 60.999	IP VM Seesaw LB di cluster pengguna dan admin Seesaw LB VIP dari cluster admin dan pengguna	20256.20258	TCP/http/gRPC	Health check LB. Hanya diperlukan jika Anda menggunakan Seesaw dengan LBP.
Workstation admin	32.768- 60.999	IP node bidang kontrol cluster	22	TCP	Diperlukan jika Anda memerlukan akses SSH dari workstation admin ke bidang kontrol cluster admin.
Workstation admin	32.768- 60.999	releases.hashicorp.com	443	TCP/https	Opsional. Lihat catatan 2 setelah daftar URL yang akan diizinkan.
IP VM dengan LB	32.768- 60.999	IP node cluster terkait	10256: health check node 30000 - 32767: healthCheckNodePort	TCP/http	Health check node. healthCheckNodePort ditujukan untuk layanan dengan externalTrafficPolicy yang ditetapkan ke Local. Hanya diperlukan jika Anda menggunakan Seesaw dengan LBP.
IP Mandiri F5	1024 - 65.535	Semua admin dan semua node cluster pengguna	30.000 - 32.767	apa pun	Untuk traffic bidang data yang diseimbangkan oleh load balancing F5 BIG-IP melalui server virtual VIP ke port node pada node cluster Kubernetes. Biasanya, IP mandiri F5 berada di jaringan/subnet yang sama dengan node cluster Kubernetes.