Halaman ini menunjukkan cara menyiapkan aturan proxy dan firewall untuk Google Distributed Cloud (khusus software) untuk VMware. Halaman ini ditujukan untuk spesialis Jaringan yang menerapkan sistem keamanan data seperti firewall. Untuk mempelajari lebih lanjut peran umum dan contoh tugas yang kami referensikan dalam konten Google Cloud, lihat Peran dan tugas pengguna GKE Enterprise umum.
Mengizinkan alamat untuk proxy Anda
Jika organisasi Anda mewajibkan traffic keluar untuk melewati server proxy,
tambahkan alamat berikut ke daftar yang diizinkan di server proxy Anda. Perhatikan bahwa
www.googleapis.com diperlukan, bukan googleapis.com:
- dl.google.com 1
- gcr.io
- www.googleapis.com
- accounts.google.com
- anthos.googleapis.com
- anthosgke.googleapis.com
- cloudresourcemanager.googleapis.com
- compute.googleapis.com
- connectgateway.googleapis.com
- container.googleapis.com
- gkeconnect.googleapis.com 2
- gkehub.googleapis.com
- gkeonprem.googleapis.com
- gkeonprem.mtls.googleapis.com
- iam.googleapis.com
- iamcredentials.googleapis.com
- kubernetesmetadata.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- oauth2.googleapis.com
- opsconfigmonitoring.googleapis.com
- securetoken.googleapis.com
- servicecontrol.googleapis.com
- serviceusage.googleapis.com
- storage.googleapis.com
- sts.googleapis.com
- releases.hashicorp.com (Opsional) 3
Catatan:
1 dl.google.com diperlukan oleh penginstal Google Cloud SDK.
2 Jika cluster Anda terdaftar ke fleet menggunakan region Google Cloud, Anda harus mengizinkan REGION-gkeconnect.googleapis.com (misalnya, us-central1-gkeconnect.googleapis.com). Jika Anda tidak menentukan region, cluster akan menggunakan instance layanan Connect global, dan Anda mengizinkan gkeconnect.googleapis.com. Jika Anda perlu menemukan lokasi keanggotaan fleet cluster, jalankan gcloud container fleet memberships list. Untuk mengetahui informasi selengkapnya, lihat gkeConnect.location.
3 Jika tidak menggunakan klien Terraform di
workstation admin untuk menjalankan perintah seperti terraform apply, Anda tidak
perlu mengizinkan releases.hashicorp.com. Jika Anda menggunakan klien Terraform
di workstation admin, Anda dapat mengizinkan releases.hashicorp.com secara opsional
sehingga Anda dapat memeriksa apakah versi klien Terraform yang Anda gunakan adalah
versi terbaru dengan menjalankan
perintah
terraform version.
Selain itu, jika Server vCenter Anda memiliki alamat IP eksternal, tambahkan alamatnya ke daftar yang diizinkan di server proxy.
Aturan firewall untuk cluster admin
Alamat IP cluster admin bergantung pada apakah Controlplane V2 diaktifkan di cluster pengguna dan versi tempat cluster dibuat.
Jika Controlplane V2 diaktifkan, bidang kontrol untuk cluster pengguna akan berjalan di cluster pengguna itu sendiri. Jika Controlplane V2 tidak diaktifkan, control plane untuk cluster pengguna akan berjalan di satu atau beberapa node di cluster admin, yang disebut sebagai kubeception.
Di versi 1.28 dan yang lebih baru, cluster admin HA baru tidak memiliki node add-on.
Alamat IP node add-on cluster admin (jika ada) dan node bidang kontrol cluster pengguna
kubeception tercantum dalam file blok IP
cluster admin. Node bidang kontrol cluster admin dikonfigurasi di bagian network.controlPlaneIPBlock.ips dalam file konfigurasi cluster admin.
Karena alamat IP dalam file blok IP cluster admin tidak ditetapkan ke node tertentu, Anda harus memastikan bahwa semua aturan firewall yang tercantum dalam tabel berikut berlaku untuk semua alamat IP yang tersedia untuk cluster admin.
Siapkan aturan firewall untuk mengizinkan traffic berikut.
Dari |
Port sumber |
Ke |
Port |
Protokol |
Deskripsi |
|---|---|---|---|---|---|
|
Node bidang kontrol cluster admin |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
Pengubahan ukuran cluster. |
|
Node add-on cluster admin |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
Pengelolaan siklus proses cluster pengguna. |
|
Node add-on cluster admin |
32768- 60999 |
VIP server Kubernetes API cluster admin VIP server Kubernetes API cluster pengguna |
443 |
TCP/https |
Pembuatan cluster pengguna. Pembaruan cluster pengguna. Upgrade cluster pengguna. Penghapusan cluster pengguna. |
|
Node bidang kontrol cluster admin |
32768- 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster admin atau pengguna VIP server Kubernetes API cluster pengguna VIP server Kubernetes API cluster admin vCenter Server API Admin cluster F5 BIG_IP API User cluster F5 BIG_IP API Server NTP cluster admin Server NTP cluster pengguna Server DNS cluster admin Server DNS cluster pengguna |
443 |
TCP/https |
Pemeriksaan pra-penerbangan (validasi). Saat Anda membuat, mengupdate, atau mengupgrade cluster pengguna. Saat Anda membuat, mengupdate, atau mengupgrade cluster admin. |
|
Node bidang kontrol cluster admin |
32768- 60999 |
Registry Docker lokal On-premise cluster pengguna |
Bergantung pada registry Anda |
TCP/https |
Pemeriksaan pra-penerbangan (validasi). Diperlukan jika cluster pengguna dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io. Saat Anda membuat atau mengupgrade cluster pengguna. Saat Anda membuat atau mengupgrade cluster admin. |
|
Node bidang kontrol cluster admin |
32768- 60999 |
Node cluster admin Node cluster pengguna VIP Load Balancer cluster admin VIP Load Balancer cluster pengguna |
icmp |
Pemeriksaan pra-penerbangan (validasi). Saat Anda membuat, mengupdate, atau mengupgrade cluster pengguna. Saat Anda membuat, mengupdate, atau mengupgrade cluster admin. |
|
|
Node bidang kontrol cluster admin |
32768- 60999 |
Node pekerja cluster pengguna |
22 |
ssh |
Pemeriksaan pra-penerbangan (validasi). Saat Anda mengupgrade cluster pengguna. Saat Anda mengupgrade cluster admin. |
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
Pengubahan ukuran cluster. |
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
Akses diperlukan untuk pendaftaran armada. Lihat catatan 2 setelah daftar URL yang akan diizinkan. |
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
Registry Docker lokal di tempat |
Bergantung pada registry Anda |
TCP/https |
Wajib jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io. |
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster admin |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
|
Cloud Logging Collector, yang berjalan di node add-on cluster admin |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
|
Cloud Metadata Collector, yang berjalan di node add-on cluster admin |
1024 - 65535 |
opsconfigmonitoring.googleapis.com |
443 |
TCP/https |
|
|
Cloud Monitoring Collector, yang berjalan di node add-on cluster admin |
1024 - 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
|
Node bidang kontrol cluster admin |
1024 - 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
|
Node bidang kontrol cluster admin |
1024 - 65535 |
Registry Docker lokal di tempat |
Bergantung pada registry Anda |
TCP/https |
Wajib jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io. |
|
Node bidang kontrol cluster admin |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster admin |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
|
Node pekerja cluster admin |
1024 - 65535 |
Node pekerja cluster admin |
Semua |
179 - bgp 443 - https 5473 - Calico/Typha 9443 - Metrik Envoy 10250 - port node kubelet |
Semua node pekerja harus berdekatan dengan layer-2 dan tanpa firewall. |
|
Node cluster admin |
1024 - 65535 |
CIDR pod cluster admin |
semua |
apa pun |
Traffic eksternal mendapatkan SNAT di node pertama dan dikirim ke IP pod. |
|
Node pekerja cluster admin |
semua |
Node cluster pengguna |
22 |
ssh |
Diperlukan untuk kubeception. Komunikasi server API ke kubelet melalui tunnel SSH. Langkah ini harus dilewati untuk Controlplane V2. |
|
Node cluster admin |
1024 - 65535 |
IP VM LB Seesaw dari cluster admin |
20255,20257 |
TCP/http |
Pemantauan metrik dan push konfigurasi LB. Hanya diperlukan jika Anda menggunakan LB Seesaw yang dipaketkan. |
|
Node cluster admin |
1024 - 65535 |
Node cluster admin |
7946 |
TCP/UDP |
Health check MetalLB. Hanya diperlukan jika Anda menggunakan LB MetalLB yang dipaketkan. |
|
Node cluster admin |
Semua |
VIP bidang kontrol cluster pengguna |
443 |
https |
Diperlukan untuk Controlplane V2. Mengizinkan node dan Pod di cluster admin untuk berkomunikasi dengan server Kubernetes API cluster pengguna. |
|
Node cluster admin |
Semua |
Node bidang kontrol cluster pengguna |
443 |
https |
Diperlukan untuk Controlplane V2. Izinkan node dan Pod di cluster admin berkomunikasi dengan server Kubernetes API cluster pengguna menggunakan alamat IP node bidang kontrol cluster pengguna. |
Aturan firewall untuk node cluster pengguna
Di node cluster pengguna, alamat IP-nya tercantum dalam file blok IP.
Seperti halnya node cluster admin, Anda tidak tahu alamat IP mana yang akan digunakan untuk node mana. Dengan demikian, semua aturan di node cluster pengguna berlaku untuk setiap node cluster pengguna.
Dari |
Port sumber |
Ke |
Port |
Protokol |
Deskripsi |
|---|---|---|---|---|---|
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
Pengubahan ukuran cluster. |
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
Akses diperlukan untuk pendaftaran armada. Lihat catatan 2 setelah daftar URL yang akan diizinkan. |
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
Registry Docker lokal di tempat |
Bergantung pada registry Anda |
TCP/https |
Wajib jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io. |
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster admin |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
|
Node pekerja cluster pengguna |
semua |
gcr.io oauth2.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster ini |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
|
Node pekerja cluster pengguna |
semua |
F5 BIG-IP API |
443 |
TCP/https |
|
|
Node pekerja cluster pengguna |
semua |
VIP server pushprox, yang berjalan di cluster Admin. |
8443 |
TCP/https |
Traffic Prometheus. |
|
Node pekerja cluster pengguna |
semua |
Node pekerja cluster pengguna |
semua |
22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - metrik envoy 10250 - port node kubelet" |
Semua node pekerja harus berdekatan dengan layer-2 dan tanpa firewall. |
|
Node pekerja cluster pengguna |
semua |
VIP bidang kontrol pengguna |
443 |
TCP/https |
|
|
Node pekerja cluster pengguna |
Semua |
VIP bidang kontrol pengguna |
8132 |
GRPC |
Diperlukan untuk kubeception. Koneksi konektivitas. Langkah ini harus dilewati untuk Controlplane V2. |
|
Node cluster admin |
Semua |
Server vCenter cluster pengguna |
443 |
https |
Izinkan cluster admin mengelola siklus proses cluster pengguna. Diperlukan jika cluster admin dan pengguna memiliki Server vCenter yang berbeda. |
|
Node cluster pengguna |
1024 - 65535 |
CIDR pod cluster pengguna |
semua |
apa pun |
Traffic eksternal mendapatkan SNAT di node pertama dan dikirim ke IP pod. |
|
Cloud Logging Collector, yang berjalan di node pekerja cluster pengguna acak |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
|
Agen koneksi, yang berjalan di node pekerja cluster pengguna acak. |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com |
443 |
TCP/https |
Traffic Connect. Lihat catatan 2 setelah daftar URL yang akan diizinkan. |
|
Cloud Metadata Collector, yang berjalan di node pekerja cluster pengguna acak |
1024 - 65535 |
opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com |
443 |
TCP/https |
|
|
Cloud Monitoring Collector, yang berjalan di node pekerja cluster pengguna acak |
1024 - 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
|
Node cluster pengguna |
1024 - 65535 |
IP VM LB Seesaw dari cluster pengguna |
20255,20257 |
TCP/http |
Pemantauan metrik dan push konfigurasi LB. Hanya diperlukan jika Anda menggunakan LB Seesaw yang dipaketkan. |
|
Pengguna mengelompokkan node dengan enableLoadBalancer=true |
1024 - 65535 |
Pengguna mengelompokkan node dengan enableLoadBalancer=true |
7946 |
TCP/UDP |
Health check MetalLB. Hanya diperlukan jika Anda menggunakan LB MetalLB yang dipaketkan. |
|
Jaringan cluster pengguna |
semua |
VIP bidang kontrol cluster pengguna |
443 |
TCP/https |
Aturan firewall untuk komponen lainnya
Aturan ini berlaku untuk semua komponen lain yang tidak tercantum dalam tabel untuk node cluster admin dan cluster pengguna.
Dari |
Port sumber |
Ke |
Port |
Protokol |
Deskripsi |
|---|---|---|---|---|---|
|
CIDR pod cluster admin |
1024 - 65535 |
CIDR pod cluster admin |
semua |
apa pun |
Traffic antar-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan dalam CIDR Pod. |
|
CIDR pod cluster admin |
1024 - 65535 |
Node cluster admin |
semua |
apa pun |
Menampilkan traffic traffic eksternal. |
|
CIDR pod cluster pengguna |
1024 - 65535 |
CIDR pod cluster pengguna |
semua |
apa pun |
Traffic antar-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan dalam CIDR Pod. |
|
CIDR pod cluster pengguna |
1024 - 65535 |
Node cluster pengguna |
semua |
apa pun |
Menampilkan traffic traffic eksternal. |
|
Klien dan pengguna akhir aplikasi |
semua |
VIP ingress Istio |
80, 443 |
TCP |
Traffic pengguna akhir ke layanan ingress cluster pengguna. |
|
Server jump untuk men-deploy workstation admin |
rentang port ephemeral |
vCenter Server API IP VMkernel (mgt) ESXi dari host di cluster target |
443 |
TCP/https |
Periksa rentang port ephemeral dari `cat /proc/sys/net/ipv4/ip_local_port_range`. |
|
Workstation admin |
32768- 60999 |
gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster ini |
443 |
TCP/https |
Mendownload image Docker dari registry Docker publik. |
|
Workstation admin |
32768- 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster admin atau pengguna VIP server Kubernetes API cluster pengguna VIP server Kubernetes API cluster admin vCenter Server API F5 BIG-IP API |
443 |
TCP/https |
Pemeriksaan pra-penerbangan (validasi). Saat Anda membuat, memperbarui, mengupgrade, atau menghapus
cluster menggunakan |
|
Workstation admin |
32768- 60999 |
vCenter Server API F5 BIG-IP API |
443 |
TCP/https |
Pembuatan cluster admin. Pembuatan cluster pengguna. |
|
Workstation admin |
32768- 60999 |
IP VMkernel (mgt) ESXi host di cluster target |
443 |
TCP/https |
Workstation admin mengupload OVA ke datastore melalui host ESXi. |
|
Workstation admin |
32768- 60999 |
VIP server Kubernetes API cluster admin VIP server Kubernetes API cluster pengguna |
443 |
TCP/https |
Pembuatan cluster admin. Update cluster admin. Pembuatan cluster pengguna. Pembaruan cluster pengguna. Penghapusan cluster pengguna. |
|
Workstation admin |
32768- 60999 |
Node bidang kontrol dan worker node cluster admin |
443 |
TCP/https |
Pembuatan cluster admin. Upgrade bidang kontrol. |
|
Workstation admin |
32768- 60999 |
Semua node cluster admin dan semua node cluster pengguna |
443 |
TCP/https |
Validasi jaringan sebagai bagian dari perintah |
|
Workstation admin |
32768- 60999 |
VIP ingress Istio cluster admin VIP ingress Istio cluster pengguna |
443 |
TCP/https |
Validasi jaringan sebagai bagian dari perintah |
|
Workstation admin |
32768- 60999 |
oauth2.googleapis.com logging.googleapis.com monitoring.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
Akses logging dan pemantauan Cloud. |
|
Workstation admin |
32768- 60999 |
IP VM LB Seesaw di cluster admin dan pengguna VIP LB Seesaw dari cluster admin dan pengguna |
20256,20258 |
TCP/http/gRPC |
Health check LB. Hanya diperlukan jika Anda menggunakan LB Seesaw yang Dipaketkan. |
|
Workstation admin |
32768- 60999 |
IP node bidang kontrol cluster |
22 |
TCP |
Diperlukan jika Anda memerlukan akses SSH dari workstation admin ke panel kontrol cluster admin. |
| Workstation admin | 32768- 60999 | releases.hashicorp.com | 443 | TCP/https | Opsional. Lihat catatan 3 setelah daftar URL yang akan diizinkan. |
|
IP VM LB |
32768- 60999 |
IP node cluster yang sesuai |
10256: health check node |
TCP/http |
Health check node. healthCheckNodePort ditujukan untuk layanan dengan externalTrafficPolicy yang ditetapkan ke Local. Hanya diperlukan jika Anda menggunakan LB Seesaw yang Dipaketkan. |
|
F5 Self-IP |
1024 - 65535 |
Semua node cluster admin dan semua pengguna |
30.000 - 32.767 |
apa pun |
Untuk traffic bidang data yang di-load balance F5 BIG-IP melalui VIP server virtual ke port node di node cluster Kubernetes. Biasanya, IP mandiri F5 berada di jaringan/subnet yang sama dengan node cluster Kubernetes. |