Halaman ini menunjukkan cara menyiapkan aturan proxy dan firewall untuk Google Distributed Cloud (khusus software) untuk VMware. Halaman ini ditujukan untuk pakar Jaringan yang menerapkan sistem keamanan data seperti {i>firewall<i}. Untuk mempelajari lebih lanjut tentang peran dan contoh tugas yang kami rujuk dalam konten Google Cloud, lihat Peran dan tugas pengguna GKE Enterprise yang umum.
Pemberian izin alamat untuk proxy Anda
Jika organisasi Anda membutuhkan
lalu lintas keluar untuk melewati server {i>proxy<i},
memasukkan alamat berikut ke daftar yang diizinkan di server proxy Anda. Perlu diketahui bahwa
www.googleapis.com
diperlukan, bukan googleapis.com
:
- dl.google.com 1
- gcr.io
- www.googleapis.com
- accounts.google.com
- anthos.googleapis.com
- anthosgke.googleapis.com
- cloudresourcemanager.googleapis.com
- compute.googleapis.com
- connectgateway.googleapis.com
- container.googleapis.com
- gkeconnect.googleapis.com 2
- gkehub.googleapis.com
- gkeonprem.googleapis.com
- gkeonprem.mtls.googleapis.com
- iam.googleapis.com
- iamcredentials.googleapis.com
- kubernetesmetadata.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- oauth2.googleapis.com
- opsconfigmonitoring.googleapis.com
- securetoken.googleapis.com
- servicecontrol.googleapis.com
- serviceusage.googleapis.com
- storage.googleapis.com
- sts.googleapis.com
- Release.hashicorp.com (Opsional) 3
Catatan:
1 dl.google.com
diperlukan oleh Google Cloud
SDK.
2 Jika cluster Anda telah terdaftar di fleet
menggunakan region Google Cloud, Anda harus mengizinkan
REGION-gkeconnect.googleapis.com
(untuk
misalnya us-central1-gkeconnect.googleapis.com
). Jika Anda tidak menentukan
Anda, cluster menggunakan instance layanan Connect global, dan Anda
daftar gkeconnect.googleapis.com
yang diizinkan. Jika Anda perlu menemukan
lokasi keanggotaan fleet, jalankan gcloud container fleet memberships list
. Sebagai
informasi selengkapnya, lihat
gkeConnect.location
3 Jika Anda tidak menggunakan klien Terraform di
admin Google Workspace untuk menjalankan perintah
seperti terraform apply
, maka Anda tidak perlu
harus menambahkan releases.hashicorp.com
yang diizinkan. Jika Anda menggunakan klien Terraform
di workstation admin, Anda juga dapat menambahkan releases.hashicorp.com
ke daftar yang diizinkan
agar Anda dapat memeriksa apakah versi
klien Terraform yang Anda gunakan adalah
versi terbaru dengan menjalankan
terraform version
perintah.
Selain itu, jika Server vCenter Anda memiliki alamat IP eksternal, izinkan alamatnya di server proxy Anda.
Aturan firewall untuk cluster admin
Alamat IP cluster admin bergantung pada apakah Controlplane V2 diaktifkan atau tidak tentang cluster pengguna dan versi cluster yang dibuat.
Ketika Controlplane V2 diaktifkan, bidang kontrol untuk cluster pengguna akan berjalan pada cluster pengguna itu sendiri. Ketika Controlplane V2 tidak diaktifkan, kontrol bidang untuk cluster pengguna berjalan di satu atau beberapa node di cluster admin, yang disebut sebagai {i>kubeception<i}.
Pada versi 1.28 dan yang lebih tinggi, cluster admin dengan ketersediaan tinggi (HA) baru tidak memiliki node add-on.
Alamat IP node add-on cluster admin (jika ada) dan Kubernetes
node bidang kontrol cluster pengguna tercantum di cluster admin
File blok IP. Kontrol cluster admin
node bidang dikonfigurasi di network.controlPlaneIPBlock.ips
di file konfigurasi cluster admin.
Karena alamat IP di file blok IP cluster admin tidak ditetapkan ke {i>node<i} tertentu, Anda harus memastikan bahwa semua aturan {i>firewall<i} yang tercantum di tabel berikut berlaku untuk semua alamat IP yang tersedia untuk admin .
Siapkan aturan firewall untuk mengizinkan traffic berikut.
Dari |
Port sumber |
Ke |
Port |
Protokol |
Deskripsi |
---|---|---|---|---|---|
Node bidang kontrol cluster admin |
1024 - 65.535 |
API Server vCenter |
443 |
TCP/https |
Pengubahan ukuran cluster. |
Node add-on cluster admin |
1024 - 65.535 |
API Server vCenter |
443 |
TCP/https |
Pengelolaan siklus proses cluster pengguna. |
Node add-on cluster admin |
32.768-60.999 |
VIP server Kubernetes API cluster admin VIP cluster pengguna Server Kubernetes API |
443 |
TCP/https |
Cluster pengguna dibuat. Update cluster pengguna. Upgrade cluster pengguna. Penghapusan cluster pengguna. |
Node bidang kontrol cluster admin |
32.768-60.999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk admin atau cluster pengguna VIP cluster pengguna Server Kubernetes API VIP server Kubernetes API cluster admin API Server vCenter Cluster admin F5 BIG_IP API Cluster pengguna F5 BIG_IP API Server NTP cluster admin Server NTP cluster pengguna Server DNS cluster admin Server DNS cluster pengguna |
443 |
TCP/https |
Pemeriksaan preflight (validasi). Saat Anda membuat, mengupdate, atau mengupgrade cluster pengguna. Saat Anda membuat, update atau upgrade cluster admin. |
Node bidang kontrol cluster admin |
32.768-60.999 |
Cluster pengguna Registry Docker lokal lokal |
Bergantung pada registry Anda |
TCP/https |
Pemeriksaan preflight (validasi). Wajib ada jika cluster pengguna dikonfigurasi untuk menggunakan cluster registry Docker pribadi, bukan {i>gcr.io<i}. Saat Anda membuat atau mengupgrade cluster pengguna. Saat Anda membuat atau mengupgrade cluster admin. |
Node bidang kontrol cluster admin |
32.768-60.999 |
Node cluster admin Node cluster pengguna VIP Load Balancer cluster admin VIP Load Balancer cluster pengguna |
Icmp |
Pemeriksaan preflight (validasi). Saat Anda membuat, mengupdate, atau mengupgrade cluster pengguna. Saat Anda membuat, update atau upgrade cluster admin. |
|
Node bidang kontrol cluster admin |
32.768-60.999 |
Node pekerja cluster pengguna |
22 |
ssh |
Pemeriksaan preflight (validasi). Saat Anda mengupgrade cluster pengguna. Saat Anda mengupgrade cluster admin. |
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65.535 |
API Server vCenter |
443 |
TCP/https |
Pengubahan ukuran cluster. |
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65.535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
Akses diperlukan untuk pendaftaran fleet. Lihat catatan 2 setelah daftar URL yang akan diizinkan. |
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65.535 |
F5 BIG-IP API |
443 |
TCP/https |
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65.535 |
Registry Docker lokal lokal |
Bergantung pada registry Anda |
TCP/https |
Diperlukan jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi, bukan {i>gcr.io<i}. |
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65.535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
Cloud Logging Collector, yang berjalan pada node add-on cluster admin |
1024 - 65.535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
Cloud Metadata Collector, yang berjalan pada node add-on cluster admin |
1024 - 65.535 |
opsconfigmonitoring.googleapis.com |
443 |
TCP/https |
|
Cloud Monitoring Collector, yang berjalan pada node add-on cluster admin |
1024 - 65.535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
Node bidang kontrol cluster admin |
1024 - 65.535 |
F5 BIG-IP API |
443 |
TCP/https |
|
Node bidang kontrol cluster admin |
1024 - 65.535 |
Registry Docker lokal lokal |
Bergantung pada registry Anda |
TCP/https |
Diperlukan jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi, bukan {i>gcr.io<i}. |
Node bidang kontrol cluster admin |
1024 - 65.535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
Node pekerja cluster admin |
1024 - 65.535 |
Node pekerja cluster admin |
Semua |
179 - bgp 443 - https 5473 - Belacu/Typha 9443 - Metrik Envoy 10250 - port node kubelet |
Semua node pekerja harus berdekatan dengan lapisan 2 dan tanpa firewall apa pun. |
Node cluster admin |
1024 - 65.535 |
CIDR pod cluster admin |
semua |
apa pun |
Traffic eksternal akan di-SNAT pada node pertama dan dikirim ke IP pod. |
Node pekerja cluster admin |
semua |
Node cluster pengguna |
22 |
ssh |
Wajib untuk kubeception. komunikasi server API ke kubelet melalui tunnel SSH. Opsi ini harus dilewati untuk Controlplane V2. |
Node cluster admin |
1024 - 65.535 |
IP VM LB Seesaw dari cluster admin |
20255,20257 |
TCP/http |
Pemantauan metrik dan push konfigurasi LB. Hanya diperlukan jika Anda menggunakan Paket LB Seesaw. |
Node cluster admin |
1024 - 65.535 |
Node cluster admin |
7946 |
TCP/UDP |
Health check MetalLB. Hanya diperlukan jika Anda menggunakan LB MetalLB dalam paket. |
Node cluster admin |
Semua |
VIP bidang kontrol cluster pengguna |
443 |
https |
Diperlukan untuk Controlplane V2. Mengizinkan node dan Pod di cluster admin untuk berkomunikasi dengan server Kubernetes API dari cluster pengguna. |
Node cluster admin |
Semua |
Node bidang kontrol cluster pengguna |
443 |
https |
Diperlukan untuk Controlplane V2. Mengizinkan node dan Pod di cluster admin untuk berkomunikasi dengan server Kubernetes API dari cluster pengguna menggunakan IP alamat node bidang kontrol cluster pengguna. |
Aturan firewall untuk node cluster pengguna
Di node cluster pengguna, alamat IP mereka tercantum di bagian File blok IP.
Seperti halnya node cluster admin, Anda tidak tahu alamat IP mana yang akan digunakan untuk node mana. Dengan demikian, semua aturan di node cluster pengguna berlaku untuk setiap node cluster pengguna.
Dari |
Port sumber |
Ke |
Port |
Protokol |
Deskripsi |
---|---|---|---|---|---|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65.535 |
API Server vCenter |
443 |
TCP/https |
Pengubahan ukuran cluster. |
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65.535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
Akses diperlukan untuk pendaftaran fleet. Lihat catatan 2 setelah daftar URL yang akan diizinkan. |
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65.535 |
Registry Docker lokal lokal |
Bergantung pada registry Anda |
TCP/https |
Diperlukan jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi, bukan {i>gcr.io<i}. |
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65.535 |
gcr.io oauth2.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65.535 |
F5 BIG-IP API |
443 |
TCP/https |
|
Node pekerja cluster pengguna |
semua |
gcr.io oauth2.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster ini |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
Node pekerja cluster pengguna |
semua |
F5 BIG-IP API |
443 |
TCP/https |
|
Node pekerja cluster pengguna |
semua |
VIP server pushprox, yang berjalan di cluster Admin. |
8443 |
TCP/https |
Traffic Prometheus. |
Node pekerja cluster pengguna |
semua |
Node pekerja cluster pengguna |
semua |
22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - metrik envoy 10250 - port node kubelet" |
Semua node pekerja harus berdekatan dengan lapisan 2 dan tanpa firewall apa pun. |
Node pekerja cluster pengguna |
semua |
VIP bidang kontrol pengguna |
443 |
TCP/https |
|
Node pekerja cluster pengguna |
Semua |
VIP bidang kontrol pengguna |
8132 |
GRPC |
Wajib untuk kubeception. Koneksi konektivitas. Opsi ini harus dilewati untuk Controlplane V2. |
Node cluster admin |
Semua |
Server vCenter cluster pengguna |
443 |
https |
Izinkan cluster admin mengelola siklus proses cluster pengguna. Diperlukan jika admin dan cluster pengguna memiliki Server vCenter yang berbeda. |
Node cluster pengguna |
1024 - 65.535 |
CIDR pod cluster pengguna |
semua |
apa pun |
Traffic eksternal akan di-SNAT pada node pertama dan dikirim ke IP pod. |
Cloud Logging Collector, yang berjalan pada pengguna acak node pekerja cluster |
1024 - 65.535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
Menghubungkan agen, yang berjalan pada node pekerja cluster pengguna acak. |
1024 - 65.535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com |
443 |
TCP/https |
Connect Agent kemacetan. Lihat catatan 2 setelah daftar URL untuk daftar yang disetujui. |
Cloud Metadata Collector, yang berjalan pada pengguna acak node pekerja cluster |
1024 - 65.535 |
opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com |
443 |
TCP/https |
|
Cloud Monitoring Collector, yang berjalan pada pengguna acak node pekerja cluster |
1024 - 65.535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
Node cluster pengguna |
1024 - 65.535 |
IP VM LB Seesaw dari cluster pengguna |
20255,20257 |
TCP/http |
Pemantauan metrik dan push konfigurasi LB. Hanya diperlukan jika Anda menggunakan Paket LB Seesaw. |
Node cluster pengguna dengan enableLoadBalancer=true |
1024 - 65.535 |
Node cluster pengguna dengan enableLoadBalancer=true |
7946 |
TCP/UDP |
Health check MetalLB. Hanya diperlukan jika Anda menggunakan LB MetalLB dalam paket. |
Jaringan cluster pengguna |
semua |
VIP bidang kontrol cluster pengguna |
443 |
TCP/https |
Aturan firewall untuk komponen lainnya
Aturan ini berlaku untuk semua komponen lain yang tidak tercantum dalam tabel untuk cluster admin dan node cluster pengguna.
Dari |
Port sumber |
Ke |
Port |
Protokol |
Deskripsi |
---|---|---|---|---|---|
CIDR pod cluster admin |
1024 - 65.535 |
CIDR pod cluster admin |
semua |
apa pun |
Traffic antar-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan dalam CIDR Pod. |
CIDR pod cluster admin |
1024 - 65.535 |
Node cluster admin |
semua |
apa pun |
Menampilkan traffic dari traffic eksternal. |
CIDR pod cluster pengguna |
1024 - 65.535 |
CIDR pod cluster pengguna |
semua |
apa pun |
Traffic antar-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan dalam CIDR Pod. |
CIDR pod cluster pengguna |
1024 - 65.535 |
Node cluster pengguna |
semua |
apa pun |
Menampilkan traffic dari traffic eksternal. |
Klien dan pengguna akhir aplikasi |
semua |
VIP masuknya Istio |
80, 443 |
TCP |
Traffic pengguna akhir ke layanan masuk cluster pengguna. |
Beralih ke server untuk men-deploy workstation admin |
rentang port efemeral |
API Server vCenter IP ESXi VMkernel (mgt) host di cluster target |
443 |
TCP/https |
Periksa rentang port ephemeral dari `cat /proc/sys/net/ipv4/ip_local_port_range`. |
Workstation admin |
32.768-60.999 |
gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster ini |
443 |
TCP/https |
Mendownload image Docker dari registry Docker publik. |
Workstation admin |
32.768-60.999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk admin atau cluster pengguna VIP cluster pengguna Server Kubernetes API VIP server Kubernetes API cluster admin API Server vCenter F5 BIG-IP API |
443 |
TCP/https |
Pemeriksaan preflight (validasi). Saat Anda membuat, mengupdate, mengupgrade, atau menghapus
cluster menggunakan |
Workstation admin |
32.768-60.999 |
API Server vCenter F5 BIG-IP API |
443 |
TCP/https |
Cluster admin dibuat. Cluster pengguna dibuat. |
Workstation admin |
32.768-60.999 |
IP ESXi VMkernel (mgt) host di cluster target |
443 |
TCP/https |
Workstation admin mengupload OVA ke datastore melalui ESXi {i>host<i}. |
Workstation admin |
32.768-60.999 |
VIP server Kubernetes API cluster admin VIP cluster pengguna Server Kubernetes API |
443 |
TCP/https |
Cluster admin dibuat. Update cluster admin. Cluster pengguna dibuat. Update cluster pengguna. Penghapusan cluster pengguna. |
Workstation admin |
32.768-60.999 |
Node bidang kontrol dan node pekerja cluster admin |
443 |
TCP/https |
Cluster admin dibuat. Upgrade bidang kontrol. |
Workstation admin |
32.768-60.999 |
Semua node cluster admin dan semua node cluster pengguna |
443 |
TCP/https |
Validasi jaringan sebagai bagian dari |
Workstation admin |
32.768-60.999 |
VIP untuk masuknya Istio di cluster admin VIP cluster pengguna Traffic masuk Istio |
443 |
TCP/https |
Validasi jaringan sebagai bagian dari |
Workstation admin |
32.768-60.999 |
oauth2.googleapis.com logging.googleapis.com monitoring.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
Akses logging dan pemantauan cloud. |
Workstation admin |
32.768-60.999 |
IP VM Seesaw LB di cluster admin dan pengguna Melihat VIP LBP cluster admin dan pengguna |
20256,20258 |
TCP/http/gRPC |
Health check LB. Hanya diperlukan jika Anda menggunakan Bundled LB Seesaw. |
Workstation admin |
32.768-60.999 |
IP node bidang kontrol cluster |
22 |
TCP |
Diperlukan jika Anda memerlukan akses SSH dari workstation admin ke admin bidang kontrol cluster. |
Workstation admin | 32.768-60.999 | releases.hashicorp.com | 443 | TCP/https | Opsional. Lihat catatan 3 setelah daftar URL untuk daftar yang disetujui. |
IP VM LB |
32.768-60.999 |
IP node dari cluster yang sesuai |
10256: health check node |
TCP/http |
Health check node. healthCheckNodePort ditujukan untuk layanan dengan externalTrafficPolicy ditetapkan ke Local. Hanya diperlukan jika Anda menggunakan Bundled LB Seesaw. |
IP Mandiri F5 |
1024 - 65.535 |
Semua node cluster pengguna dan admin |
30.000 - 32.767 |
apa pun |
Untuk traffic bidang data yang diseimbangkan oleh load balancing F5 BIG-IP melalui VIP server ke port node pada node cluster Kubernetes. Biasanya {i>self-ip<i} F5 berada di jaringan/subnet yang sama dengan Node cluster Kubernetes. |