Aturan firewall dan proxy

Halaman ini menunjukkan cara menyiapkan aturan proxy dan firewall untuk Google Distributed Cloud (khusus software) untuk VMware. Halaman ini ditujukan untuk pakar Jaringan yang menerapkan sistem keamanan data seperti {i>firewall<i}. Untuk mempelajari lebih lanjut tentang peran dan contoh tugas yang kami rujuk dalam konten Google Cloud, lihat Peran dan tugas pengguna GKE Enterprise yang umum.

Pemberian izin alamat untuk proxy Anda

Jika organisasi Anda membutuhkan lalu lintas keluar untuk melewati server {i>proxy<i}, memasukkan alamat berikut ke daftar yang diizinkan di server proxy Anda. Perlu diketahui bahwa www.googleapis.com diperlukan, bukan googleapis.com:

  • dl.google.com 1
  • gcr.io
  • www.googleapis.com
  • accounts.google.com
  • anthos.googleapis.com
  • anthosgke.googleapis.com
  • cloudresourcemanager.googleapis.com
  • compute.googleapis.com
  • connectgateway.googleapis.com
  • container.googleapis.com
  • gkeconnect.googleapis.com 2
  • gkehub.googleapis.com
  • gkeonprem.googleapis.com
  • gkeonprem.mtls.googleapis.com
  • iam.googleapis.com
  • iamcredentials.googleapis.com
  • kubernetesmetadata.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • oauth2.googleapis.com
  • opsconfigmonitoring.googleapis.com
  • securetoken.googleapis.com
  • servicecontrol.googleapis.com
  • serviceusage.googleapis.com
  • storage.googleapis.com
  • sts.googleapis.com
  • Release.hashicorp.com (Opsional) 3

Catatan:

1 dl.google.com diperlukan oleh Google Cloud SDK.

2 Jika cluster Anda telah terdaftar di fleet menggunakan region Google Cloud, Anda harus mengizinkan REGION-gkeconnect.googleapis.com (untuk misalnya us-central1-gkeconnect.googleapis.com). Jika Anda tidak menentukan Anda, cluster menggunakan instance layanan Connect global, dan Anda daftar gkeconnect.googleapis.com yang diizinkan. Jika Anda perlu menemukan lokasi keanggotaan fleet, jalankan gcloud container fleet memberships list. Sebagai informasi selengkapnya, lihat gkeConnect.location

3 Jika Anda tidak menggunakan klien Terraform di admin Google Workspace untuk menjalankan perintah seperti terraform apply, maka Anda tidak perlu harus menambahkan releases.hashicorp.com yang diizinkan. Jika Anda menggunakan klien Terraform di workstation admin, Anda juga dapat menambahkan releases.hashicorp.com ke daftar yang diizinkan agar Anda dapat memeriksa apakah versi klien Terraform yang Anda gunakan adalah versi terbaru dengan menjalankan terraform version perintah.

Selain itu, jika Server vCenter Anda memiliki alamat IP eksternal, izinkan alamatnya di server proxy Anda.

Aturan firewall untuk cluster admin

Alamat IP cluster admin bergantung pada apakah Controlplane V2 diaktifkan atau tidak tentang cluster pengguna dan versi cluster yang dibuat.

  • Ketika Controlplane V2 diaktifkan, bidang kontrol untuk cluster pengguna akan berjalan pada cluster pengguna itu sendiri. Ketika Controlplane V2 tidak diaktifkan, kontrol bidang untuk cluster pengguna berjalan di satu atau beberapa node di cluster admin, yang disebut sebagai {i>kubeception<i}.

  • Pada versi 1.28 dan yang lebih tinggi, cluster admin dengan ketersediaan tinggi (HA) baru tidak memiliki node add-on.

Alamat IP node add-on cluster admin (jika ada) dan Kubernetes node bidang kontrol cluster pengguna tercantum di cluster admin File blok IP. Kontrol cluster admin node bidang dikonfigurasi di network.controlPlaneIPBlock.ips di file konfigurasi cluster admin.

Karena alamat IP di file blok IP cluster admin tidak ditetapkan ke {i>node<i} tertentu, Anda harus memastikan bahwa semua aturan {i>firewall<i} yang tercantum di tabel berikut berlaku untuk semua alamat IP yang tersedia untuk admin .

Siapkan aturan firewall untuk mengizinkan traffic berikut.

Dari

Port sumber

Ke

Port

Protokol

Deskripsi

Node bidang kontrol cluster admin

1024 - 65.535

API Server vCenter

443

TCP/https

Pengubahan ukuran cluster.

Node add-on cluster admin

1024 - 65.535

API Server vCenter

443

TCP/https

Pengelolaan siklus proses cluster pengguna.

Node add-on cluster admin

32.768-60.999

VIP server Kubernetes API cluster admin

VIP cluster pengguna Server Kubernetes API

443

TCP/https

Cluster pengguna dibuat.

Update cluster pengguna.

Upgrade cluster pengguna.

Penghapusan cluster pengguna.

Node bidang kontrol cluster admin

32.768-60.999

gcr.io
cloudresourcemanager.googleapis.com
compute.googleapis.com
iam.googleapis.com
oauth2.googleapis.com
serviceusage.googleapis.com
storage.googleapis.com
Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk admin atau cluster pengguna
VIP cluster pengguna Server Kubernetes API
VIP server Kubernetes API cluster admin
API Server vCenter
Cluster admin F5 BIG_IP API
Cluster pengguna F5 BIG_IP API
Server NTP cluster admin
Server NTP cluster pengguna
Server DNS cluster admin
Server DNS cluster pengguna

443

TCP/https

Pemeriksaan preflight (validasi).

Saat Anda membuat, mengupdate, atau mengupgrade cluster pengguna.

Saat Anda membuat, update atau upgrade cluster admin.

Node bidang kontrol cluster admin

32.768-60.999

Cluster pengguna Registry Docker lokal lokal

Bergantung pada registry Anda

TCP/https

Pemeriksaan preflight (validasi).

Wajib ada jika cluster pengguna dikonfigurasi untuk menggunakan cluster registry Docker pribadi, bukan {i>gcr.io<i}.

Saat Anda membuat atau mengupgrade cluster pengguna.

Saat Anda membuat atau mengupgrade cluster admin.

Node bidang kontrol cluster admin

32.768-60.999

Node cluster admin
Node cluster pengguna
VIP Load Balancer cluster admin
VIP Load Balancer cluster pengguna

Icmp

Pemeriksaan preflight (validasi).

Saat Anda membuat, mengupdate, atau mengupgrade cluster pengguna.

Saat Anda membuat, update atau upgrade cluster admin.

Node bidang kontrol cluster admin

32.768-60.999

Node pekerja cluster pengguna

22

ssh

Pemeriksaan preflight (validasi).

Saat Anda mengupgrade cluster pengguna.

Saat Anda mengupgrade cluster admin.

Node bidang kontrol cluster pengguna (khusus kubeception)

1024 - 65.535

API Server vCenter

443

TCP/https

Pengubahan ukuran cluster.

Node bidang kontrol cluster pengguna (khusus kubeception)

1024 - 65.535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com
gkehub.googleapis.com

443

TCP/https

Akses diperlukan untuk pendaftaran fleet. Lihat catatan 2 setelah daftar URL yang akan diizinkan.

Node bidang kontrol cluster pengguna (khusus kubeception)

1024 - 65.535

F5 BIG-IP API

443

TCP/https

Node bidang kontrol cluster pengguna (khusus kubeception)

1024 - 65.535

Registry Docker lokal lokal

Bergantung pada registry Anda

TCP/https

Diperlukan jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi, bukan {i>gcr.io<i}.

Node bidang kontrol cluster pengguna (khusus kubeception)

1024 - 65.535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin
443

TCP/https

Mendownload image dari registry Docker publik.

Tidak diperlukan jika menggunakan registry Docker pribadi.

Cloud Logging Collector, yang berjalan pada node add-on cluster admin

1024 - 65.535

oauth2.googleapis.com
logging.googleapis.com
servicecontrol.googleapis.com
storage.googleapis.com
www.googleapis.com

443

TCP/https

Cloud Metadata Collector, yang berjalan pada node add-on cluster admin

1024 - 65.535

opsconfigmonitoring.googleapis.com

443

TCP/https

Cloud Monitoring Collector, yang berjalan pada node add-on cluster admin

1024 - 65.535

oauth2.googleapis.com
monitoring.googleapis.com

443

TCP/https

Node bidang kontrol cluster admin

1024 - 65.535

F5 BIG-IP API

443

TCP/https

Node bidang kontrol cluster admin

1024 - 65.535

Registry Docker lokal lokal

Bergantung pada registry Anda

TCP/https

Diperlukan jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi, bukan {i>gcr.io<i}.

Node bidang kontrol cluster admin

1024 - 65.535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin

443

TCP/https

Mendownload image dari registry Docker publik.

Tidak diperlukan jika menggunakan registry Docker pribadi.

Node pekerja cluster admin

1024 - 65.535

Node pekerja cluster admin

Semua

179 - bgp

443 - https

5473 - Belacu/Typha

9443 - Metrik Envoy

10250 - port node kubelet

Semua node pekerja harus berdekatan dengan lapisan 2 dan tanpa firewall apa pun.

Node cluster admin

1024 - 65.535

CIDR pod cluster admin

semua

apa pun

Traffic eksternal akan di-SNAT pada node pertama dan dikirim ke IP pod.

Node pekerja cluster admin

semua

Node cluster pengguna

22

ssh

Wajib untuk kubeception. komunikasi server API ke kubelet melalui tunnel SSH. Opsi ini harus dilewati untuk Controlplane V2.

Node cluster admin

1024 - 65.535

IP VM LB Seesaw dari cluster admin

20255,20257

TCP/http

Pemantauan metrik dan push konfigurasi LB. Hanya diperlukan jika Anda menggunakan Paket LB Seesaw.

Node cluster admin

1024 - 65.535

Node cluster admin

7946

TCP/UDP

Health check MetalLB. Hanya diperlukan jika Anda menggunakan LB MetalLB dalam paket.

Node cluster admin

Semua

VIP bidang kontrol cluster pengguna

443

https

Diperlukan untuk Controlplane V2. Mengizinkan node dan Pod di cluster admin untuk berkomunikasi dengan server Kubernetes API dari cluster pengguna.

Node cluster admin

Semua

Node bidang kontrol cluster pengguna

443

https

Diperlukan untuk Controlplane V2. Mengizinkan node dan Pod di cluster admin untuk berkomunikasi dengan server Kubernetes API dari cluster pengguna menggunakan IP alamat node bidang kontrol cluster pengguna.

Aturan firewall untuk node cluster pengguna

Di node cluster pengguna, alamat IP mereka tercantum di bagian File blok IP.

Seperti halnya node cluster admin, Anda tidak tahu alamat IP mana yang akan digunakan untuk node mana. Dengan demikian, semua aturan di node cluster pengguna berlaku untuk setiap node cluster pengguna.

Dari

Port sumber

Ke

Port

Protokol

Deskripsi

Node bidang kontrol cluster pengguna (khusus Controlplane V2)

1024 - 65.535

API Server vCenter

443

TCP/https

Pengubahan ukuran cluster.

Node bidang kontrol cluster pengguna (khusus Controlplane V2)

1024 - 65.535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com
gkehub.googleapis.com

443

TCP/https

Akses diperlukan untuk pendaftaran fleet. Lihat catatan 2 setelah daftar URL yang akan diizinkan.

Node bidang kontrol cluster pengguna (khusus Controlplane V2)

1024 - 65.535

Registry Docker lokal lokal

Bergantung pada registry Anda

TCP/https

Diperlukan jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi, bukan {i>gcr.io<i}.

Node bidang kontrol cluster pengguna (khusus Controlplane V2)

1024 - 65.535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin
443

TCP/https

Mendownload image dari registry Docker publik.

Tidak diperlukan jika menggunakan registry Docker pribadi.

Node bidang kontrol cluster pengguna (khusus Controlplane V2)

1024 - 65.535

F5 BIG-IP API

443

TCP/https

Node pekerja cluster pengguna

semua

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster ini

443

TCP/https

Mendownload image dari registry Docker publik.

Tidak diperlukan jika menggunakan registry Docker pribadi.

Node pekerja cluster pengguna

semua

F5 BIG-IP API

443

TCP/https

Node pekerja cluster pengguna

semua

VIP server pushprox, yang berjalan di cluster Admin.

8443

TCP/https

Traffic Prometheus.

Node pekerja cluster pengguna

semua

Node pekerja cluster pengguna

semua

22 - ssh

179 - bgp

443 - https

5473 - calico-typha

9443 - metrik envoy

10250 - port node kubelet"

Semua node pekerja harus berdekatan dengan lapisan 2 dan tanpa firewall apa pun.

Node pekerja cluster pengguna

semua

VIP bidang kontrol pengguna

443

TCP/https

Node pekerja cluster pengguna

Semua

VIP bidang kontrol pengguna

8132

GRPC

Wajib untuk kubeception. Koneksi konektivitas. Opsi ini harus dilewati untuk Controlplane V2.

Node cluster admin

Semua

Server vCenter cluster pengguna

443

https

Izinkan cluster admin mengelola siklus proses cluster pengguna. Diperlukan jika admin dan cluster pengguna memiliki Server vCenter yang berbeda.

Node cluster pengguna

1024 - 65.535

CIDR pod cluster pengguna

semua

apa pun

Traffic eksternal akan di-SNAT pada node pertama dan dikirim ke IP pod.

Cloud Logging Collector, yang berjalan pada pengguna acak node pekerja cluster

1024 - 65.535

oauth2.googleapis.com
logging.googleapis.com
servicecontrol.googleapis.com
www.googleapis.com

443

TCP/https

Menghubungkan agen, yang berjalan pada node pekerja cluster pengguna acak.

1024 - 65.535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com
gkehub.googleapis.com
www.googleapis.com
iam.googleapis.com
iamcredentials.googleapis.com
oauth2.googleapis.com
securetoken.googleapis.com
sts.googleapis.com
accounts.google.com

443

TCP/https

Connect Agent kemacetan. Lihat catatan 2 setelah daftar URL untuk daftar yang disetujui.

Cloud Metadata Collector, yang berjalan pada pengguna acak node pekerja cluster

1024 - 65.535

opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com

443

TCP/https

Cloud Monitoring Collector, yang berjalan pada pengguna acak node pekerja cluster

1024 - 65.535

oauth2.googleapis.com
monitoring.googleapis.com

443

TCP/https

Node cluster pengguna

1024 - 65.535

IP VM LB Seesaw dari cluster pengguna

20255,20257

TCP/http

Pemantauan metrik dan push konfigurasi LB. Hanya diperlukan jika Anda menggunakan Paket LB Seesaw.

Node cluster pengguna dengan enableLoadBalancer=true

1024 - 65.535

Node cluster pengguna dengan enableLoadBalancer=true

7946

TCP/UDP

Health check MetalLB. Hanya diperlukan jika Anda menggunakan LB MetalLB dalam paket.

Jaringan cluster pengguna

semua

VIP bidang kontrol cluster pengguna

443

TCP/https

Aturan firewall untuk komponen lainnya

Aturan ini berlaku untuk semua komponen lain yang tidak tercantum dalam tabel untuk cluster admin dan node cluster pengguna.

Dari

Port sumber

Ke

Port

Protokol

Deskripsi

CIDR pod cluster admin

1024 - 65.535

CIDR pod cluster admin

semua

apa pun

Traffic antar-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan dalam CIDR Pod.

CIDR pod cluster admin

1024 - 65.535

Node cluster admin

semua

apa pun

Menampilkan traffic dari traffic eksternal.

CIDR pod cluster pengguna

1024 - 65.535

CIDR pod cluster pengguna

semua

apa pun

Traffic antar-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan dalam CIDR Pod.

CIDR pod cluster pengguna

1024 - 65.535

Node cluster pengguna

semua

apa pun

Menampilkan traffic dari traffic eksternal.

Klien dan pengguna akhir aplikasi

semua

VIP masuknya Istio

80, 443

TCP

Traffic pengguna akhir ke layanan masuk cluster pengguna.

Beralih ke server untuk men-deploy workstation admin

rentang port efemeral

API Server vCenter
IP ESXi VMkernel (mgt) host di cluster target

443

TCP/https

Periksa rentang port ephemeral dari `cat /proc/sys/net/ipv4/ip_local_port_range`.

Workstation admin

32.768-60.999

gcr.io
cloudresourcemanager.googleapis.com
oauth2.googleapis.com
storage.googleapis.com
Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster ini

443

TCP/https

Mendownload image Docker dari registry Docker publik.

Workstation admin

32.768-60.999

gcr.io
cloudresourcemanager.googleapis.com
compute.googleapis.com
iam.googleapis.com
oauth2.googleapis.com
serviceusage.googleapis.com
storage.googleapis.com
Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk admin atau cluster pengguna
VIP cluster pengguna Server Kubernetes API
VIP server Kubernetes API cluster admin
API Server vCenter
F5 BIG-IP API

443

TCP/https

Pemeriksaan preflight (validasi).

Saat Anda membuat, mengupdate, mengupgrade, atau menghapus cluster menggunakan gkectl.

Workstation admin

32.768-60.999

API Server vCenter

F5 BIG-IP API

443

TCP/https

Cluster admin dibuat.

Cluster pengguna dibuat.

Workstation admin

32.768-60.999

IP ESXi VMkernel (mgt) host di cluster target

443

TCP/https

Workstation admin mengupload OVA ke datastore melalui ESXi {i>host<i}.

Workstation admin

32.768-60.999

VIP server Kubernetes API cluster admin

VIP cluster pengguna Server Kubernetes API

443

TCP/https

Cluster admin dibuat.

Update cluster admin.

Cluster pengguna dibuat.

Update cluster pengguna.

Penghapusan cluster pengguna.

Workstation admin

32.768-60.999

Node bidang kontrol dan node pekerja cluster admin

443

TCP/https

Cluster admin dibuat.

Upgrade bidang kontrol.

Workstation admin

32.768-60.999

Semua node cluster admin dan semua node cluster pengguna

443

TCP/https

Validasi jaringan sebagai bagian dari gkectl check-config perintah.

Workstation admin

32.768-60.999

VIP untuk masuknya Istio di cluster admin

VIP cluster pengguna Traffic masuk Istio

443

TCP/https

Validasi jaringan sebagai bagian dari gkectl check-config perintah.

Workstation admin

32.768-60.999

oauth2.googleapis.com
logging.googleapis.com
monitoring.googleapis.com
servicecontrol.googleapis.com
storage.googleapis.com
www.googleapis.com

443

TCP/https

Akses logging dan pemantauan cloud.

Workstation admin

32.768-60.999

IP VM Seesaw LB di cluster admin dan pengguna

Melihat VIP LBP cluster admin dan pengguna

20256,20258

TCP/http/gRPC

Health check LB. Hanya diperlukan jika Anda menggunakan Bundled LB Seesaw.

Workstation admin

32.768-60.999

IP node bidang kontrol cluster

22

TCP

Diperlukan jika Anda memerlukan akses SSH dari workstation admin ke admin bidang kontrol cluster.

Workstation admin 32.768-60.999 releases.hashicorp.com 443 TCP/https Opsional. Lihat catatan 3 setelah daftar URL untuk daftar yang disetujui.

IP VM LB

32.768-60.999

IP node dari cluster yang sesuai

10256: health check node
30.000 - 32767: healthCheckNodePort

TCP/http

Health check node. healthCheckNodePort ditujukan untuk layanan dengan externalTrafficPolicy ditetapkan ke Local. Hanya diperlukan jika Anda menggunakan Bundled LB Seesaw.

IP Mandiri F5

1024 - 65.535

Semua node cluster pengguna dan admin

30.000 - 32.767

apa pun

Untuk traffic bidang data yang diseimbangkan oleh load balancing F5 BIG-IP melalui VIP server ke port node pada node cluster Kubernetes.

Biasanya {i>self-ip<i} F5 berada di jaringan/subnet yang sama dengan Node cluster Kubernetes.