Dokumen ini menguraikan persyaratan jaringan untuk menginstal dan mengoperasikan GKE di Bare Metal.
Persyaratan jaringan eksternal
GKE di Bare Metal memerlukan koneksi internet untuk tujuan operasional. GKE di Bare Metal mengambil komponen cluster dari Container Registry, dan cluster didaftarkan dengan Connect.
Anda dapat terhubung ke Google menggunakan internet publik melalui HTTPS, jaringan pribadi virtual (VPN), atau koneksi Dedicated Interconnect.
Jika mesin yang Anda gunakan untuk workstation admin dan node cluster menggunakan server proxy untuk mengakses internet, server proxy Anda harus mengizinkan beberapa koneksi tertentu. Untuk mengetahui detailnya, lihat bagian prasyarat di Menginstal di belakang proxy.
Persyaratan jaringan internal
GKE di Bare Metal dapat berfungsi dengan konektivitas Lapisan 2 atau Lapisan 3 antara node cluster. Node load balancer dapat berupa node bidang kontrol atau sekumpulan node khusus. Untuk mengetahui informasi selengkapnya, baca Memilih dan mengonfigurasi load balancer.
Saat Anda menggunakan load balancing Bundled Layer 2 dengan
MetalLB (spec.loadBalancer.mode: bundled
dan spec.loadBalancer.type: layer2), node load balancer memerlukan kedekatan
Lapisan 2. Persyaratan adjacency Lapisan 2 berlaku baik saat Anda menjalankan load balancer pada node bidang kontrol maupun pada kumpulan node load balancing khusus.
Load balancing yang dipaketkan dengan BGP mendukung
protokol Lapisan 3, sehingga tidak diperlukan pengujian Lapisan 2 yang ketat.
Persyaratan untuk mesin load balancer adalah sebagai berikut:
- Untuk load balancing Lapisan 2 Paket, semua load balancer untuk cluster tertentu berada di domain Lapisan 2 yang sama. Node bidang kontrol juga harus berada dalam domain Lapisan 2 yang sama.
- Untuk load balancing Lapisan 2 Paket, semua alamat IP virtual (VIP) harus berada dalam subnet mesin load balancer dan dapat dirutekan ke gateway subnet.
- Pengguna bertanggung jawab untuk mengizinkan traffic load balancer masuk.
Jaringan pod
GKE pada Bare Metal 1.7.0 dan versi yang lebih baru memungkinkan Anda mengonfigurasi hingga 250 pod per node. Kubernetes menetapkan blok Classless Inter-Domain Routing (CIDR) ke setiap node, sehingga setiap pod dapat memiliki alamat IP yang unik. Ukuran blok CIDR sesuai dengan jumlah maksimum pod per node. Tabel berikut mencantumkan ukuran blok CIDR yang ditetapkan Kubernetes ke setiap node berdasarkan pod maksimum yang dikonfigurasi per node:
| Pod maksimum per node | Blok CIDR per node | Jumlah alamat IP |
|---|---|---|
| 32 | /26 | 64 |
| 33 – 64 | /25 | 128 |
| 65 – 128 | /24 | 256 |
| 129 - 250 | /23 | 512 |
Menjalankan 250 pod per node mengharuskan Kubernetes untuk mencadangkan blok CIDR /23
untuk setiap node. Dengan asumsi bahwa cluster Anda menggunakan nilai default /16
untuk kolom clusterNetwork.pods.cidrBlocks, cluster Anda memiliki
batas (2(23-16))=128 node. Jika ingin mengembangkan cluster di luar batas ini, Anda dapat meningkatkan nilai clusterNetwork.pods.cidrBlocks atau mengurangi nilai nodeConfig.podDensity.maxPodsPerNode. Metode ini memiliki beberapa kelemahan.
Deployment cluster pengguna tunggal dengan ketersediaan tinggi
Diagram berikut mengilustrasikan sejumlah konsep jaringan utama bagi GDCV untuk Bare Metal dalam satu kemungkinan konfigurasi jaringan.
Pertimbangkan informasi berikut untuk memenuhi persyaratan jaringan:
- Node bidang kontrol menjalankan load balancer, dan semuanya memiliki konektivitas Lapisan 2, sedangkan koneksi lain, termasuk node pekerja, hanya memerlukan konektivitas Lapisan 3.
- File konfigurasi menentukan alamat IP untuk kumpulan node pekerja.
File konfigurasi juga menentukan VIP untuk tujuan
berikut:
- Service
- Masuk
- Akses bidang kontrol melalui Kubernetes API
- Anda memerlukan koneksi ke Google Cloud.
Penggunaan port
Bagian ini menunjukkan cara penggunaan port UDP dan TCP pada node cluster dan load balancer.
Node bidang kontrol
| Protocol | Arah | Rentang port | Tujuan | Digunakan oleh |
|---|---|---|---|---|
| UDP | Masuk | 6081 | GENEVE Enkapsulasi | Milik sendiri |
| TCP | Masuk | 22 | Penyediaan dan pembaruan node cluster admin | Workstation admin |
| TCP | Masuk | 6444 | Server Kubernetes API | Semua |
| TCP | Masuk | 2.379 - 2.381 | API klien server etcd | kube-apiserver dan etcd |
| TCP | Masuk | 2.382 - 2.384 | API klien server etcd-events | kube-apiserver dan etcd-events |
| TCP | Masuk | 10250 | kubelet API | Bidang mandiri dan kontrol |
| TCP | Masuk | 10251 | kube-scheduler | Milik sendiri |
| TCP | Masuk | 10252 | kube-controller-manager | Milik sendiri |
| TCP | Masuk | 10256 | Health check node | Semua |
| TCP | Keduanya | 4240 | Health check CNI | Semua |
Node pekerja
| Protocol | Arah | Rentang port | Tujuan | Digunakan oleh |
|---|---|---|---|---|
| TCP | Masuk | 22 | Penyediaan dan pembaruan node cluster pengguna | Node cluster admin |
| UDP | Masuk | 6081 | GENEVE Enkapsulasi | Milik sendiri |
| TCP | Masuk | 10250 | kubelet API | Bidang mandiri dan kontrol |
| TCP | Masuk | 10256 | Health check node | Semua |
| TCP | Masuk | 30.000 - 32.767 | Layanan NodePort | Milik sendiri |
| TCP | Keduanya | 4240 | Health check CNI | Semua |
Node load balancer
| Protocol | Arah | Rentang port | Tujuan | Digunakan oleh |
|---|---|---|---|---|
| TCP | Masuk | 22 | Penyediaan dan pembaruan node cluster pengguna | Node cluster admin |
| UDP | Masuk | 6081 | GENEVE Enkapsulasi | Milik sendiri |
| TCP | Masuk | 443* | Pengelolaan cluster | Semua |
| TCP | Keduanya | 4240 | Health check CNI | Semua |
| TCP | Masuk | 7946 | Health check LB Metal | node load balancer |
| UDP | Masuk | 7946 | Health check LB Metal | node load balancer |
| TCP | Masuk | 10256 | Health check node | Semua |
* Port ini dapat dikonfigurasi di konfigurasi cluster, menggunakan kolom controlPlaneLBPort.
Persyaratan port multi-cluster
Dalam konfigurasi multi-cluster, cluster yang ditambahkan harus menyertakan port berikut agar dapat berkomunikasi dengan cluster admin.
| Protocol | Arah | Rentang port | Tujuan | Digunakan oleh |
|---|---|---|---|---|
| TCP | Masuk | 22 | Penyediaan dan update node cluster | Semua node |
| TCP | Masuk | 443* | Server Kubernetes API untuk cluster yang ditambahkan | Node bidang kontrol dan load balancer |
* Port ini dapat dikonfigurasi di konfigurasi cluster, menggunakan kolom controlPlaneLBPort.
Mengonfigurasi port yang dilindungi firewall
Anda tidak perlu menonaktifkan firewall untuk menjalankan GKE di Bare Metal di Red
Hat Enterprise Linux (RHEL) atau CentOS. Untuk menggunakan firewall, Anda harus membuka port UDP dan TCP yang digunakan oleh node bidang kontrol, pekerja, dan load balancer seperti yang dijelaskan dalam Penggunaan port di halaman ini. Contoh konfigurasi berikut
menunjukkan cara membuka port dengan firewall-cmd, utilitas command line
yang dijadikan firewall. Anda harus menjalankan perintah sebagai pengguna root.
Contoh konfigurasi node bidang kontrol
Blok perintah berikut menunjukkan contoh cara membuka port yang diperlukan pada server yang menjalankan node bidang kontrol:
firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-port=4240/tcp
firewall-cmd --permanent --zone=public --add-port=6444/tcp
firewall-cmd --permanent --zone=public --add-port=6081/udp
firewall-cmd --permanent --zone=public --add-port=10250-10252/tcp
firewall-cmd --permanent --zone=public --add-port=10256/tcp
firewall-cmd --permanent --zone=public --add-port=2379-2380/tcp
firewall-cmd --permanent --zone=public --add-port=443/tcp
firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
firewall-cmd --permanent --new-zone=k8s-pods
firewall-cmd --permanent --zone=k8s-pods --add-source PODS_CIDR
firewall-cmd --permanent --zone=k8s-pods --set-target=ACCEPT
firewall-cmd --reload
Ganti PODS_CIDR dengan blok CIDR yang disediakan untuk pod Anda yang dikonfigurasi di kolom clusterNetwork.pods.cidrBlocks. Blok CIDR default untuk pod adalah 192.168.0.0/16.
Konfigurasi contoh node pekerja
Blok perintah berikut menunjukkan contoh cara membuka port yang diperlukan pada server yang menjalankan worker node:
firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-port=4240/tcp
firewall-cmd --permanent --zone=public --add-port=6444/tcp
firewall-cmd --permanent --zone=public --add-port=6081/udp
firewall-cmd --permanent --zone=public --add-port=10250/tcp
firewall-cmd --permanent --zone=public --add-port=10256/tcp
firewall-cmd --permanent --zone=public --add-port=443/tcp
firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
firewall-cmd --permanent --new-zone=k8s-pods
firewall-cmd --permanent --zone=k8s-pods --add-source PODS_CIDR
firewall-cmd --permanent --zone=k8s-pods --set-target=ACCEPT
firewall-cmd --reload
Ganti PODS_CIDR dengan blok CIDR yang disediakan untuk pod Anda yang dikonfigurasi di kolom clusterNetwork.pods.cidrBlocks. Blok CIDR default untuk pod adalah 192.168.0.0/16.
Konfigurasi contoh node load balancer
Blok perintah berikut menunjukkan contoh cara membuka port yang diperlukan pada server yang menjalankan node load balancer:
firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-port=4240/tcp
firewall-cmd --permanent --zone=public --add-port=6444/tcp
firewall-cmd --permanent --zone=public --add-port=7946/tcp
firewall-cmd --permanent --zone=public --add-port=7946/udp
firewall-cmd --permanent --zone=public --add-port=6081/udp
firewall-cmd --permanent --zone=public --add-port=10250/tcp
firewall-cmd --permanent --zone=public --add-port=10256/tcp
firewall-cmd --permanent --zone=public --add-port=443/tcp
firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
firewall-cmd --permanent --new-zone=k8s-pods
firewall-cmd --permanent --zone=k8s-pods --add-source PODS_CIDR
firewall-cmd --permanent --zone=k8s-pods --set-target=ACCEPT
firewall-cmd --reload
Ganti PODS_CIDR dengan blok CIDR yang disediakan untuk pod Anda yang dikonfigurasi di kolom clusterNetwork.pods.cidrBlocks. Blok CIDR default untuk pod adalah 192.168.0.0/16.
Konfirmasi konfigurasi port Anda
Untuk memverifikasi konfigurasi port Anda, gunakan langkah-langkah berikut pada node bidang kontrol, pekerja, dan load balancer:
Jalankan perintah Network Mapper berikut untuk melihat port yang terbuka:
nmap localhostJalankan perintah berikut untuk mendapatkan setelan konfigurasi firewall:
firewall-cmd --zone=public --list-all-policies firewall-cmd --zone=public --list-ports firewall-cmd --zone=public --list-services firewall-cmd --zone=k8s-pods --list-all-policies firewall-cmd --zone=k8s-pods --list-ports firewall-cmd --zone=k8s-pods --list-servicesJika perlu, jalankan kembali perintah dari bagian sebelumnya untuk mengonfigurasi node Anda dengan benar. Anda mungkin perlu menjalankan perintah sebagai pengguna root.
Masalah umum untuk firewall
Saat menjalankan GKE di Bare Metal dengan firewalld yang diaktifkan di CentOS atau Red Hat Enterprise Linux (RHEL), perubahan pada firewalld dapat menghapus rantai iptables Cilium di jaringan host. Rantai iptables ditambahkan oleh
Pod anetd saat dimulai. Hilangnya rantai iptables Cilium menyebabkan Pod di Node kehilangan konektivitas jaringan di luar Node.
Perubahan pada firewalld yang menghapus rantai iptables mencakup, tetapi tidak
terbatas pada:
Memulai ulang
firewalld, menggunakansystemctlMemuat ulang
firewallddengan klien command line (firewall-cmd --reload)
Untuk menerapkan perubahan firewalld tanpa menghapus rantai iptables, mulai ulang anetd
di Node:
Temukan dan hapus Pod
anetddengan perintah berikut untuk memulai ulanganetd:kubectl get pods -n kube-system kubectl delete pods -n kube-system ANETD_XYZGanti ANETD_XYZ dengan nama Pod
anetd.