Persyaratan jaringan

Dokumen ini menguraikan persyaratan jaringan untuk menginstal dan mengoperasikan GKE di Bare Metal.

Persyaratan jaringan eksternal

GKE di Bare Metal memerlukan koneksi internet untuk tujuan operasional. GKE di Bare Metal mengambil komponen cluster dari Container Registry, dan cluster didaftarkan dengan Connect.

Anda dapat terhubung ke Google menggunakan internet publik melalui HTTPS, jaringan pribadi virtual (VPN), atau koneksi Dedicated Interconnect.

Jika mesin yang Anda gunakan untuk workstation admin dan node cluster menggunakan server proxy untuk mengakses internet, server proxy Anda harus mengizinkan beberapa koneksi tertentu. Untuk mengetahui detailnya, lihat bagian prasyarat di Menginstal di belakang proxy.

Persyaratan jaringan internal

GKE di Bare Metal dapat berfungsi dengan konektivitas Lapisan 2 atau Lapisan 3 antara node cluster. Node load balancer dapat berupa node bidang kontrol atau sekumpulan node khusus. Untuk mengetahui informasi selengkapnya, baca Memilih dan mengonfigurasi load balancer.

Saat Anda menggunakan load balancing Bundled Layer 2 dengan MetalLB (spec.loadBalancer.mode: bundled dan spec.loadBalancer.type: layer2), node load balancer memerlukan kedekatan Lapisan 2. Persyaratan adjacency Lapisan 2 berlaku baik saat Anda menjalankan load balancer pada node bidang kontrol maupun pada kumpulan node load balancing khusus. Load balancing yang dipaketkan dengan BGP mendukung protokol Lapisan 3, sehingga tidak diperlukan pengujian Lapisan 2 yang ketat.

Persyaratan untuk mesin load balancer adalah sebagai berikut:

  • Untuk load balancing Lapisan 2 Paket, semua load balancer untuk cluster tertentu berada di domain Lapisan 2 yang sama. Node bidang kontrol juga harus berada dalam domain Lapisan 2 yang sama.
  • Untuk load balancing Lapisan 2 Paket, semua alamat IP virtual (VIP) harus berada dalam subnet mesin load balancer dan dapat dirutekan ke gateway subnet.
  • Pengguna bertanggung jawab untuk mengizinkan traffic load balancer masuk.

Jaringan pod

GKE pada Bare Metal 1.7.0 dan versi yang lebih baru memungkinkan Anda mengonfigurasi hingga 250 pod per node. Kubernetes menetapkan blok Classless Inter-Domain Routing (CIDR) ke setiap node, sehingga setiap pod dapat memiliki alamat IP yang unik. Ukuran blok CIDR sesuai dengan jumlah maksimum pod per node. Tabel berikut mencantumkan ukuran blok CIDR yang ditetapkan Kubernetes ke setiap node berdasarkan pod maksimum yang dikonfigurasi per node:

Pod maksimum per node Blok CIDR per node Jumlah alamat IP
32 /26 64
33 – 64 /25 128
65 – 128 /24 256
129 - 250 /23 512

Menjalankan 250 pod per node mengharuskan Kubernetes untuk mencadangkan blok CIDR /23 untuk setiap node. Dengan asumsi bahwa cluster Anda menggunakan nilai default /16 untuk kolom clusterNetwork.pods.cidrBlocks, cluster Anda memiliki batas (2(23-16))=128 node. Jika ingin mengembangkan cluster di luar batas ini, Anda dapat meningkatkan nilai clusterNetwork.pods.cidrBlocks atau mengurangi nilai nodeConfig.podDensity.maxPodsPerNode. Metode ini memiliki beberapa kelemahan.

Deployment cluster pengguna tunggal dengan ketersediaan tinggi

Diagram berikut mengilustrasikan sejumlah konsep jaringan utama bagi GDCV untuk Bare Metal dalam satu kemungkinan konfigurasi jaringan.

Konfigurasi jaringan umum GKE pada Bare Metal

Pertimbangkan informasi berikut untuk memenuhi persyaratan jaringan:

  • Node bidang kontrol menjalankan load balancer, dan semuanya memiliki konektivitas Lapisan 2, sedangkan koneksi lain, termasuk node pekerja, hanya memerlukan konektivitas Lapisan 3.
  • File konfigurasi menentukan alamat IP untuk kumpulan node pekerja. File konfigurasi juga menentukan VIP untuk tujuan berikut:
    • Service
    • Masuk
    • Akses bidang kontrol melalui Kubernetes API
  • Anda memerlukan koneksi ke Google Cloud.

Penggunaan port

Bagian ini menunjukkan cara penggunaan port UDP dan TCP pada node cluster dan load balancer.

Node bidang kontrol

ProtocolArahRentang portTujuanDigunakan oleh
UDPMasuk6081GENEVE EnkapsulasiMilik sendiri
TCPMasuk22Penyediaan dan pembaruan node cluster adminWorkstation admin
TCPMasuk6444Server Kubernetes APISemua
TCPMasuk2.379 - 2.381API klien server etcdkube-apiserver dan etcd
TCPMasuk2.382 - 2.384API klien server etcd-eventskube-apiserver dan etcd-events
TCPMasuk10250kubelet APIBidang mandiri dan kontrol
TCPMasuk10251kube-schedulerMilik sendiri
TCPMasuk10252kube-controller-managerMilik sendiri
TCPMasuk10256Health check nodeSemua
TCPKeduanya4240Health check CNISemua

Node pekerja

ProtocolArahRentang portTujuanDigunakan oleh
TCPMasuk22Penyediaan dan pembaruan node cluster penggunaNode cluster admin
UDPMasuk6081GENEVE EnkapsulasiMilik sendiri
TCPMasuk10250kubelet APIBidang mandiri dan kontrol
TCPMasuk10256Health check nodeSemua
TCPMasuk30.000 - 32.767Layanan NodePortMilik sendiri
TCPKeduanya4240Health check CNISemua

Node load balancer

ProtocolArahRentang portTujuanDigunakan oleh
TCPMasuk22Penyediaan dan pembaruan node cluster penggunaNode cluster admin
UDPMasuk6081GENEVE EnkapsulasiMilik sendiri
TCPMasuk443*Pengelolaan clusterSemua
TCPKeduanya4240Health check CNISemua
TCPMasuk7946Health check LB Metalnode load balancer
UDPMasuk7946Health check LB Metalnode load balancer
TCPMasuk10256Health check nodeSemua

* Port ini dapat dikonfigurasi di konfigurasi cluster, menggunakan kolom controlPlaneLBPort.

Persyaratan port multi-cluster

Dalam konfigurasi multi-cluster, cluster yang ditambahkan harus menyertakan port berikut agar dapat berkomunikasi dengan cluster admin.

ProtocolArahRentang portTujuanDigunakan oleh
TCPMasuk22Penyediaan dan update node clusterSemua node
TCPMasuk443*Server Kubernetes API untuk cluster yang ditambahkanNode bidang kontrol dan load balancer

* Port ini dapat dikonfigurasi di konfigurasi cluster, menggunakan kolom controlPlaneLBPort.

Mengonfigurasi port yang dilindungi firewall

Anda tidak perlu menonaktifkan firewall untuk menjalankan GKE di Bare Metal di Red Hat Enterprise Linux (RHEL) atau CentOS. Untuk menggunakan firewall, Anda harus membuka port UDP dan TCP yang digunakan oleh node bidang kontrol, pekerja, dan load balancer seperti yang dijelaskan dalam Penggunaan port di halaman ini. Contoh konfigurasi berikut menunjukkan cara membuka port dengan firewall-cmd, utilitas command line yang dijadikan firewall. Anda harus menjalankan perintah sebagai pengguna root.

Contoh konfigurasi node bidang kontrol

Blok perintah berikut menunjukkan contoh cara membuka port yang diperlukan pada server yang menjalankan node bidang kontrol:

firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-port=4240/tcp
firewall-cmd --permanent --zone=public --add-port=6444/tcp
firewall-cmd --permanent --zone=public --add-port=6081/udp
firewall-cmd --permanent --zone=public --add-port=10250-10252/tcp
firewall-cmd --permanent --zone=public --add-port=10256/tcp
firewall-cmd --permanent --zone=public --add-port=2379-2380/tcp
firewall-cmd --permanent --zone=public --add-port=443/tcp
firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
firewall-cmd --permanent --new-zone=k8s-pods
firewall-cmd --permanent --zone=k8s-pods --add-source PODS_CIDR
firewall-cmd --permanent --zone=k8s-pods --set-target=ACCEPT
firewall-cmd --reload

Ganti PODS_CIDR dengan blok CIDR yang disediakan untuk pod Anda yang dikonfigurasi di kolom clusterNetwork.pods.cidrBlocks. Blok CIDR default untuk pod adalah 192.168.0.0/16.

Konfigurasi contoh node pekerja

Blok perintah berikut menunjukkan contoh cara membuka port yang diperlukan pada server yang menjalankan worker node:

firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-port=4240/tcp
firewall-cmd --permanent --zone=public --add-port=6444/tcp
firewall-cmd --permanent --zone=public --add-port=6081/udp
firewall-cmd --permanent --zone=public --add-port=10250/tcp
firewall-cmd --permanent --zone=public --add-port=10256/tcp
firewall-cmd --permanent --zone=public --add-port=443/tcp
firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
firewall-cmd --permanent --new-zone=k8s-pods
firewall-cmd --permanent --zone=k8s-pods --add-source PODS_CIDR
firewall-cmd --permanent --zone=k8s-pods --set-target=ACCEPT
firewall-cmd --reload

Ganti PODS_CIDR dengan blok CIDR yang disediakan untuk pod Anda yang dikonfigurasi di kolom clusterNetwork.pods.cidrBlocks. Blok CIDR default untuk pod adalah 192.168.0.0/16.

Konfigurasi contoh node load balancer

Blok perintah berikut menunjukkan contoh cara membuka port yang diperlukan pada server yang menjalankan node load balancer:

firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-port=4240/tcp
firewall-cmd --permanent --zone=public --add-port=6444/tcp
firewall-cmd --permanent --zone=public --add-port=7946/tcp
firewall-cmd --permanent --zone=public --add-port=7946/udp
firewall-cmd --permanent --zone=public --add-port=6081/udp
firewall-cmd --permanent --zone=public --add-port=10250/tcp
firewall-cmd --permanent --zone=public --add-port=10256/tcp
firewall-cmd --permanent --zone=public --add-port=443/tcp
firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
firewall-cmd --permanent --new-zone=k8s-pods
firewall-cmd --permanent --zone=k8s-pods --add-source PODS_CIDR
firewall-cmd --permanent --zone=k8s-pods --set-target=ACCEPT
firewall-cmd --reload

Ganti PODS_CIDR dengan blok CIDR yang disediakan untuk pod Anda yang dikonfigurasi di kolom clusterNetwork.pods.cidrBlocks. Blok CIDR default untuk pod adalah 192.168.0.0/16.

Konfirmasi konfigurasi port Anda

Untuk memverifikasi konfigurasi port Anda, gunakan langkah-langkah berikut pada node bidang kontrol, pekerja, dan load balancer:

  1. Jalankan perintah Network Mapper berikut untuk melihat port yang terbuka:

    nmap localhost
    
  2. Jalankan perintah berikut untuk mendapatkan setelan konfigurasi firewall:

    firewall-cmd --zone=public --list-all-policies
    firewall-cmd --zone=public --list-ports
    firewall-cmd --zone=public --list-services
    firewall-cmd --zone=k8s-pods --list-all-policies
    firewall-cmd --zone=k8s-pods --list-ports
    firewall-cmd --zone=k8s-pods --list-services
    
  3. Jika perlu, jalankan kembali perintah dari bagian sebelumnya untuk mengonfigurasi node Anda dengan benar. Anda mungkin perlu menjalankan perintah sebagai pengguna root.

Masalah umum untuk firewall

Saat menjalankan GKE di Bare Metal dengan firewalld yang diaktifkan di CentOS atau Red Hat Enterprise Linux (RHEL), perubahan pada firewalld dapat menghapus rantai iptables Cilium di jaringan host. Rantai iptables ditambahkan oleh Pod anetd saat dimulai. Hilangnya rantai iptables Cilium menyebabkan Pod di Node kehilangan konektivitas jaringan di luar Node.

Perubahan pada firewalld yang menghapus rantai iptables mencakup, tetapi tidak terbatas pada:

  • Memulai ulang firewalld, menggunakan systemctl

  • Memuat ulang firewalld dengan klien command line (firewall-cmd --reload)

Untuk menerapkan perubahan firewalld tanpa menghapus rantai iptables, mulai ulang anetd di Node:

  1. Temukan dan hapus Pod anetd dengan perintah berikut untuk memulai ulang anetd:

    kubectl get pods -n kube-system kubectl delete pods -n kube-system ANETD_XYZ
    

    Ganti ANETD_XYZ dengan nama Pod anetd.