Memahami resource kustom ClusterCIDRConfig

Version 1.15 

• Terbaru
• Versi 1.16
• Versi sebelumnya (tidak didukung)

Ringkasan

ClusterCIDRConfig adalah resource pengalokasi CIDR kustom yang memungkinkan Anda mengalokasikan lebih banyak rentang alamat IP untuk Pod secara dinamis.

Pengelolaan Alamat IP (IPAM) memungkinkan penggunaan subnet IP yang efisien dan menghindari tumpang-tindih dalam rentang alamat, yang mencegah konflik dan pemadaman jaringan. Kubernetes menetapkan CIDR Pod per node, yang digunakan sebagai alamat IP untuk Pod yang berjalan pada node tersebut.

Kubernetes NodeIPAM saat ini memiliki batasan berikut:

• Semua CIDR Pod dialokasikan dari satu CIDR cluster. Anda harus menentukan seluruh rentang alamat IP yang memperhitungkan cluster terbesar pada saat pembuatan cluster. Keterbatasan ini dapat membuang-buang alamat IP.

• Jika ukuran cluster bertambah, akan sulit untuk menambahkan alamat IP lainnya.

• CIDR {i>Cluster<i} adalah satu rentang yang besar. Mungkin sulit untuk menemukan blok alamat IP yang berdekatan yang memenuhi kebutuhan cluster.

• Setiap node mendapatkan rentang IP berukuran tetap dalam cluster. Jika node memiliki ukuran dan kapasitas yang berbeda, Anda tidak dapat mengalokasikan rentang Pod yang lebih besar ke node tertentu dengan kapasitas lebih besar dan rentang yang lebih kecil ke node dengan kapasitas yang lebih rendah. Ini membuang banyak alamat IP. Untuk cluster besar dengan banyak node, pemborosan ini akan bertambah di semua node dalam cluster.

Dengan fungsi ClusterCIDRConfig, Anda dapat menghindari penetapan blok CIDR besar ke cluster, memetakan ukuran cluster ke skala Pod, sehingga mempertahankan alamat IP. Anda dapat menyimpan alamat IP menggunakan ClusterCIDRConfigs dengan berbagai kombinasi CIDR dan perNodeMaskSize. Resource ClusterCIDRConfig mendukung hal berikut:

• Beberapa blok CIDR IP yang tidak berdekatan untuk CIDR cluster pada tingkat yang lebih terperinci

• Afinitas node blok CIDR

• Ukuran blok berbeda yang dialokasikan ke node

GKE di Bare Metal menggunakan fungsi ClusterCIDRConfig pada fitur berikut:

• Jaringan stack ganda IPv4/IPv6

• Mengimplementasikan model jaringan mode IPv4 datar

• Mengimplementasikan model jaringan mode datar dengan dukungan BGP

Cluster.spec.clusterNetwork.pods.cidrBlocks adalah kolom opsional dan tidak ditentukan secara default. Anda harus menentukannya jika salah satu fitur dari daftar sebelumnya belum menentukannya. Misalnya, hal ini diperlukan saat cluster dibuat dalam mode pulau IPv4 dan harus ditentukan karena digunakan sebagai CIDR pemilihan rute native.

Tabel berikut mencantumkan penggunaan perilaku kolom Cluster.spec.clusterNetwork.pods.cidrBlocks ClusterCIDRConfig untuk berbagai mode jaringan.

Mode Jaringan	Nilai ClusterCIDRConfig
Pulau IPv4 (default)	(Kolom wajib diisi) Tentukan Cluster.spec.clusterNetwork.pods.cidrBlocks.
IPv4 Flat (default)	Cluster.spec.clusterNetwork.pods.cidrBlocks sepenuhnya diabaikan dan dapat dilewati. Pengguna harus secara eksplisit menentukan ClusterCIDRConfig (per node, per nodepool, dan/atau per cluster).
Tumpukan ganda (Pulau IPv4, IPv4 Datar)	Tentukan CIDR IPv4. Jangan tentukan CIDR IPv6 di Cluster.spec.clusterNetwork.pods.cidrBlocks. Menentukan ClusterCIDRConfigs dengan CIDR IPv4 dan IPv6. CIDR IPv4 yang dikonfigurasi di semua ClusterCIDRConfig harus sama dengan CIDR IPv4 dari Cluster.spec.clusterNetwork.pods.cidrBlocks, termasuk nilai PerNodeMask untuk IPv4. Untuk informasi selengkapnya tentang ClusterCIDRConfig dan contoh penggunaannya, lihat Contoh: Dualstack (IPv4 island, IPv6 Flat)
Dual-stack (IPv4 Rata, IPv6 Datar)	Anda dapat melewati Cluster.spec.clusterNetwork.pods.cidrBlocks karena pesan ini sepenuhnya diabaikan. Anda harus secara eksplisit menentukan ClusterCIDRConfigs (per-node, per-nodepool, dan/atau per-cluster) dengan CIDR IPv4 dan IPv6.

Mengonfigurasi resource pengalokasi CIDR kustom ClusterCIDRConfig

ClusterCIDRConfig

Saat Anda mengonfigurasi resource pengalokasi CIDR kustom ClusterCIDRConfig, pertimbangkan poin-poin berikut:

• Penetapan CIDR pod dari ClusterCIDRConfig tertentu ke node didasarkan pada pemilih label. Hal ini mirip dengan mekanisme nodeSelector yang digunakan untuk menjadwalkan Pod pada node.

• Anda harus mengonfigurasi ClusterCIDRConfig selama proses pembuatan cluster di file YAML konfigurasi cluster. Setelah menentukan ClusterCIDRConfigs, Anda tidak dapat mengubah nilai tersebut di lain waktu.

• Anda dapat menentukan beberapa ClusterCIDRConfig dengan CIDR yang tumpang-tindih.

• Jika tidak ditemukan ClusterCIDRConfig yang cocok untuk sebuah node, node tersebut tetap dalam status NotReady, sampai ClusterCIDRConfig dengan label yang cocok dibuat.

• Jika pencocokan terbaik ClusterCIDRConfig tidak memiliki lebih banyak CIDR yang tersedia untuk alokasi, CIDR terbaik berikutnya akan dipilih dan CIDR Pod dialokasikan dari CIDR yang tersedia.

• Untuk model dual-stack, jika Anda ingin menetapkan CIDR Pod dual-stack ke node, lakukan hal berikut:

  • Mengonfigurasi CIDR IPv4 dan IPv6 di ClusterCIDRConfig.

  • Pastikan semua ClusterCIDRConfig memiliki CIDR DualStack, jika beberapa ClusterCIDRConfig dikonfigurasi.

  • Pastikan CIDR IPv4 dan IPv6 yang dikonfigurasi memiliki jumlah alamat IP yang dapat dialokasikan per node yang sama.

  Contoh, 32 - spec.IPv4.PerNodeMaskSize == 128 - spec.IPv6.PerNodeMaskSize

  spec.IPv4.PerNodeMaskSize = 24

  spec.IPv6.PerNodeMaskSize = 120

  Jadi, 32 - 24 == 128 - 120, karena selisihnya adalah 8.

• Beberapa ClusterCIDRConfig dapat mencocokkan label dari nodeSelector ke label node.

Aturan penetapan ClusterCIDRConfig

Untuk menentukan ClusterCIDRConfig yang digunakan untuk menetapkan CIDR Pod ke node saat ini, gunakan aturan pemecahan masalah berikut. Terapkan aturan ini dalam urutan yang ditentukan. Terapkan aturan berikutnya hanya jika nilai yang sama tidak rusak oleh aturan sebelumnya.

1. Pilih ClusterCIDRConfig yang NodeSelector-nya cocok dengan label paling banyak di Node. Misalnya, {'node.kubernetes.io/instance-type':'medium', 'rack': 'rack1'} (Match Count: 2) dipilih sebelum {'node.kubernetes.io/instance-type': 'medium'}. (Match Count: 1).

2. Pilih ClusterCIDRConfig dengan CIDR Pod yang dapat dialokasikan paling sedikit. Misalnya, {CIDR: "10.0.0.0/16", PerNodeMaskSize: "16"} (1 possible Pod CIDR) dipilih sebelum {CIDR: "192.168.0.0/20", PerNodeMaskSize: "22"} (4 possible Pod CIDRs).

3. Pilih ClusterCIDRConfig yang PerNodeMaskSize-nya memiliki alamat IP paling sedikit. Misalnya, 27 (2^(32-27)= 32 alamat IP) dipilih sebelum 25 (2^(32-25)=128 alamat IP).

4. Pilih ClusterCIDRConfig yang label NodeSelector yang cocok memiliki nilai alfanumerik yang lebih rendah. Misalnya, {'kubernetes.io/hostname': 'node-1'} dipilih daripada {'node.kubernetes.io/instance-type':'medium'}.

5. Pilih ClusterCIDRConfig yang IP CIDR-nya memiliki nilai lebih rendah. Terlepas dari apakah konfigurasinya adalah konfigurasi IPv4 atau DualStack, hanya CIDR IPv4 yang akan dibandingkan. Misalnya, {CIDR: "10.0.0.0/16"} is picked over {CIDR: "192.168.0.0/16"}.

Contoh konfigurasi

Bagian ini mencantumkan contoh konfigurasi untuk Cluster dan ClusterCIDRConfig untuk semua mode jaringan.

Perhatian: Jangan gunakan contoh berikut seperti yang muncul di sini. Ganti rentang alamat dengan nilai yang sesuai untuk jaringan Anda.

Contoh: Mode Pulau IPv4 (Default)

Konfigurasi Cluster (Default)

    apiVersion: baremetal.cluster.gke.io/v1
    kind: Cluster
    metadata:
      name: bm-cluster
      namespace: cluster-default
    spec:
    ...
      clusterNetwork:
        # Pods specify the IP ranges from which pod networks are allocated.
        pods:
          cidrBlocks:
          - 192.168.0.0/16
        services:
          cidrBlocks:
          - 10.96.0.0/12

      ... (other cluster config omitted)
  

Contoh: Mode Datar IPv4

Konfigurasi Cluster

  apiVersion: baremetal.cluster.gke.io/v1
  kind: Cluster
  metadata:
    name: bm-cluster
    namespace: cluster-default
  spec:
  ...
    clusterNetwork:
      flatIPv4: true
      services:
        cidrBlocks:
        - 10.96.0.0/12

    ... (other cluster config omitted)
  

ClusterCIDRConfig

Contoh 1: Mengonfigurasi Per Node ClusterCIDRConfig

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node1
      namespace: cluster-default    # Cluster namespace
    spec:
      ipv4:
        cidr: "222.1.0.0/24"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-1
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node2
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.1.0/24"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-2
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node3
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.2.0/24"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-3

  

Contoh 2: Contoh untuk menentukan PodCIDR lebar NodePool

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk Static Flat IP (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk Dynamic Flat IP (dengan BGP): Dapat digunakan bahkan saat node menjangkau beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: nodepool-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.2.0.0/18"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          baremetal.cluster.gke.io/node-pool: workers
  

Contoh 3: Mengonfigurasi PodCIDR seluruh Cluster - Tidak ada nodeSelector yang dikonfigurasi

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk Static Flat IP (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk Dynamic Flat IP (dengan BGP): Dapat digunakan bahkan saat node menjangkau beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.3.0.0/16"
        perNodeMaskSize: 24
  

Contoh: Dualstack (Pulau IPv4, IPv6 Flat)

Konfigurasi Cluster

  apiVersion: baremetal.cluster.gke.io/v1
  kind: Cluster
  metadata:
    name: bm-cluster
    namespace: cluster-default
  spec:
  ...
    clusterNetwork:
      # Pods specify the IP ranges from which pod networks are allocated.
      pods:
        cidrBlocks:
        - 192.168.0.0/16
      services:
        cidrBlocks:
        - 10.96.0.0/12
        # Additional IPv6 cidrBlock, determines if the cluster is DualStack
        - 2620:0:1000:2630:5:2::/112

    ... (other cluster config omitted)
  

ClusterCIDRConfig

Contoh 1: Mengonfigurasi Per Node ClusterCIDRConfig

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node1
      namespace: cluster-default    # Cluster namespace
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:1::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-1
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node2
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:2::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-2
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node3
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-3
    

Contoh 2: Contoh untuk menentukan PodCIDR lebar NodePool

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk Static Flat IP (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk Dynamic Flat IP (dengan BGP): Dapat digunakan bahkan saat node menjangkau beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: nodepool-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 118
      nodeSelector:
        matchLabels:
          baremetal.cluster.gke.io/node-pool: workers
    

Contoh 3: Mengonfigurasi PodCIDR seluruh Cluster - Tidak ada nodeSelector yang dikonfigurasi

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk Static Flat IP (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk Dynamic Flat IP (dengan BGP): Dapat digunakan bahkan saat node menjangkau beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 120
    

Contoh: Dualstack (IPv4 Flat, IPv6 Flat)

Konfigurasi Cluster

    apiVersion: baremetal.cluster.gke.io/v1
    kind: Cluster
    metadata:
      name: bm-cluster
      namespace: cluster-default
    spec:
    ...
      clusterNetwork:
        flatIPv4: true
        services:
          cidrBlocks:
          - 10.96.0.0/12
          # Additional IPv6 cidrBlock, determines if the cluster is DualStack
          - 2620:0:1000:2630:5:2::/112

      ... (other cluster config omitted)
  

ClusterCIDRConfig

Contoh 1: Mengonfigurasi Per Node ClusterCIDRConfig

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk Static Flat IP (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk Dynamic Flat IP (dengan BGP): Dapat digunakan bahkan saat node menjangkau beberapa subdomain.

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node1
      namespace: cluster-default    # Cluster namespace
    spec:
      ipv4:
        cidr: "222.1.0.0/24"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:1::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-1
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node2
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.1.0/24"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:2::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-2
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node3
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.2.0/24"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-3
    

Contoh 2: Contoh untuk menentukan PodCIDR lebar NodePool

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk Static Flat IP (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk Dynamic Flat IP (dengan BGP): Dapat digunakan bahkan saat node menjangkau beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: nodepool-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.2.0.0/18"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 118
      nodeSelector:
        matchLabels:
          baremetal.cluster.gke.io/node-pool: workers
    

Contoh 3: Mengonfigurasi PodCIDR seluruh Cluster - Tidak ada nodeSelector yang dikonfigurasi

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.3.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 120