Memahami resource kustom ClusterCIDRConfig

Ringkasan

ClusterCIDRConfig adalah resource alokator CIDR kustom yang memungkinkan Anda mengalokasikan lebih banyak rentang alamat IP untuk Pod secara dinamis.

Pengelolaan Alamat IP (IPAM) memungkinkan penggunaan subnet IP yang efisien dan menghindari tumpang-tindih dalam rentang alamat, sehingga mencegah konflik dan pemadaman jaringan. Kubernetes menetapkan CIDR Pod per node, yang digunakan sebagai alamat IP untuk Pod yang berjalan di node tersebut.

NodeIPAM Kubernetes saat ini memiliki batasan berikut:

• Semua CIDR Pod dialokasikan dari satu CIDR cluster. Anda harus menentukan seluruh rentang alamat IP yang memperhitungkan cluster terbesar pada saat pembuatan cluster. Batasan ini dapat membuang-buang alamat IP.

• Jika Anda meningkatkan ukuran cluster, akan sulit untuk menambahkan lebih banyak alamat IP.

• CIDR cluster adalah satu rentang besar. Anda mungkin kesulitan menemukan blok alamat IP yang berdekatan yang memenuhi kebutuhan cluster.

• Setiap node mendapatkan rentang IP berukuran tetap dalam cluster. Jika node memiliki ukuran dan kapasitas yang berbeda, Anda tidak dapat mengalokasikan rentang Pod yang lebih besar ke node tertentu dengan kapasitas yang lebih besar dan rentang yang lebih kecil ke node dengan kapasitas yang lebih kecil. Hal ini akan membuang banyak alamat IP. Untuk cluster besar dengan banyak node, pemborosan ini akan bertambah di semua node dalam cluster.

Dengan fungsi ClusterCIDRConfig, Anda dapat menghindari penetapan blok CIDR besar ke cluster, memetakan ukuran cluster ke skala Pod, sehingga mempertahankan alamat IP. Anda dapat menyimpan alamat IP menggunakan ClusterCIDRConfigs dengan berbagai kombinasi CIDR dan perNodeMaskSize. Resource ClusterCIDRConfig mendukung hal berikut:

• Beberapa blok CIDR IP yang terpisah-pisah untuk CIDR cluster pada tingkat yang lebih terperinci

• Afinitas node blok CIDR

• Ukuran blok yang berbeda dialokasikan ke node

Google Distributed Cloud menggunakan fungsi ClusterCIDRConfig dalam fitur berikut:

• Jaringan stack ganda IPv4/IPv6

• Menerapkan model jaringan mode IPv4 datar

• Menerapkan model jaringan mode datar dengan dukungan BGP

Cluster.spec.clusterNetwork.pods.cidrBlocks adalah kolom opsional dan tidak ditentukan secara default. Anda harus menentukannya jika salah satu fitur dari daftar sebelumnya tidak menentukannya. Misalnya, ini diperlukan saat cluster dibuat dalam mode pulau IPv4 dan harus ditentukan karena digunakan sebagai CIDR rute native.

Tabel berikut mencantumkan penggunaan perilaku kolom Cluster.spec.clusterNetwork.pods.cidrBlocks ClusterCIDRConfig untuk berbagai mode jaringan.

Mode Jaringan	Nilai ClusterCIDRConfig
IPv4 Island (default)	(Kolom wajib diisi) Tentukan Cluster.spec.clusterNetwork.pods.cidrBlocks.
IPv4 Flat (default)	Cluster.spec.clusterNetwork.pods.cidrBlocks sepenuhnya diabaikan, dan dapat dilewati. Pengguna harus menentukan ClusterCIDRConfigs secara eksplisit (per node, per nodepool, dan/atau per cluster).
Stack ganda (IPv4 Island, IPv4 Flat)	Tentukan CIDR IPv4. Jangan tentukan CIDR IPv6 di Cluster.spec.clusterNetwork.pods.cidrBlocks. Tentukan ClusterCIDRConfigs dengan CIDR IPv4 dan IPv6. CIDR IPv4 yang dikonfigurasi di semua ClusterCIDRConfigs harus sama dengan CIDR IPv4 dari Cluster.spec.clusterNetwork.pods.cidrBlocks, termasuk nilai PerNodeMask untuk IPv4. Untuk informasi selengkapnya tentang ClusterCIDRConfig dan contoh penggunaannya, lihat Contoh: Stack ganda (Pulau IPv4, IPv6 Flat)
Stack ganda (IPv4 Datar, IPv6 Datar)	Anda dapat melewati Cluster.spec.clusterNetwork.pods.cidrBlocks karena diabaikan sepenuhnya. Anda harus menentukan ClusterCIDRConfigs (per node, per nodepool, dan/atau per cluster) secara eksplisit dengan CIDR IPv4 dan IPv6.

Mengonfigurasi resource alokator CIDR kustom ClusterCIDRConfig

ClusterCIDRConfig

Saat Anda mengonfigurasi resource alokator CIDR kustom ClusterCIDRConfig, pertimbangkan hal-hal berikut:

• Penetapan CIDR Pod dari ClusterCIDRConfig tertentu ke node didasarkan pada pemilih label. Hal ini mirip dengan mekanisme nodeSelector yang digunakan untuk menjadwalkan Pod di node.

• Anda harus mengonfigurasi ClusterCIDRConfig selama proses pembuatan cluster dalam file YAML konfigurasi cluster. Setelah menentukan ClusterCIDRConfigs, Anda tidak dapat mengubah nilainya nanti.

• Anda dapat menentukan beberapa ClusterCIDRConfigs dengan CIDR yang tumpang-tindih.

• Jika tidak ada ClusterCIDRConfig yang cocok untuk node, node akan tetap dalam status NotReady, hingga ClusterCIDRConfig dengan label yang cocok dibuat.

• Jika ClusterCIDRConfig yang cocok tidak memiliki CIDR lain yang tersedia untuk alokasi, CIDR terbaik berikutnya akan dipilih dan CIDR Pod dialokasikan dari CIDR yang tersedia.

• Untuk model dual-stack, jika Anda ingin menetapkan CIDR Pod dual-stack ke node, lakukan hal berikut:

  • Konfigurasikan CIDR IPv4 dan IPv6 di ClusterCIDRConfig.

  • Pastikan semua ClusterCIDRConfig memiliki CIDR DualStack, jika beberapa ClusterCIDRConfig dikonfigurasi.

  • Pastikan CIDR IPv4 dan IPv6 yang dikonfigurasi memiliki jumlah alamat IP yang dapat dialokasikan per node yang sama.

  Contoh, 32 - spec.IPv4.PerNodeMaskSize == 128 - spec.IPv6.PerNodeMaskSize

  spec.IPv4.PerNodeMaskSize = 24

  spec.IPv6.PerNodeMaskSize = 120

  Jadi, 32 - 24 == 128 - 120, karena perbedaannya adalah 8.

• Beberapa ClusterCIDRConfigs dapat mencocokkan label dari nodeSelector ke label node.

Aturan penetapan ClusterCIDRConfig

Untuk menentukan ClusterCIDRConfig mana yang digunakan untuk menetapkan CIDR Pod ke node saat ini, gunakan aturan pemutusan seri berikut. Terapkan aturan ini dalam urutan yang diberikan. Terapkan aturan berikutnya hanya jika hasil seri tidak dipecahkan oleh aturan sebelumnya.

1. Pilih ClusterCIDRConfig yang NodeSelector-nya cocok dengan sebagian besar label di Node. Misalnya, {'node.kubernetes.io/instance-type':'medium', 'rack': 'rack1'} (Match Count: 2) dipilih sebelum {'node.kubernetes.io/instance-type': 'medium'}. (Match Count: 1).

2. Pilih ClusterCIDRConfig dengan CIDR Pod yang dapat dialokasikan paling sedikit. Misalnya, {CIDR: "10.0.0.0/16", PerNodeMaskSize: "16"} (1 possible Pod CIDR) dipilih sebelum {CIDR: "192.168.0.0/20", PerNodeMaskSize: "22"} (4 possible Pod CIDRs).

3. Pilih ClusterCIDRConfig yang PerNodeMaskSize-nya memiliki alamat IP paling sedikit. Misalnya, 27 (2^(32-27)= 32 alamat IP) dipilih sebelum 25 (2^(32-25)=128 alamat IP).

4. Pilih ClusterCIDRConfig yang label NodeSelector-nya yang cocok memiliki nilai alfanumerik yang lebih rendah. Misalnya, {'kubernetes.io/hostname': 'node-1'} dipilih daripada {'node.kubernetes.io/instance-type':'medium'}.

5. Pilih ClusterCIDRConfig yang IP CIDR-nya memiliki nilai yang lebih rendah. Terlepas dari apakah konfigurasi adalah konfigurasi IPv4 atau konfigurasi DualStack, hanya CIDR IPv4 yang dibandingkan. Misalnya, {CIDR: "10.0.0.0/16"} is picked over {CIDR: "192.168.0.0/16"}.

Contoh konfigurasi

Bagian ini mencantumkan contoh konfigurasi untuk Cluster dan ClusterCIDRConfig untuk semua mode jaringan.

Perhatian: Jangan gunakan contoh ini seperti yang muncul di sini. Ganti rentang alamat dengan nilai yang sesuai untuk jaringan Anda.

Contoh: Mode Pulau IPv4 (Default)

Konfigurasi Cluster (Default)

    apiVersion: baremetal.cluster.gke.io/v1
    kind: Cluster
    metadata:
      name: bm-cluster
      namespace: cluster-default
    spec:
    ...
      clusterNetwork:
        # Pods specify the IP ranges from which pod networks are allocated.
        pods:
          cidrBlocks:
          - 192.168.0.0/16
        services:
          cidrBlocks:
          - 10.96.0.0/12

      ... (other cluster config omitted)
  

Contoh: Mode Datar IPv4

Konfigurasi Cluster

  apiVersion: baremetal.cluster.gke.io/v1
  kind: Cluster
  metadata:
    name: bm-cluster
    namespace: cluster-default
  spec:
  ...
    clusterNetwork:
      flatIPv4: true
      services:
        cidrBlocks:
        - 10.96.0.0/12

    ... (other cluster config omitted)
  

ClusterCIDRConfig

Contoh 1: Mengonfigurasi ClusterCIDRConfig Per Node

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node1
      namespace: cluster-default    # Cluster namespace
    spec:
      ipv4:
        cidr: "222.1.0.0/24"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-1
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node2
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.1.0/24"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-2
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node3
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.2.0/24"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-3

  

Contoh 2: Contoh untuk menentukan PodCIDR seluruh NodePool

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk IP Flat Statis (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk IP Datar Dinamis (dengan BGP): Dapat digunakan meskipun node mencakup beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: nodepool-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.2.0.0/18"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          baremetal.cluster.gke.io/node-pool: workers
  

Contoh 3: Mengonfigurasi PodCIDR seluruh Cluster - Tidak ada nodeSelector yang dikonfigurasi

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk IP Flat Statis (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk IP Datar Dinamis (dengan BGP): Dapat digunakan meskipun node mencakup beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.3.0.0/16"
        perNodeMaskSize: 24
  

Contoh: Dualstack (IPv4 Island, IPv6 Flat)

Konfigurasi Cluster

  apiVersion: baremetal.cluster.gke.io/v1
  kind: Cluster
  metadata:
    name: bm-cluster
    namespace: cluster-default
  spec:
  ...
    clusterNetwork:
      # Pods specify the IP ranges from which pod networks are allocated.
      pods:
        cidrBlocks:
        - 192.168.0.0/16
      services:
        cidrBlocks:
        - 10.96.0.0/12
        # Additional IPv6 cidrBlock, determines if the cluster is DualStack
        - 2620:0:1000:2630:5:2::/112

    ... (other cluster config omitted)
  

ClusterCIDRConfig

Contoh 1: Mengonfigurasi ClusterCIDRConfig Per Node

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node1
      namespace: cluster-default    # Cluster namespace
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:1::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-1
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node2
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:2::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-2
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node3
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-3
    

Contoh 2: Contoh untuk menentukan PodCIDR seluruh NodePool

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk IP Flat Statis (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk IP Datar Dinamis (dengan BGP): Dapat digunakan meskipun node mencakup beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: nodepool-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 118
      nodeSelector:
        matchLabels:
          baremetal.cluster.gke.io/node-pool: workers
    

Contoh 3: Mengonfigurasi PodCIDR seluruh Cluster - Tidak ada nodeSelector yang dikonfigurasi

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk IP Flat Statis (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk IP Datar Dinamis (dengan BGP): Dapat digunakan meskipun node mencakup beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 120
    

Contoh: Dualstack (IPv4 Flat, IPv6 Flat)

Konfigurasi Cluster

    apiVersion: baremetal.cluster.gke.io/v1
    kind: Cluster
    metadata:
      name: bm-cluster
      namespace: cluster-default
    spec:
    ...
      clusterNetwork:
        flatIPv4: true
        services:
          cidrBlocks:
          - 10.96.0.0/12
          # Additional IPv6 cidrBlock, determines if the cluster is DualStack
          - 2620:0:1000:2630:5:2::/112

      ... (other cluster config omitted)
  

ClusterCIDRConfig

Contoh 1: Mengonfigurasi ClusterCIDRConfig Per Node

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk IP Flat Statis (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk IP Datar Dinamis (dengan BGP): Dapat digunakan meskipun node mencakup beberapa subdomain.

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node1
      namespace: cluster-default    # Cluster namespace
    spec:
      ipv4:
        cidr: "222.1.0.0/24"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:1::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-1
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node2
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.1.0/24"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:2::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-2
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node3
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.2.0/24"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-3
    

Contoh 2: Contoh untuk menentukan PodCIDR seluruh NodePool

Catatan: Kedua mode IP datar memiliki batasan yang berbeda:

• Untuk IP Flat Statis (tanpa BGP): Hanya dapat digunakan jika semua node berada di Domain Lapisan 2 yang sama.
• Untuk IP Datar Dinamis (dengan BGP): Dapat digunakan meskipun node mencakup beberapa subdomain.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: nodepool-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.2.0.0/18"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 118
      nodeSelector:
        matchLabels:
          baremetal.cluster.gke.io/node-pool: workers
    

Contoh 3: Mengonfigurasi PodCIDR seluruh Cluster - Tidak ada nodeSelector yang dikonfigurasi

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.3.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 120