Comprende el recurso personalizado ClusterCIDRConfig

Descripción general

ClusterCIDRConfig es un recurso asignado de CIDR personalizado que te permite asignar más rangos de direcciones IP para Pods de forma dinámica.

La administración de direcciones IP (IPAM) permite un uso eficiente de las subredes de IP y evita que se superpongan los rangos de direcciones, lo que evita interrupciones y conflictos en la red. Kubernetes asigna CIDR de Pod por nodo, que se usan como direcciones IP para los Pods que se ejecutan en ese nodo.

El NodeIPAM de Kubernetes actual tiene las siguientes limitaciones:

• Todos los CIDR del Pod se asignan desde un CIDR del clúster. Debes especificar el rango completo de direcciones IP para el clúster más grande en el momento de la creación del clúster. Esta limitación puede desperdiciar direcciones IP.

• Si aumentas el tamaño del clúster, será difícil agregar más direcciones IP.

• El CIDR del clúster es un rango amplio. Puede ser difícil encontrar un bloque contiguo de direcciones IP que satisfaga las necesidades del clúster.

• Cada nodo obtiene un rango de IP de tamaño fijo dentro de un clúster. Si los nodos tienen diferentes tamaños y capacidades, no puedes asignar un rango de Pods más grande a un nodo determinado con mayor capacidad y un rango más pequeño a nodos con menor capacidad. Esto desperdicia muchas direcciones IP. En el caso de un clúster grande con muchos nodos, este desperdicio se acumula en todos los nodos del clúster.

Con la funcionalidad ClusterCIDRConfig, puedes evitar asignar un bloque CIDR grande a un clúster, asignar el tamaño del clúster a la escala de tus Pods y, por lo tanto, preservar las direcciones IP. Puedes guardar direcciones IP mediante ClusterCIDRConfigs con diferentes combinaciones de CIDR y perNodeMaskSize. El recurso ClusterCIDRConfig admite lo siguiente:

• Varios bloques de CIDR de IP no contiguos para el CIDR del clúster a un nivel más detallado

• Afinidad de nodos de bloques CIDR

• Diferentes tamaños de bloque asignados a los nodos

Google Distributed Cloud usa la funcionalidad ClusterCIDRConfig en las siguientes funciones:

• Herramientas de redes de pila doble IPv4/IPv6

• Implementar un modelo de red de modo IPv4 plano

• Implementa un modelo de red de modo plano compatible con BGP

Cluster.spec.clusterNetwork.pods.cidrBlocks es un campo opcional y no se define de forma predeterminada. Debes definirla si alguno de los atributos de la lista anterior no lo tiene definido. Por ejemplo, es necesaria cuando los clústeres se crean en modo de isla IPv4 y se debe especificar, ya que se usa como un CIDR de enrutamiento nativo.

En la siguiente tabla, se muestra el uso del comportamiento del campo Cluster.spec.clusterNetwork.pods.cidrBlocks de ClusterCIDRConfig para diferentes modos de red.

Modo de red	Valor de ClusterCIDRConfig
Isla IPv4 (predeterminada)	(Campo obligatorio) Especifica Cluster.spec.clusterNetwork.pods.cidrBlocks.
IPv4 sin formato (predeterminado)	Cluster.spec.clusterNetwork.pods.cidrBlocks se ignoran por completo y se pueden omitir. Los usuarios deben definir ClusterCIDRConfigs de forma explícita (por nodo, por grupo de nodos o por clúster).
Pila doble (isla IPv4, IPv4 plano)	Especifica el CIDR de IPv4. No especifiques CIDR IPv6 en Cluster.spec.clusterNetwork.pods.cidrBlocks. Especifica ClusterCIDRConfigs con CIDR IPv4 e IPv6. El CIDR de IPv4 configurado en todos los ClusterCIDRConfigs debe ser el mismo que el CIDR de IPv4 de Cluster.spec.clusterNetwork.pods.cidrBlocks, incluido el valor PerNodeMask para IPv4. Para obtener más información sobre ClusterCIDRConfig y ejemplos de su uso, consulta Ejemplos: Dualstack (isla IPv4, IPv6 Flat)
Pila doble (IPv4 plano, IPv6 plano)	Puedes omitir Cluster.spec.clusterNetwork.pods.cidrBlocks, ya que se omiten por completo. Debes definir de forma explícita los ClusterCIDRConfigs (por nodo, por grupo de nodos o por clúster) con CIDR IPv4 e IPv6.

Configura el recurso asignado de CIDR personalizado ClusterCIDRConfig

ClusterCIDRConfig

Cuando configures el recurso asignador de CIDR personalizado ClusterCIDRConfig, ten en cuenta los siguientes puntos:

• La asignación de CIDR de Pod de un ClusterCIDRConfig en particular a un nodo se basa en selectores de etiquetas. Esto es similar al mecanismo nodeSelector que se usa para programar Pods en un nodo.

• Debes configurar ClusterCIDRConfig durante el proceso de creación del clúster en el archivo YAML de configuración del clúster. Una vez que especificas ClusterCIDRConfigs, no puedes modificar los valores más adelante.

• Puedes especificar varios ClusterCIDRConfigs con CIDR superpuestos.

• Si no se encuentra un ClusterCIDRConfig que coincida con un nodo, este permanece en un estado NotReady hasta que se crea un ClusterCIDRConfig con etiquetas coincidentes.

• Si la mejor coincidencia ClusterCIDRConfig no tiene más CIDR disponibles para la asignación, se elige el siguiente mejor CIDR y los CIDR del Pod se asignan de los CIDR disponibles.

• En el caso del modelo de pila doble, si deseas asignar CIDR de Pod de pila doble a los nodos, haz lo siguiente:

  • Configura CIDR de IPv4 e IPv6 en ClusterCIDRConfig.

  • Asegúrate de que todos los ClusterCIDRConfig tengan CIDR de DualStack, si se configuran varios ClusterCIDRConfig.

  • Asegúrate de que los CIDR de IPv4 e IPv6 configurados tengan una cantidad igual de direcciones IP asignables por nodo.

  Por ejemplo, 32 - spec.IPv4.PerNodeMaskSize == 128 - spec.IPv6.PerNodeMaskSize

  spec.IPv4.PerNodeMaskSize = 24

  spec.IPv6.PerNodeMaskSize = 120

  Por lo tanto, 32 - 24 == 128 - 120, ya que la diferencia es 8.

• Varios ClusterCIDRConfigs pueden hacer coincidir las etiquetas del nodeSelector con las etiquetas de nodo.

Reglas de asignación de ClusterCIDRConfig

A fin de determinar qué ClusterCIDRConfig se usa para asignar CIDR de Pod al nodo actual, usa las siguientes reglas de desempate. Implementa estas reglas en el orden determinado. Implementa la siguiente regla solo si el empate no se divide según la regla anterior.

1. Elige el ClusterCIDRConfig cuyo NodeSelector coincida con la mayor cantidad de etiquetas en el nodo. Por ejemplo, {'node.kubernetes.io/instance-type':'medium', 'rack': 'rack1'} (Match Count: 2) se elige antes que {'node.kubernetes.io/instance-type': 'medium'}. (Match Count: 1).

2. Elige el ClusterCIDRConfig que tenga la menor cantidad de CIDR de Pod asignables. Por ejemplo, {CIDR: "10.0.0.0/16", PerNodeMaskSize: "16"} (1 possible Pod CIDR) se elige antes que {CIDR: "192.168.0.0/20", PerNodeMaskSize: "22"} (4 possible Pod CIDRs).

3. Elige el ClusterCIDRConfig cuyo PerNodeMaskSize tenga la menor cantidad de direcciones IP. Por ejemplo, 27 (2^(32-27)= 32 direcciones IP) elegidas antes de 25 (2^(32-25)=128 direcciones IP).

4. Elige el ClusterCIDRConfig cuya etiqueta NodeSelector coincidente tenga un valor alfanumérico más bajo. Por ejemplo, {'kubernetes.io/hostname': 'node-1'} se elige antes que {'node.kubernetes.io/instance-type':'medium'}.

5. Elige el ClusterCIDRConfig cuya IP de CIDR tenga un valor más bajo. Independientemente de si la configuración es de IPv4 o de DualStack, solo se comparan los CIDR de IPv4. Por ejemplo, {CIDR: "10.0.0.0/16"} is picked over {CIDR: "192.168.0.0/16"}.

Ejemplos de configuración

En esta sección, se enumeran ejemplos de configuración para el clúster y ClusterCIDRConfig para todos los modos de red.

Precaución: No uses estos ejemplos como aparecen aquí. Reemplaza los rangos de direcciones por valores adecuados para tu red.

Ejemplos: Modo de isla IPv4 (predeterminado)

Configuración del clúster (predeterminado)

    apiVersion: baremetal.cluster.gke.io/v1
    kind: Cluster
    metadata:
      name: bm-cluster
      namespace: cluster-default
    spec:
    ...
      clusterNetwork:
        # Pods specify the IP ranges from which pod networks are allocated.
        pods:
          cidrBlocks:
          - 192.168.0.0/16
        services:
          cidrBlocks:
          - 10.96.0.0/12

      ... (other cluster config omitted)
  

Ejemplos: Modo plano de IPv4

Configuración del clúster

  apiVersion: baremetal.cluster.gke.io/v1
  kind: Cluster
  metadata:
    name: bm-cluster
    namespace: cluster-default
  spec:
  ...
    clusterNetwork:
      flatIPv4: true
      services:
        cidrBlocks:
        - 10.96.0.0/12

    ... (other cluster config omitted)
  

ClusterCIDRConfig

Ejemplo 1: Configura ClusterCIDRConfig por nodo

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node1
      namespace: cluster-default    # Cluster namespace
    spec:
      ipv4:
        cidr: "222.1.0.0/24"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-1
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node2
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.1.0/24"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-2
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node3
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.2.0/24"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-3

  

Ejemplo 2: Ejemplo para especificar un PodCIDR de todo el grupo de nodos

Nota: Los dos modos de IP plana tienen restricciones diferentes:

• Para la IP plana estática (sin BGP): Solo se puede usar si todos los nodos están en el mismo dominio de capa 2.
• Para la IP plana dinámica (con BGP): se puede usar incluso cuando los nodos abarcan varios subdominios.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: nodepool-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.2.0.0/18"
        perNodeMaskSize: 24
      nodeSelector:
        matchLabels:
          baremetal.cluster.gke.io/node-pool: workers
  

Ejemplo 3: Configura el PodCIDR de todo el clúster; no se configuró ningún nodeSelector

Nota: Los dos modos de IP plana tienen restricciones diferentes:

• Para la IP plana estática (sin BGP): Solo se puede usar si todos los nodos están en el mismo dominio de capa 2.
• Para la IP plana dinámica (con BGP): se puede usar incluso cuando los nodos abarcan varios subdominios.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.3.0.0/16"
        perNodeMaskSize: 24
  

Ejemplos: Dualstack (isla IPv4, IPv6 plano)

Configuración del clúster

  apiVersion: baremetal.cluster.gke.io/v1
  kind: Cluster
  metadata:
    name: bm-cluster
    namespace: cluster-default
  spec:
  ...
    clusterNetwork:
      # Pods specify the IP ranges from which pod networks are allocated.
      pods:
        cidrBlocks:
        - 192.168.0.0/16
      services:
        cidrBlocks:
        - 10.96.0.0/12
        # Additional IPv6 cidrBlock, determines if the cluster is DualStack
        - 2620:0:1000:2630:5:2::/112

    ... (other cluster config omitted)
  

ClusterCIDRConfig

Ejemplo 1: Configura ClusterCIDRConfig por nodo

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node1
      namespace: cluster-default    # Cluster namespace
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:1::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-1
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node2
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:2::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-2
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node3
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-3
    

Ejemplo 2: Ejemplo para especificar un PodCIDR de todo el grupo de nodos

Nota: Los dos modos de IP plana tienen restricciones diferentes:

• Para la IP plana estática (sin BGP): Solo se puede usar si todos los nodos están en el mismo dominio de capa 2.
• Para la IP plana dinámica (con BGP): se puede usar incluso cuando los nodos abarcan varios subdominios.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: nodepool-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 118
      nodeSelector:
        matchLabels:
          baremetal.cluster.gke.io/node-pool: workers
    

Ejemplo 3: Configura el PodCIDR de todo el clúster; no se configuró ningún nodeSelector

Nota: Los dos modos de IP plana tienen restricciones diferentes:

• Para la IP plana estática (sin BGP): Solo se puede usar si todos los nodos están en el mismo dominio de capa 2.
• Para la IP plana dinámica (con BGP): se puede usar incluso cuando los nodos abarcan varios subdominios.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 120
    

Ejemplos: Dualstack (IPv4 plano, IPv6 plano)

Configuración del clúster

    apiVersion: baremetal.cluster.gke.io/v1
    kind: Cluster
    metadata:
      name: bm-cluster
      namespace: cluster-default
    spec:
    ...
      clusterNetwork:
        flatIPv4: true
        services:
          cidrBlocks:
          - 10.96.0.0/12
          # Additional IPv6 cidrBlock, determines if the cluster is DualStack
          - 2620:0:1000:2630:5:2::/112

      ... (other cluster config omitted)
  

ClusterCIDRConfig

Ejemplo 1: Configura ClusterCIDRConfig por nodo

Nota: Los dos modos de IP plana tienen restricciones diferentes:

• Para la IP plana estática (sin BGP): Solo se puede usar si todos los nodos están en el mismo dominio de capa 2.
• Para la IP plana dinámica (con BGP): se puede usar incluso cuando los nodos abarcan varios subdominios.

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node1
      namespace: cluster-default    # Cluster namespace
    spec:
      ipv4:
        cidr: "222.1.0.0/24"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:1::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-1
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node2
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.1.0/24"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:2::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-2
    —
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: range-node3
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.1.2.0/24"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/120"
        perNodeMaskSize: 120
      nodeSelector:
        matchLabels:
          kubernetes.io/hostname: node-3
    

Ejemplo 2: Ejemplo para especificar un PodCIDR de todo el grupo de nodos

Nota: Los dos modos de IP plana tienen restricciones diferentes:

• Para la IP plana estática (sin BGP): Solo se puede usar si todos los nodos están en el mismo dominio de capa 2.
• Para la IP plana dinámica (con BGP): se puede usar incluso cuando los nodos abarcan varios subdominios.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: nodepool-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.2.0.0/18"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 118
      nodeSelector:
        matchLabels:
          baremetal.cluster.gke.io/node-pool: workers
    

Ejemplo 3: Configura el PodCIDR de todo el clúster; no se configuró ningún nodeSelector

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-default
    spec:
      ipv4:
        cidr: "222.3.0.0/16"
        perNodeMaskSize: 24
      ipv6:
        cidr: "2222:3::/112"
        perNodeMaskSize: 120