Actualiza clústeres

Después de crear un clúster, puedes cambiar algunos aspectos de su configuración. Por ejemplo, puedes hacer lo siguiente:

• Agrega, quita o reemplaza nodos.
• Agrega anotaciones al clúster o quítalas.
• Modifica los valores de los campos mutables de los recursos del clúster y del grupo de nodos.
• Modifica otros recursos personalizados.

Puedes usar bmctl o Google Cloud CLI para realizar actualizaciones en un clúster. Si creaste un clúster de administrador o de usuario mediante Terraform, puedes usarlo para actualizar el clúster. Ten en cuenta lo siguiente:

• Muchos aspectos de la configuración del clúster son inmutables y no se pueden actualizar después de crear el clúster. Para obtener una lista completa de los campos inmutables y mutables, consulta la Referencia del campo de configuración de clústeres. La referencia de campo es una tabla ordenable. Haz clic en los encabezados de las columnas para cambiar el orden. Haz clic en el nombre de un campo para ver su descripción.

• Gcloud CLI y Terraform solo admiten la actualización de clústeres de administrador y de usuario. Debes usar bmctl para actualizar otros tipos de clústeres.

• Gcloud CLI y Terraform solo admiten cambios en los recursos del clúster y del grupo de nodos. Debes usar kubectl o bmctl para actualizar otros recursos personalizados que afectan al clúster.

Cómo actualizar clústeres

En general, realizas la siguiente secuencia de acciones para actualizar un clúster:

bmctl

1. Cambia los valores de los campos aplicables en el archivo de configuración del clúster, que se encuentra de forma predeterminada aquí:
   bmctl-workspace/CLUSTER-NAME/CLUSTER-NAME.yaml

2. Actualiza el clúster mediante la ejecución del comando bmctl update:

   bmctl update cluster -c CLUSTER_NAME --kubeconfig=KUBECONFIG
   

   Reemplaza lo siguiente:

   • CLUSTER_NAME: Es el nombre del clúster que deseas actualizar.
   • KUBECONFIG: Para clústeres de administrador, híbridos o independientes, ingresa la ruta de acceso al archivo kubeconfig del clúster. Para un clúster de usuario, ingresa la ruta de acceso al archivo kubeconfig del clúster admin.

No uses bmctl update y kubectl apply -f de forma indistinta cuando edites el archivo de configuración del clúster. Cuando estos comandos se usan de manera indistinta, es posible que el contenido propagado por el encabezado de la especificación del clúster se quite de manera accidental. Por ejemplo, puedes usar bmctl update para actualizar el archivo de configuración del clúster y configurar una duplicación de registro. Luego, se propaga spec.nodeConfig.registryMirrors en el clúster después de la conciliación.

Si luego intentas realizar cambios en el clúster mediante la configuración del clúster con el comando kubectl apply -f, se quita el spec.nodeConfig.registryMirrors que propaga el conciliador en el clúster. Este comportamiento se debe a que la configuración no existe en la especificación de configuración del clúster, pero sí existe en el clúster.

gcloud CLI

1. Especifica solo las marcas de la configuración que quieres modificar.

2. Ejecuta el comando de actualización aplicable:

   • Clústeres de administrador: gcloud container bare-metal admin-clusters update

   • Clústeres de usuario: gcloud container bare-metal clusters update

   • Grupos de nodos en un clúster de usuario: gcloud container bare-metal node-pools update

Terraform

1. Cambia los valores de los campos aplicables en el archivo de configuración de Terraform que usaste para crear el clúster o grupo de nodos. Consulta la documentación de referencia de Terraform para obtener descripciones detalladas de los campos:

   • google_gkeonprem_bare_metal_admin_cluster

   • google_gkeonprem_bare_metal_cluster

   • google_gkeonprem_bare_metal_node_pool

2. Actualiza la configuración mediante la ejecución del comando terraform apply.

En las siguientes secciones, se describen algunos ejemplos comunes para actualizar un clúster existente.

Agrega o quita nodos en un clúster

Un grupo de nodos es un conjunto de nodos dentro de un clúster que tienen la misma configuración. Ten en cuenta que un nodo siempre pertenece a un grupo de nodos. Para agregar un nodo nuevo a un clúster, debes agregarlo a un grupo de nodos en particular. Quitar un nodo de un grupo de nodos equivale a quitarlo del clúster por completo.

Existen tres tipos de grupos de nodos en Google Distributed Cloud: plano de control, balanceador de cargas y grupos de nodo trabajador. En las siguientes secciones, se describe cómo agregar o quitar nodos de cada tipo de grupo de nodos.

bmctl

Para agregar o quitar un nodo de un grupo de nodos, debes agregar o quitar la dirección IP del nodo en una sección específica del archivo de configuración del clúster. En la siguiente lista, se muestra qué sección editar para un grupo de nodos determinado:

• Grupo de nodos trabajadores: agrega o quita la dirección IP del nodo en la sección spec.nodes de la especificación NodePool.
• Grupo de nodos de plano de control: agrega o quita la dirección IP del nodo en la sección spec.controlPlane.nodePoolSpec.nodes de la especificación Cluster.
• Grupo de nodos del balanceador de cargas: agrega o quita la dirección IP del nodo en la sección spec.loadBalancer.nodePoolSpec.nodes de la especificación Cluster.

Ejemplo: quitar un nodo trabajador

Este es un ejemplo de un archivo de configuración de clúster que muestra las especificaciones de dos nodos trabajadores:

---
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: nodepool1
  namespace: cluster-cluster1
spec:
  clusterName: cluster1
  nodes:
  - address: 192.0.2.1
  - address: 192.0.2.2

Para quitar un nodo, haz lo siguiente:

1. Si el nodo que estás quitando ejecuta Pods críticos, primero debes poner el nodo en modo de mantenimiento (opcional).

   Puedes supervisar el proceso de vaciado de nodos de los nodos trabajadores si visualizas los campos status.nodesDrained y status.nodesDraining en el recurso NodePool.

2. Edita el archivo de configuración del clúster para borrar la entrada de la dirección IP del nodo.

3. Actualiza el clúster:

   bmctl update cluster1 \
       --kubeconfig=ADMIN_KUBECONFIG
   

gcloud CLI

Usa un comando de update para agregar o quitar nodos. El comando de update que uses y la marca en la que especifiques la dirección IP dependen del tipo de grupo de nodos que quieras actualizar:

• Grupo de nodos trabajadores: Ejecuta gcloud container bare-metal node-pools update y especifica la dirección IP en la marca --node-configs 'node-ip=IP_ADDRESS'.

• Grupo de nodos del plano de control en un clúster de administrador: Ejecuta gcloud container bare-metal admin-clusters update y especifica la dirección IP en la marca --control-plane-node-configs 'node-ip=IP_ADDRESS'.

• Grupo de nodos del plano de control en un clúster de usuario: Ejecuta gcloud container bare-metal clusters update y especifica la dirección IP en la marca --control-plane-node-configs 'node-ip=IP_ADDRESS'.

• Grupo de nodos del balanceador de cargas: Ejecuta gcloud container bare-metal clusters update y especifica la dirección IP en la marca --metal-lb-load-balancer-node-configs 'node-ip=IP_ADDRESS' o
  --bgp-load-balancer-node-configs 'node-ip=IP_ADDRESS'

La marca en la que especificas la dirección IP solo acepta un node-ip. Debes incluir la marca para cada dirección IP en el grupo de nodos.

Con los comandos update, se reemplazan todas las direcciones IP por las direcciones IP que especifiques. Para agregar un nodo, incluye las direcciones IP de los nodos existentes y la del nodo nuevo en el comando update. Del mismo modo, para quitar nodos, incluye solo las direcciones IP de los nodos que deseas conservar.

Ejemplo: quitar un nodo trabajador

En esta sección, se muestra cómo quitar un nodo trabajador de un grupo de nodos con datos de ejemplo. En los siguientes pasos, también se incluyen comandos adicionales de gcloud CLI que podrían ser útiles.

1. Si el nodo que estás quitando ejecuta Pods críticos, primero debes poner el nodo en modo de mantenimiento (opcional).

   Puedes supervisar el proceso de vaciado de nodos de los nodos trabajadores si visualizas los campos status.nodesDrained y status.nodesDraining en el recurso NodePool.

2. Ejecuta el comando list para enumerar todos los grupos de nodos en el clúster:

   gcloud container bare-metal node-pools list \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1
   

   El resultado es similar al siguiente:

   NAME         LOCATION     STATE
   node-pool-1  us-central1  RUNNING
   node-pool-2  asia-east1   RUNNING
   

3. Ejecuta el comando describe para enumerar todas las direcciones IP en el grupo de nodos:

   gcloud container bare-metal node-pools describe node-pool-1 \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1
   

   El siguiente resultado de ejemplo se trunca para facilitar la lectura:

   annotations:
     ...
     baremetal.cluster.gke.io/version: 1.29
   ...
   name: projects/example-project-12345/locations/us-central1/bareMetalClusters/abm-user-cluster1/bareMetalNodePools/node-pool-1
   nodePoolConfig:
     nodeConfigs:
     - nodeIp: 192.0.2.1
     - nodeIp: 192.0.2.2
     operatingSystem: LINUX
   state: RUNNING
   ...
   

   Observa lo siguiente en el resultado de ejemplo:

   • El campo name contiene el nombre completamente calificado del grupo de nodos. Cuando especificas el nombre del grupo de nodos en un comando, puedes especificar el nombre completamente calificado o el nombre del grupo de nodos, por ejemplo, node-pool-1, junto con las marcas --cluster, --project y --location.

   • La sección nodeConfigs contiene dos campos nodeIp con las direcciones IP de los nodos.

4. Ejecuta el siguiente comando para quitar el nodo con la dirección IP 192.0.2.1:

   gcloud container bare-metal node-pools update node-pool-1 \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1 \
       --node-configs='node-ip=192.0.2.2'
   

   El comando update reemplaza todas las direcciones IP por las direcciones IP que especificas. Debido a que 192.0.2.1 no está incluido, se quita el nodo.

   El resultado del comando es similar al siguiente:

   Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9] to complete
   

   En el resultado de ejemplo, la cadena operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9 es el OPERATION_ID de la operación de larga duración. Para averiguar el estado de la operación, ejecuta el siguiente comando en otra ventana de terminal:

   gcloud container bare-metal operations describe operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9 \
       --project= example-project-12345 \
       --location=us-central1
   

   Puedes volver a ejecutar el comando de vez en cuando para comprobar el estado.

Si la eliminación del nodo falla, puedes forzar su eliminación del clúster. Para obtener más información, consulta Quita nodos rotos de manera forzosa.

Reemplaza los nodos del plano de control de alta disponibilidad

bmctl

Puedes usar bmctl para reemplazar los nodos del plano de control de alta disponibilidad (HA) en todos los tipos de clústeres.

Para reemplazar un nodo en un clúster, realiza los siguientes pasos:

1. Quita la dirección IP del nodo del archivo de configuración del clúster.
2. Actualiza el clúster.
3. Verifica el estado de los nodos del clúster.
4. Agrega la dirección IP de un nodo nuevo al mismo archivo de configuración del clúster.
5. Actualiza el clúster.

Ejemplo: Reemplaza un nodo del plano de control de alta disponibilidad

Este es un archivo de configuración de clúster de muestra en el que se muestran tres nodos del plano de control en un clúster de usuario:

---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: user-cluster
namespace: cluster-user-cluster
spec:
  controlPlane:
  nodePoolSpec:
    nodes:
    - address: 192.0.2.11
    - address: 192.0.2.12
    - address: 192.0.2.13

Para reemplazar el último nodo que aparece en la sección spec.controlPlane.nodePoolSpec.nodes, sigue estos pasos:

1. Para quitar el nodo, borra la entrada de su dirección IP en el archivo de configuración del clúster. Después de realizar este cambio, el archivo de configuración del clúster debería verse de la siguiente manera:

   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: Cluster
   metadata:
   name: user-cluster
   namespace: cluster-user-cluster
   spec:
     controlPlane:
     nodePoolSpec:
       nodes:
       - address: 192.0.2.11
       - address: 192.0.2.12
   

2. Actualiza el clúster mediante la ejecución del siguiente comando:

   bmctl update cluster -c CLUSTER_NAME \
     --kubeconfig=KUBECONFIG
   

   Realiza los siguientes cambios:

   • Reemplaza CLUSTER_NAME por el nombre del clúster que deseas actualizar.
   • Si el clúster es de autoadministración (como de administrador o independiente), reemplaza KUBECONFIG por la ruta de acceso al archivo kubeconfig del clúster. Si el clúster es un clúster de usuario, como se muestra en este ejemplo, reemplaza KUBECONFIG por la ruta de acceso al archivo kubeconfig del clúster admin.

3. Después de que el comando bmctl update se haya ejecutado de forma correcta, tardará un tiempo en completar los trabajos de machine-preflight y machine-init. Puedes ver el estado de los nodos y sus respectivos grupos de nodos si ejecutas los comandos descritos en la sección Verifica tus actualizaciones de este documento. Después de que el grupo de nodos y los nodos estén listos, puedes continuar con el siguiente paso.

4. Para agregar un nodo del plano de control nuevo al grupo de nodos, agrega la dirección IP del nodo del plano de control nuevo a la sección spec.controlPlane.nodePoolSpec.nodes del archivo de configuración del clúster. Después de realizar este cambio, el archivo de configuración del clúster debería verse así:

   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: Cluster
   metadata:
   name: user-cluster
   namespace: cluster-user-cluster
   spec:
     controlPlane:
     nodePoolSpec:
       nodes:
       - address: 192.0.2.11
       - address: 192.0.2.12
       - address: 192.0.2.14
   

5. Actualiza el clúster mediante la ejecución del siguiente comando:

   bmctl update cluster -c CLUSTER_NAME \
     --kubeconfig=KUBECONFIG
   

gcloud CLI

Puedes usar gcloud CLI para reemplazar los nodos del plano de control de alta disponibilidad (HA) en los clústeres de administrador y de usuario.

Para reemplazar un nodo en un clúster, realiza los siguientes pasos:

1. Ejecuta el comando update aplicable para quitar la dirección IP del nodo:

   • Clúster de usuario: gcloud container bare-metal clusters update
   • Clúster de administrador: gcloud container bare-metal admin-clusters update

2. Ejecuta gcloud container bare-metal operations describe OPERATION_ID para verificar el estado de eliminación del nodo del clúster.

3. Ejecuta el comando update aplicable para agregar la dirección IP del nodo nuevo.

Ejemplo: Reemplaza un nodo del plano de control de alta disponibilidad

En esta sección, se muestra cómo reemplazar un plano de control por un clúster con datos de ejemplo. En los siguientes pasos, también se incluyen comandos adicionales de gcloud CLI que podrían ser útiles.

1. Ejecuta el comando list para enumerar todos los clústeres de usuario en un proyecto de Google Cloud:

   gcloud container bare-metal clusters list \
       --project=example-project-12345 \
       --location=-
   

   Cuando configuras --location=-, significa que se deben enumerar todos los clústeres en todas las regiones. Si necesitas reducir el alcance de la lista, configura --location en una región específica.

   El resultado es similar al siguiente:

   NAME                 LOCATION      VERSION   ADMIN_CLUSTER        STATE
   abm-user-cluster1a   us-central1   1.29      abm-admin-cluster1   RUNNING
   abm-user-cluster1b   europe-west1  1.29      abm-admin-cluster1   RUNNING
   

2. Ejecuta el comando describe en el clúster:

   gcloud container bare-metal clusters describe abm-user-cluster1  \
       --project=example-project-12345 \
       --location=us-central1
   

   El resultado de ejemplo se trunca para facilitar la lectura:

   ...
   controlPlane:
     controlPlaneNodePoolConfig:
       nodePoolConfig:
         nodeConfigs:
         - nodeIp: 192.0.2.11
         - nodeIp: 192.0.2.12
         - nodeIp: 192.0.2.13
         operatingSystem: LINUX
   ...
   name: projects/example-project-1234567/locations/us-central1/bareMetalClusters/abm-user-cluster1a
   ...
   

   Observa lo siguiente en el resultado de ejemplo:

   • El campo name contiene el nombre completamente calificado del clúster. Cuando especificas el nombre del clúster en un comando, puedes especificar el nombre completamente calificado o el nombre del clúster, por ejemplo, abm-user-cluster1a, junto con --project y --location flags.

   • La sección nodeConfigs contiene tres campos nodeIp con las direcciones IP de los nodos del plano de control.

3. Quita el nodo con la dirección IP 192.0.2.13:

   gcloud container bare-metal cluster update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --control-plane-node-configs 'node-ip=192.0.2.11'
       --control-plane-node-configs 'node-ip=192.0.2.12'
   

   El resultado del comando es similar al siguiente:

   Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1956154681749-6078d9def4030-76686d6e-9fcb1d7] to complete
   

   En el resultado de ejemplo, la cadena operation-1956154681749-6078d9def4030-76686d6e-9fcb1de7 es el OPERATION_ID de la operación de larga duración. Para averiguar el estado de la operación, ejecuta el siguiente comando en otra ventana de terminal:

   gcloud container bare-metal operations describe operation-1956154681749-6078d9def4030-76686d6e-9fcb1de7 \
       --project= example-project-12345 \
       --location=us-central1
   

   Puedes volver a ejecutar el comando de vez en cuando para comprobar el estado.

4. Agrega el nodo nuevo con la dirección IP 192.0.2.14:

   gcloud container bare-metal cluster update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --control-plane-node-configs 'node-ip=192.0.2.11'
       --control-plane-node-configs 'node-ip=192.0.2.12'
       --control-plane-node-configs 'node-ip=192.0.2.14'
   

Verifica tus actualizaciones

kubectl

Puedes ver el estado de los nodos y sus respectivos grupos de nodos con el comando kubectl get.

Por ejemplo, el siguiente comando muestra el estado de los grupos de nodos en el espacio de nombres del clúster cluster-my-cluster:

kubectl -n cluster-my-cluster get nodepools.baremetal.cluster.gke.io

El sistema muestra resultados similares al siguiente:

NAME                    READY   RECONCILING   STALLED   UNDERMAINTENANCE   UNKNOWN
cluster-my-cluster      3       0             0         0                  0
cluster-my-cluster-lb   2       0             0         0                  0
np1                     3       0             0         0                  0

Reconciling=1 significa que el paso de conciliación todavía está en curso. Debes esperar hasta que el estado cambie a Reconciling=0.

También puedes verificar el estado de los nodos de un clúster si ejecutas el siguiente comando:

kubectl get nodes --kubeconfig=KUBECONFIG

gcloud CLI

Como se describió antes, después de ejecutar un comando update, puedes verificar el estado de la operación con gcloud container bare-metal operations describe OPERATIONS_ID. El resultado del comando muestra el estado de los nodos, por ejemplo:

  ...
  metrics:
  - intValue: '1'
    metric: NODES_RECONCILING
  - intValue: '2'
    metric: NODES_HEALTHY
  - intValue: '0'
    metric: NODES_FAILED
  - intValue: '0'
    metric: NODES_IN_MAINTENANCE
  - intValue: '3'
    metric: NODES_TOTAL
  stage: HEALTH_CHECK
...

Sin importar qué herramienta uses para actualizar un grupo de nodos, puedes obtener el estado actual de un grupo de nodos si ejecutas el comando describe aplicable como se mostró antes.

Si necesitas más información sobre cómo diagnosticar tus clústeres, consulta Crea instantáneas para diagnosticar clústeres.

Grupos de direcciones del balanceador de cargas

bmctl

La sección addressPools contiene campos a fin de especificar los grupos de balanceo de cargas para los balanceadores de cargas en paquetes de MetalLB y el protocolo de puerta de enlace de frontera (BGP). Puedes agregar más grupos de direcciones de balanceo de cargas en cualquier momento, pero no puedes quitar ningún grupo de direcciones existente. A partir de la versión 1.16.0 de Google Distributed Cloud, puedes modificar los valores de addressPools.avoidBuggyIPs y addressPools.manualAssign en cualquier momento.

addressPools:
- name: pool1
  addresses:
  - 198.51.100.0-198.51.100.4
  - 198.51.100.240/28
- name: pool2
  addresses:
  - 198.51.100.224/28

gcloud CLI

Puedes agregar más grupos de direcciones de balanceo de cargas en cualquier momento para los balanceadores de cargas agrupados, pero no puedes quitar ningún grupo de direcciones existente. La marca que especificas en gcloud container bare-metal clusters update para agregar un grupo de direcciones depende del tipo de balanceador de cargas en paquete:

• MetalLB (capa 2): Usa la marca --metal-lb-address-pools.
• Protocolo de puerta de enlace de frontera (BGP): Usa la marca --bgp-address-pools.

El valor de las marcas tiene el siguiente formato:

'pool=NAME,avoid-buggy-ips=True|False,manual-assign=True|False,addresses=IP_ADDRESS_RANGE_1;IP_ADDRESS_RANGE_2;...' \

El valor tiene segmentos que comienzan con las palabras clave pool, avoid-buggy-ip, manual-assign y addresses. Separa cada segmento con una coma.

• pool: Es un nombre que elijas para el grupo.

• avoid-buggy-ips: Si configuras esto como True, el controlador de administración de direcciones IP (IPAM) no asignará a los servicios direcciones IP que terminen en .0 o .255. Esto evita el problema de que los dispositivos de consumidores con errores dejen de recibir por error el tráfico enviado a esas direcciones IP especiales. Si no se especifica, el valor predeterminado es False. A partir de la versión 1.16.0 de Google Distributed Cloud, puedes modificar este valor en un grupo de direcciones existente.

• manual-assign: Si no quieres que el controlador IPAM asigne automáticamente direcciones IP de este grupo a servicios, establece esto como True. Luego, un desarrollador puede crear un Service de tipo LoadBalancer y especificar de forma manual una de las direcciones del grupo. Si no se especifica, manual-assign se establece en False. A partir de la versión 1.16.0 de Google Distributed Cloud, puedes modificar este valor en un grupo de direcciones existente.

• En la lista de addresses: cada dirección debe ser un rango en formato CIDR o de rango con guion. Si quieres especificar una sola dirección IP en un grupo (como para la VIP de entrada), usa /32 en la notación CIDR (por ejemplo, 192.0.2.1/32).

Ten en cuenta las siguientes reglas de sintaxis:

• Encierra todo el valor entre comillas simples.
• No se permiten los espacios en blanco.
• Separa cada rango de direcciones IP con un punto y coma.

Puedes especificar más de una instancia de la marca, como se muestra en el siguiente ejemplo:

--metal-lb-address-pools='pool=pool2,avoid-buggy-ips=False,manual-assign=True,addresses=198.51.100.0/30;198.51.100.64-198.51.100.72'
--metal-lb-address-pools='pool=pool3,avoid-buggy-ips=True,manual-assign=True,addresses=203.0.113.0/28'

Para obtener más información sobre los grupos de direcciones del balanceador de cargas, consulta loadBalancer.addressPools en la sección Configura el balanceo de cargas en paquetes.

Evita la eliminación involuntaria de clústeres

bmctl

Si agregas la anotación baremetal.cluster.gke.io/prevent-deletion: "true" al archivo de configuración de tu clúster, no podrás borrar el clúster. Por ejemplo, ejecutar kubectl delete cluster o bmctl reset cluster produce un error.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: ci-10c3c6f4d9c698e
  namespace: cluster-ci-10c3c6f4d9c698e
  annotations:
    baremetal.cluster.gke.io/prevent-deletion: "true"
spec:
  clusterNetwork:

gcloud CLI

Si especificas la marca --add-annotations con el valor baremetal.cluster.gke.io/prevent-deletion="true", no podrás borrar el clúster. Por ejemplo:

1. Agrega la anotación para evitar la eliminación accidental del clúster:

   gcloud container bare-metal clusters update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --add-annotations=baremetal.cluster.gke.io/prevent-deletion="true"
   

2. Intenta borrar el clúster de usuario:

   gcloud container bare-metal clusters delete abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --force \
       --allow-missing
   

   La respuesta del comando es similar a la siguiente:

   ERROR: (gcloud.container.bare-metal.clusters.delete) INVALID_ARGUMENT:
   invalid request: admission webhook "vcluster.kb.io" denied the request:
   annotations[baremetal.cluster.gke.io/prevent-deletion]: Invalid value:
   "true": Annotation "baremetal.cluster.gke.io/prevent-deletion" should be
   removed in order to delete this cluster
   

   Para quitar la anotación, especifica --remove-annotations=baremetal.cluster.gke.io/prevent-deletion="true" en el comando update.

Omitir comprobaciones preliminares

Esta función solo está disponible con bmctl update.

El valor predeterminado del campo bypassPreflightCheck es false. Si configuras este campo como true en el archivo de configuración del clúster, las comprobaciones preliminares internas se ignoran cuando aplicas recursos a los clústeres existentes.

  apiVersion: baremetal.cluster.gke.io/v1
  kind: Cluster
  metadata:
    name: cluster1
    namespace: cluster-cluster1
    annotations:
      baremetal.cluster.gke.io/private-mode: "true"
  spec:
    bypassPreflightCheck: true

Agrega o quita administradores de clústeres

bmctl

Puedes agregar o quitar un usuario o una cuenta de servicio como administrador de un clúster de usuario si especificas direcciones de correo electrónico en la sección clusterSecurity.authorization.clusterAdmin.gcpAccounts del archivo de configuración del clúster. A las cuentas se les otorga la función de administrador de clúster en el clúster, lo que proporciona acceso completo a este.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  clusterSecurity:
    authorization:
      clusterAdmin:
        gcpAccounts:
        - [e-mail]
        - [e-mail]
        - [e-mail]

Cuando actualices un clúster de usuario para agregar una cuenta, asegúrate de incluir todas las cuentas en la lista (tanto las existentes como las nuevas), ya que bmctl update reemplaza la lista por lo que especificas en el archivo de configuración. Para quitar una cuenta, quítala del archivo de configuración del clúster y ejecuta bmctl update.

gcloud CLI

Puedes agregar o quitar un usuario o una cuenta de servicio como administrador del clúster si especificas una dirección de correo electrónico en la marca --admin-users. La marca acepta solo una dirección de correo electrónico. Para agregar varios usuarios, especifica una cuenta en cada marca, por ejemplo:

gcloud container bare-metal clusters update abm-user-cluster1a \
    --project=example-project-12345 \
    --location=us-central1 \
    --admin-users=[e-mail] \
    --admin-users=[e-mail]
    --admin-users=[e-mail]

El comando update reemplaza toda la lista de otorgamientos. Especifica todos los usuarios nuevos y existentes que deseas que sean administradores del clúster.

Configura un usuario de acceso

Puedes especificar un nombre de usuario no raíz que deseas usar para el acceso con la capacidad de sudo sin contraseña a las máquinas de nodo en tu clúster. Tu clave SSH, sshPrivateKeyPath, debe funcionar para el usuario especificado. Las operaciones de creación y actualización de clústeres verifican que se pueda acceder a las máquinas de nodos con el usuario y la clave SSH especificados.

bmctl

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
  annotations:
    baremetal.cluster.gke.io/private-mode: "true"
spec:
  nodeAccess:
    loginUser: abm

gcloud CLI

Especifica el usuario que deseas usar para acceder a las máquinas de nodo en la marca --login-user, por ejemplo:

gcloud container bare-metal clusters update abm-user-cluster1a \
    --project=example-project-12345 \
    --location=us-central1 \
    --login-user=abm

Si deseas habilitar el acceso a sudo sin contraseña para un usuario, sigue estos pasos en cada máquina de nodo del clúster:

1. Usa sudo visudo para abrir el archivo sudoers y editarlo:

   sudo visudo -f /etc/sudoers
   

   El comando visudo bloquea el archivo sudoers para evitar ediciones simultáneas y valida la sintaxis del archivo después de guardarlo.

2. Para tu usuario de acceso, agrega una entrada al archivo sudoers como la siguiente:

   USERNAME ALL=(ALL) NOPASSWD: ALL
   

3. Cierra y guarda el archivo.

4. Para ejecutar comandos con los privilegios de tu usuario de acceso, ejecuta el siguiente comando:

   su - USERNAME
   

5. A fin de verificar que no se requiera una contraseña para que el usuario de acceso ejecute comandos sudo, ejecuta el siguiente comando sudo:

   sudo ip a
   

Herramientas de redes avanzadas

Debes configurar funciones avanzadas de herramientas de redes en varios recursos personalizados después de crear el clúster. Para usar los recursos personalizados y las funciones de red relacionadas, debes habilitar las herramientas de redes avanzadas cuando creas el clúster.

bmctl

Establece clusterNetwork.advancedNetworking como true en la configuración del clúster cuando lo crees:

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  clusterNetwork:
    ...
    advancedNetworking: true
    ...

gcloud CLI

Incluye la marca --enable-advanced-networking en el comando gcloud container bare-metal clusters create cuando crees el clúster.

Después de crear el clúster con las herramientas de redes avanzadas habilitadas, puedes configurar los recursos personalizados descritos en esta sección con kubectl apply.

Nota: El comando gcloud container bare-metal clusters update no admite la configuración de estos recursos personalizados.

NetworkGatewayGroup

El recurso personalizado NetworkGatewayGroup se usa para proporcionar direcciones IP flotantes para funciones avanzadas de redes, como la puerta de enlace NAT de salida o el balanceo de cargas en paquetes con BGP.

apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
  name: default
  namespace: cluster-bm
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.2.100

Balanceo de cargas de BGP

Configura el balanceo de cargas del protocolo de puerta de enlace de frontera (BGP) en el recurso del clúster y en otros recursos personalizados. Los comandos gcloud container bare-metal clusters create y update admiten la configuración de BGP en el recurso del clúster, pero no en los recursos personalizados.

Cuando configuras balanceadores de cargas en paquetes con BGP, el balanceo de cargas del plano de datos usa de forma predeterminada los mismos pares externos que se especificaron para el intercambio de tráfico del plano de control. Como alternativa, puedes configurar el balanceo de cargas del plano de datos por separado, con el recurso personalizado BGPLoadBalancer y el recurso personalizado BGPPeer. Para obtener más información, consulta Configura balanceadores de cargas en paquetes con BGP.

BGPLoadBalancer

apiVersion: networking.gke.io/v1
kind: BGPLoadBalancer
metadata:
  name: default
  namespace: cluster-bm
spec:
  peerSelector:
    cluster.baremetal.gke.io/default-peer: "true"

BGPPeer

apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm
  labels:
    cluster.baremetal.gke.io/default-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

Aumenta el alcance de la red de servicio

Para crear más servicios que el límite inicial, puedes reducir la máscara de CIDR del servicio IPv4 para aumentar la red de servicio del clúster. Reducir la máscara (el valor después de “/”) da como resultado un rango de red más grande. Solo puedes aumentar el rango del CIDR del servicio IPv4. No se puede reducir el rango de la red, lo que significa que la máscara (el valor después de "/") no se puede aumentar.

bmctl

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  ...
  clusterNetwork:
    services:
      cidrBlocks:
        - 192.0.2.0/14
  ...

gcloud CLI

Para aumentar el rango del CIDR del servicio IPv4 en un clúster de usuario, especifica el rango nuevo en la marca --island-mode-service-address-cidr-blocks.

gcloud container bare-metal clusters update cluster1 \
    --project=example-project-12345 \
    --location=us-central1 \
    --island-mode-service-address-cidr-blocks=192.0.2.0/14

Establece la configuración de extracción de imágenes de kubelet

kubelet se ejecuta en cada nodo de tu clúster. kubelet es responsable de supervisar los contenedores de un nodo y garantizar que estén en buen estado. Cuando es necesario, kubelet consulta y extrae imágenes de Container Registry.

Actualizar la configuración de kubelet de forma manual y mantenerla sincronizada en todos los nodos del clúster puede ser un desafío. Para empeorar las cosas, los cambios manuales de configuración de kubelet en tus nodos se pierden cuando actualizas el clúster.

Para que las actualizaciones sincronizadas sean más fáciles y persistentes, Google Distributed Cloud te permite especificar algunas opciones de configuración de kubelet para cada uno de tus grupos de nodos del clúster: nodos del plano de control, nodos del balanceador de cargas y nodos trabajadores. La configuración se aplica a todos los nodos de un grupo determinado y se mantiene durante las actualizaciones del clúster. Los campos de esta configuración son mutables, por lo que puedes actualizarlos en cualquier momento, no solo durante la creación del clúster.

bmctl

Los siguientes campos compatibles controlan las operaciones de extracción de Container Registry para kubelet:

Advertencia: Configurar registryBurst o registryPullQPS en un valor negativo genera fallas en el trabajo de actualización para la configuración de kubelet. Para solucionar el problema, actualiza estos campos a valores positivos o quítalos de la especificación. Si el trabajo de actualización falla durante mucho tiempo, puede llenar el espacio en el disco de la máquina con los archivos de copia de seguridad de la configuración de kubelet. Puedes encontrar estos archivos de copia de seguridad en /var/lib/kubelet/config.yaml.bkup.*. Si estos archivos de copia de seguridad ocupan demasiado espacio en el disco, puedes quitarlos.

• registryBurst (valor predeterminado: 10)
• registryPullQPS (valor predeterminado: 5)
• serializeImagePulls (predeterminado: true)

Para obtener más información sobre cada uno de los campos de configuración de kubelet, consulta la Referencia del campo de configuración de clúster.

Puedes especificar estos campos en las secciones kubeletConfig de las especificaciones del clúster y del grupo de nodos para los siguientes grupos de nodos:

• Especificación del clúster:
• Nodos del plano de control spec.controlPlane.nodePoolSpec.kubeletConfig
• Nodos del balanceador de cargas spec.loadBalancer.nodePoolSpec.kubeletConfig
• Especificación del grupo de nodos:
• Nodos trabajadores spec.kubeletConfig

En el siguiente ejemplo, se muestran los campos agregados con sus valores predeterminados en el archivo de configuración del clúster. Ten en cuenta que la anotación preview.baremetal.cluster.gke.io/custom-kubelet: "enable" es obligatoria.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
  annotations:
    preview.baremetal.cluster.gke.io/custom-kubelet: "enable"
spec:
  ...
  controlPlane:
    nodePoolSpec:
      kubeletConfig:
        registryBurst: 10
        registryPullQPS: 5
        serializeImagePulls: true
  ...
  loadBalancer:
    nodePoolSpec:
      kubeletConfig:
        registryBurst: 10
        registryPullQPS: 5
        serializeImagePulls: true
  ...
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: node-pool-new
  namespace: cluster-cluster1
spec:
  clusterName: cluster1
  ...
  kubeletConfig:
    registryBurst: 10
    registryPullQPS: 5
    serializeImagePulls: true

En cada caso, la configuración se aplica a todos los nodos del grupo.

gcloud CLI

Las siguientes marcas controlan las operaciones de extracción de Container Registry para kubelet:

• Nodos de plano de control

  • --control-plane-registry-burst
  • --control-plane-registry-pull-qps
  • --disable-control-plane-serialize-image-pulls
  • --enable-control-plane-serialize-image-pulls

• Nodos del balanceador de cargas

  • --bgp-load-balancer-registry-burst
  • --bgp-load-balancer-registry-pull-qps
  • --disable-bgp-load-balancer-serialize-image-pulls
  • --enable-bgp-load-balancer-serialize-image-pulls
  • --metal-lb-load-balancer-registry-burst
  • --metal-lb-load-balancer-registry-pull-qps
  • --disable-metal-lb-load-balancer-serialize-image-pull
  • --enable-metal-lb-load-balancer-serialize-image-pulls

• Nodos trabajadores

  • --registry-burst
  • --registry-pull-qps
  • --disable-serialize-image-pulls
  • --enable-serialize-image-pulls

Advertencia: Configurar las marcas *-registryburst o *-registry-pull-qps en un valor negativo genera fallas en el trabajo de actualización para la configuración de kubelet. Para solucionar el problema, actualiza estos campos a valores positivos. Si el trabajo de actualización falla durante mucho tiempo, puede llenar el espacio en el disco de la máquina con los archivos de copia de seguridad de la configuración de kubelet. Puedes encontrar estos archivos de copia de seguridad en /var/lib/kubelet/config.yaml.bkup.*. Si estos archivos de copia de seguridad ocupan demasiado espacio en el disco, puedes quitarlos.

Cómo usarla

Estas son algunas consideraciones para ajustar las extracciones de imágenes:

• Dado que las imágenes se extraen en serie de forma predeterminada, una extracción de imagen que tarda mucho tiempo puede retrasar todas las demás extracciones de imagen programadas en un nodo. Las extracciones de imágenes demoradas pueden bloquear el proceso de actualización (especialmente cuando las imágenes nuevas de Google Distributed Cloud deben implementarse en un nodo). Si te afectan los retrasos de extracción de imágenes, puedes inhabilitar la serialización de las extracciones de imágenes para permitir las extracciones de imágenes paralelas.

• Si encuentras errores de limitación de extracción de imágenes, como pull QPS exceeded, te recomendamos aumentar *-registry-pull-qps y *-registry-burst para aumentar la capacidad de procesamiento de extracción de imágenes. Estos dos campos ajustan la frecuencia de extracción y el tamaño de la cola, y pueden ayudar a abordar otros problemas relacionados con la limitación. No se permiten valores negativos.

Documentación de referencia

bmctl

• Referencia del comando de bmctl

• Referencia del campo de configuración del clúster

gcloud CLI

• gcloud container bare-metal clusters

• gcloud container bare-metal node-pools

• gcloud container bare-metal admin-clusters

Terraform

• google_gkeonprem_bare_metal_cluster

• google_gkeonprem_bare_metal_node_pool

• google_gkeonprem_bare_metal_admin_cluster