Actualiza clústeres

Después de crear un clúster, puedes cambiar algunos aspectos de su configuración. Por ejemplo, puedes hacer lo siguiente:

• Agrega, quita o reemplaza nodos.
• Agrega o quita anotaciones en el clúster.
• Modifica los valores de los campos mutables de los recursos del clúster y del grupo de nodos.
• Modifica otros recursos personalizados.

Puedes usar bmctl o Google Cloud CLI para realizar actualizaciones en un clúster. Si creaste un clúster de administrador o de usuario mediante Terraform, puedes usarlo para actualizar el clúster. Ten en cuenta lo siguiente:

• Muchos aspectos de la configuración del clúster son inmutables y no se pueden actualizar después de crear el clúster. Para obtener una lista completa de los campos inmutables y mutables, consulta la Referencia de campos de configuración del clúster. La referencia del campo es una tabla ordenable. Haz clic en los encabezados de las columnas para cambiar el orden. Haz clic en el nombre de un campo para ver su descripción.

• gcloud CLI y Terraform solo admiten la actualización de clústeres de administrador y de usuario. Debes usar bmctl para actualizar otros tipos de clústeres.

• gcloud CLI y Terraform solo admiten cambios en los recursos del clúster y del grupo de nodos. Debes usar kubectl o bmctl para actualizar otros recursos personalizados que afectan al clúster.

Cómo actualizar clústeres

Por lo general, debes realizar la siguiente secuencia de acciones para actualizar un clúster:

bmctl

1. Cambia los valores de los campos aplicables en el archivo de configuración del clúster, que se encuentra de forma predeterminada aquí:
   bmctl-workspace/CLUSTER-NAME/CLUSTER-NAME.yaml

2. Actualiza el clúster mediante la ejecución del comando bmctl update:

   bmctl update cluster -c CLUSTER_NAME --kubeconfig=KUBECONFIG
   

   Reemplaza lo siguiente:

   • CLUSTER_NAME: Es el nombre del clúster que deseas actualizar.
   • KUBECONFIG: Para clústeres de administrador, híbridos o independientes, ingresa la ruta de acceso al archivo kubeconfig del clúster. Para un clúster de usuario, ingresa la ruta de acceso al archivo kubeconfig del clúster admin.

No uses bmctl update y kubectl apply -f de forma indistinta cuando edites el archivo de configuración del clúster. Cuando estos comandos se usan de forma indistinta, es posible que el contenido propagado por el encabezado de la especificación de clúster se quite de manera accidental. Por ejemplo, puedes usar bmctl update para actualizar el archivo de configuración del clúster y configurar una duplicación del registro. Luego, el clúster se propaga spec.nodeConfig.registryMirrors después de la conciliación.

Si luego intentas realizar cambios en el clúster mediante la configuración del clúster con el comando kubectl apply -f, se quitará el spec.nodeConfig.registryMirrors propagado por el conciliador en el clúster. Este comportamiento ocurre porque la configuración no existe en la especificación de configuración del clúster, pero sí en el clúster.

gcloud CLI

1. Especifica solo las marcas de la configuración que deseas modificar.

2. Ejecuta el comando de actualización aplicable:

   • Clústeres de administrador: gcloud container bare-metal admin-clusters update

   • Clústeres de usuario: gcloud container bare-metal clusters update.

   • Grupos de nodos en un clúster de usuario: gcloud container bare-metal node-pools update

Terraform

1. Cambia los valores de los campos aplicables en el archivo de configuración de Terraform que usaste para crear el clúster o el grupo de nodos. Consulta la documentación de referencia de Terraform para obtener descripciones detalladas de los campos:

   • google_gkeonprem_bare_metal_admin_cluster

   • google_gkeonprem_bare_metal_cluster

   • google_gkeonprem_bare_metal_node_pool

2. Actualiza la configuración mediante la ejecución del comando terraform apply.

En las siguientes secciones, se describen algunos ejemplos comunes para actualizar un clúster existente.

Agrega o quita nodos en un clúster

Un grupo de nodos es un grupo de nodos dentro de un clúster que tienen la misma configuración. Ten en cuenta que un nodo siempre pertenece a un grupo de nodos. Para agregar un nodo nuevo a un clúster, debes agregarlo a un grupo de nodos en particular. Quitar un nodo de un grupo de nodos equivale a quitarlo del clúster por completo.

Existen tres tipos de grupos de nodos en GKE en Bare Metal: plano de control, balanceador de cargas y grupos de nodo trabajador. En las siguientes secciones, se describe cómo agregar o quitar nodos de cada tipo de grupo de nodos.

bmctl

Para agregar o quitar un nodo de un grupo de nodos, agrega o quita la dirección IP del nodo en una sección específica del archivo de configuración del clúster. En la siguiente lista, se muestra qué sección editar para un grupo de nodos determinado:

• Grupo de nodos trabajadores: agrega o quita la dirección IP del nodo en la sección spec.nodes de la especificación NodePool.
• Grupo de nodos del plano de control: Agrega o quita la dirección IP del nodo en la sección spec.controlPlane.nodePoolSpec.nodes de la especificación Cluster.
• Grupo de nodos del balanceador de cargas: Agrega o quita la dirección IP del nodo en la sección spec.loadBalancer.nodePoolSpec.nodes de la especificación Cluster.

Ejemplo: Quita un nodo trabajador

Este es un archivo de configuración de clúster de muestra que muestra las especificaciones de dos nodos trabajadores:

---
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: nodepool1
  namespace: cluster-cluster1
spec:
  clusterName: cluster1
  nodes:
  - address: 192.0.2.1
  - address: 192.0.2.2

Para quitar un nodo, haz lo siguiente:

1. Si el nodo que quitas está ejecutando Pods críticos, primero debes poner el nodo en el modo de mantenimiento (opcional).

   Puedes supervisar el proceso de vaciado de nodos para los nodos trabajadores si consultas los campos status.nodesDrained y status.nodesDraining en el recurso NodePool.

2. Edita el archivo de configuración del clúster para borrar la entrada de la dirección IP del nodo.

3. Actualiza el clúster:

   bmctl update cluster1 \
       --kubeconfig=ADMIN_KUBECONFIG
   

gcloud CLI

Usas un comando update para agregar o quitar nodos. El comando update que usas y la marca en la que especificas la dirección IP dependen del tipo de grupo de nodos que quieres actualizar:

• Grupo de nodos trabajadores: Ejecuta gcloud container bare-metal node-pools update y especifica la dirección IP en la marca --node-configs 'node-ip=IP_ADDRESS'.

• Grupo de nodos del plano de control en un clúster de administrador: ejecuta gcloud container bare-metal admin-clusters update y especifica la dirección IP en la marca --control-plane-node-configs 'node-ip=IP_ADDRESS'.

• Grupo de nodos del plano de control en un clúster de usuario: ejecuta gcloud container bare-metal clusters update y especifica la dirección IP en la marca --control-plane-node-configs 'node-ip=IP_ADDRESS'.

• Grupo de nodos del balanceador de cargas: Ejecuta gcloud container bare-metal clusters update y especifica la dirección IP en la marca --metal-lb-load-balancer-node-configs 'node-ip=IP_ADDRESS' o
  --bgp-load-balancer-node-configs 'node-ip=IP_ADDRESS'

La marca en la que especificas la dirección IP solo acepta un node-ip. Debes incluir la marca para cada dirección IP en el grupo de nodos.

Los comandos update reemplazan todas las direcciones IP por las direcciones IP que especifiques. Para agregar un nodo, incluye las direcciones IP de los nodos existentes y la dirección IP del nodo nuevo en el comando update. De manera similar, para quitar nodos, solo incluye las direcciones IP de los nodos que quieres conservar.

Ejemplo: Quita un nodo trabajador

En esta sección, se muestra cómo quitar un nodo trabajador de un grupo de nodos con datos de ejemplo. En los siguientes pasos, también se incluyen comandos adicionales de gcloud CLI que podrían resultarte útiles.

1. Si el nodo que quitas está ejecutando Pods críticos, primero debes poner el nodo en el modo de mantenimiento (opcional).

   Puedes supervisar el proceso de vaciado de nodos para los nodos trabajadores si consultas los campos status.nodesDrained y status.nodesDraining en el recurso NodePool.

2. Ejecuta el comando list para enumerar todos los grupos de nodos del clúster:

   gcloud container bare-metal node-pools list \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1
   

   El resultado es similar al siguiente:

   NAME         LOCATION     STATE
   node-pool-1  us-central1  RUNNING
   node-pool-2  asia-east1   RUNNING
   

3. Ejecuta el comando describe para mostrar todas las direcciones IP del grupo de nodos:

   gcloud container bare-metal node-pools describe node-pool-1 \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1
   

   El siguiente resultado de ejemplo se trunca para facilitar la lectura:

   annotations:
     ...
     baremetal.cluster.gke.io/version: 1.29
   ...
   name: projects/example-project-12345/locations/us-central1/bareMetalClusters/abm-user-cluster1/bareMetalNodePools/node-pool-1
   nodePoolConfig:
     nodeConfigs:
     - nodeIp: 192.0.2.1
     - nodeIp: 192.0.2.2
     operatingSystem: LINUX
   state: RUNNING
   ...
   

   Ten en cuenta lo siguiente en el resultado de ejemplo:

   • El campo name contiene el nombre completamente calificado del grupo de nodos. Cuando especificas el nombre del grupo de nodos en un comando, puedes especificar el nombre completo o el nombre del grupo de nodos, por ejemplo, node-pool-1, junto con las marcas --cluster, --project y --location.

   • La sección nodeConfigs contiene dos campos nodeIp con las direcciones IP de los nodos.

4. Ejecuta el siguiente comando para quitar el nodo con la dirección IP 192.0.2.1:

   gcloud container bare-metal node-pools update node-pool-1 \
       --cluster=abm-user-cluster1 \
       --project=example-project-12345 \
       --location=us-central1 \
       --node-configs='node-ip=192.0.2.2'
   

   El comando update reemplaza todas las direcciones IP por las direcciones IP que especifiques. Como no se incluye 192.0.2.1, se quita el nodo.

   El resultado del comando es similar al siguiente:

   Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9] to complete
   

   En el resultado de ejemplo, la string operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9 es la OPERATION_ID de la operación de larga duración. Para averiguar el estado de la operación, ejecuta el siguiente comando en otra ventana de terminal:

   gcloud container bare-metal operations describe operation-1697154681749-6078d9def4030-76686d6e-9fcb1de9 \
       --project= example-project-12345 \
       --location=us-central1
   

   Puedes volver a ejecutar el comando de vez en cuando para verificar el estado.

Si falla la eliminación del nodo, puedes forzar su eliminación del clúster. Para obtener más información, consulta Cómo quitar nodos rotos de manera forzosa.

Reemplaza los nodos del plano de control de alta disponibilidad

bmctl

Puedes usar bmctl para reemplazar los nodos del plano de control de alta disponibilidad (HA) en todos los tipos de clústeres.

Para reemplazar un nodo en un clúster, realiza los siguientes pasos:

1. Quita la dirección IP del nodo del archivo de configuración del clúster.
2. Actualiza el clúster.
3. Verifica el estado de los nodos del clúster.
4. Agrega la dirección IP de un nodo nuevo al mismo archivo de configuración del clúster.
5. Actualiza el clúster.

Ejemplo: Reemplaza un nodo del plano de control de alta disponibilidad

Este es un archivo de configuración de clúster de muestra que muestra tres nodos del plano de control en un clúster de usuario:

---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: user-cluster
namespace: cluster-user-cluster
spec:
  controlPlane:
  nodePoolSpec:
    nodes:
    - address: 192.0.2.11
    - address: 192.0.2.12
    - address: 192.0.2.13

Para reemplazar el último nodo de la lista en la sección spec.controlPlane.nodePoolSpec.nodes, sigue estos pasos:

1. Para quitar el nodo, borra su entrada de dirección IP en el archivo de configuración del clúster. Después de realizar el cambio, el archivo de configuración del clúster debería ser similar al siguiente:

   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: Cluster
   metadata:
   name: user-cluster
   namespace: cluster-user-cluster
   spec:
     controlPlane:
     nodePoolSpec:
       nodes:
       - address: 192.0.2.11
       - address: 192.0.2.12
   

2. Actualiza el clúster mediante la ejecución del siguiente comando:

   bmctl update cluster -c CLUSTER_NAME \
     --kubeconfig=KUBECONFIG
   

   Realiza los siguientes cambios:

   • Reemplaza CLUSTER_NAME por el nombre del clúster que deseas actualizar.
   • Si el clúster es de autoadministración (como un clúster de administrador o independiente), reemplaza KUBECONFIG por la ruta de acceso al archivo kubeconfig del clúster. Si el clúster es un clúster de usuario, como se muestra en este ejemplo, reemplaza KUBECONFIG por la ruta de acceso al archivo kubeconfig del clúster admin.

3. Una vez que el comando bmctl update se haya ejecutado de forma correcta, lleva un tiempo completar los trabajos machine-preflight y machine-init. Puedes ver el estado de los nodos y sus respectivos grupos de nodos si ejecutas los comandos descritos en la sección Verifica tus actualizaciones de este documento. Una vez que el grupo de nodos y los nodos estén listos, puedes continuar con el siguiente paso.

4. Para agregar un nodo de plano de control nuevo al grupo de nodos, agrega la dirección IP del nodo de plano de control nuevo a la sección spec.controlPlane.nodePoolSpec.nodes del archivo de configuración del clúster. Después de realizar el cambio, el archivo de configuración del clúster debería ser similar al siguiente:

   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: Cluster
   metadata:
   name: user-cluster
   namespace: cluster-user-cluster
   spec:
     controlPlane:
     nodePoolSpec:
       nodes:
       - address: 192.0.2.11
       - address: 192.0.2.12
       - address: 192.0.2.14
   

5. Actualiza el clúster mediante la ejecución del siguiente comando:

   bmctl update cluster -c CLUSTER_NAME \
     --kubeconfig=KUBECONFIG
   

gcloud CLI

Puedes usar gcloud CLI para reemplazar los nodos del plano de control de alta disponibilidad (HA) en los clústeres de administrador y de usuario.

Para reemplazar un nodo en un clúster, realiza los siguientes pasos:

1. Quita la dirección IP del nodo mediante la ejecución del comando update aplicable:

   • Clúster de usuario: gcloud container bare-metal clusters update
   • Clúster de administrador: gcloud container bare-metal admin-clusters update

2. Ejecuta gcloud container bare-metal operations describe OPERATION_ID para verificar el estado de eliminación del nodo en el clúster.

3. Agrega la dirección IP del nodo nuevo mediante la ejecución del comando update aplicable.

Ejemplo: Reemplaza un nodo del plano de control de alta disponibilidad

En esta sección, se muestra cómo reemplazar un plano de control de un clúster con datos de ejemplo. En los siguientes pasos, también se incluyen comandos adicionales de gcloud CLI que podrían resultarte útiles.

1. Ejecuta el comando list para enumerar todos los clústeres de usuario en un proyecto de Google Cloud:

   gcloud container bare-metal clusters list \
       --project=example-project-12345 \
       --location=-
   

   Cuando configuras --location=-, significa que se enumeran todos los clústeres en todas las regiones. Si necesitas ampliar el alcance de la lista, establece --location en una región específica.

   El resultado es similar al siguiente:

   NAME                 LOCATION      VERSION   ADMIN_CLUSTER        STATE
   abm-user-cluster1a   us-central1   1.29      abm-admin-cluster1   RUNNING
   abm-user-cluster1b   europe-west1  1.29      abm-admin-cluster1   RUNNING
   

2. Ejecuta el comando describe en el clúster:

   gcloud container bare-metal clusters describe abm-user-cluster1  \
       --project=example-project-12345 \
       --location=us-central1
   

   El resultado de ejemplo se trunca para facilitar la lectura:

   ...
   controlPlane:
     controlPlaneNodePoolConfig:
       nodePoolConfig:
         nodeConfigs:
         - nodeIp: 192.0.2.11
         - nodeIp: 192.0.2.12
         - nodeIp: 192.0.2.13
         operatingSystem: LINUX
   ...
   name: projects/example-project-1234567/locations/us-central1/bareMetalClusters/abm-user-cluster1a
   ...
   

   Ten en cuenta lo siguiente en el resultado de ejemplo:

   • El campo name contiene el nombre completamente calificado del clúster. Cuando especificas el nombre del clúster en un comando, puedes especificar el nombre completamente calificado o el nombre del clúster, por ejemplo, abm-user-cluster1a, junto con --project y --location flags.

   • La sección nodeConfigs contiene tres campos nodeIp con las direcciones IP de los nodos del plano de control.

3. Quita el nodo con la dirección IP 192.0.2.13:

   gcloud container bare-metal cluster update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --control-plane-node-configs 'node-ip=192.0.2.11'
       --control-plane-node-configs 'node-ip=192.0.2.12'
   

   El resultado del comando es similar al siguiente:

   Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1956154681749-6078d9def4030-76686d6e-9fcb1d7] to complete
   

   En el resultado de ejemplo, la string operation-1956154681749-6078d9def4030-76686d6e-9fcb1de7 es la OPERATION_ID de la operación de larga duración. Para averiguar el estado de la operación, ejecuta el siguiente comando en otra ventana de terminal:

   gcloud container bare-metal operations describe operation-1956154681749-6078d9def4030-76686d6e-9fcb1de7 \
       --project= example-project-12345 \
       --location=us-central1
   

   Puedes volver a ejecutar el comando de vez en cuando para verificar el estado.

4. Agrega el nodo nuevo con la dirección IP 192.0.2.14:

   gcloud container bare-metal cluster update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --control-plane-node-configs 'node-ip=192.0.2.11'
       --control-plane-node-configs 'node-ip=192.0.2.12'
       --control-plane-node-configs 'node-ip=192.0.2.14'
   

Verifica tus actualizaciones

kubectl

Puedes ver el estado de los nodos y sus respectivos grupos de nodos con el comando kubectl get.

Por ejemplo, el siguiente comando muestra el estado de los grupos de nodos en el espacio de nombres del clúster cluster-my-cluster:

kubectl -n cluster-my-cluster get nodepools.baremetal.cluster.gke.io

El sistema muestra resultados similares al siguiente:

NAME                    READY   RECONCILING   STALLED   UNDERMAINTENANCE   UNKNOWN
cluster-my-cluster      3       0             0         0                  0
cluster-my-cluster-lb   2       0             0         0                  0
np1                     3       0             0         0                  0

Reconciling=1 significa que el paso de conciliación aún está en curso. Debes esperar hasta que el estado cambie a Reconciling=0.

También puedes ejecutar el siguiente comando para verificar el estado de los nodos de un clúster:

kubectl get nodes --kubeconfig=KUBECONFIG

gcloud CLI

Como se describió anteriormente, después de ejecutar un comando update, puedes verificar el estado de la operación mediante gcloud container bare-metal operations describe OPERATIONS_ID. El resultado del comando proporciona el estado de los nodos, por ejemplo:

  ...
  metrics:
  - intValue: '1'
    metric: NODES_RECONCILING
  - intValue: '2'
    metric: NODES_HEALTHY
  - intValue: '0'
    metric: NODES_FAILED
  - intValue: '0'
    metric: NODES_IN_MAINTENANCE
  - intValue: '3'
    metric: NODES_TOTAL
  stage: HEALTH_CHECK
...

Sin importar qué herramienta uses para actualizar un grupo de nodos, puedes obtener el estado actual de un grupo de nodos si ejecutas el comando describe aplicable como se mostró antes.

Si necesitas más información sobre cómo diagnosticar los clústeres, consulta Crea instantáneas para diagnosticar clústeres.

Grupos de direcciones del balanceador de cargas

bmctl

La sección addressPools contiene campos a fin de especificar grupos de balanceo de cargas para los balanceadores de cargas en paquetes de MetalLB y Front Gateway Protocol (BGP). Puedes agregar más grupos de direcciones de balanceo de cargas en cualquier momento, pero no puedes quitar ningún grupo de direcciones existente. A partir de la versión 1.16.0 de GKE en Bare Metal, puedes modificar los valores de addressPools.avoidBuggyIPs y addressPools.manualAssign en cualquier momento.

addressPools:
- name: pool1
  addresses:
  - 198.51.100.0-198.51.100.4
  - 198.51.100.240/28
- name: pool2
  addresses:
  - 198.51.100.224/28

gcloud CLI

Puedes agregar más grupos de direcciones de balanceo de cargas en cualquier momento para los balanceadores de cargas en paquetes, pero no puedes quitar ningún grupo de direcciones existente. La marca que especifiques en gcloud container bare-metal clusters update para agregar un grupo de direcciones depende del tipo de balanceador de cargas en paquetes:

• MetalLB (capa 2): Usa la marca --metal-lb-address-pools.
• Protocolo de puerta de enlace de frontera (BGP): Usa la marca --bgp-address-pools.

El valor de las marcas tiene el siguiente formato:

'pool=NAME,avoid-buggy-ips=True|False,manual-assign=True|False,addresses=IP_ADDRESS_RANGE_1;IP_ADDRESS_RANGE_2;...' \

El valor tiene segmentos que comienzan con las palabras clave pool, avoid-buggy-ip, manual-assign y addresses. Separa cada segmento con una coma.

• pool: Es un nombre que elijas para el grupo.

• avoid-buggy-ips: Si estableces esto como True, el controlador de administración de direcciones IP (IPAM) no asignará las direcciones IP que terminan en .0 o .255 a los objetos Service. Esto evita el problema de que los dispositivos de consumidores con errores descartan por error el tráfico enviado a esas direcciones IP especiales. Si no se especifica, el valor predeterminado es False. A partir de la versión 1.16.0 de GKE en Bare Metal, puedes modificar este valor en un grupo de direcciones existente.

• manual-assign: Si no quieres que el controlador de IPAM asigne de forma automática las direcciones IP de este grupo a los servicios, configura esto como True. Luego, un desarrollador puede crear un Service de tipo LoadBalancer y especificar de forma manual una de las direcciones del grupo. Si no se especifica, manual-assign se establece en False. A partir de la versión 1.16.0 de GKE en Bare Metal, puedes modificar este valor en un grupo de direcciones existente.

• En la lista de addresses: Cada dirección debe ser un rango en formato CIDR o de rango con guion. Si deseas especificar una sola dirección IP en un grupo (como para la VIP de entrada), usa /32 en la notación CIDR (por ejemplo, 192.0.2.1/32).

Ten en cuenta las siguientes reglas de sintaxis:

• Encierra todo el valor entre comillas simples.
• No se permiten los espacios en blanco.
• Separa cada rango de direcciones IP con un punto y coma.

Puedes especificar más de una instancia de la marca, como se muestra en el siguiente ejemplo:

--metal-lb-address-pools='pool=pool2,avoid-buggy-ips=False,manual-assign=True,addresses=198.51.100.0/30;198.51.100.64-198.51.100.72'
--metal-lb-address-pools='pool=pool3,avoid-buggy-ips=True,manual-assign=True,addresses=203.0.113.0/28'

Para obtener más información sobre los grupos de direcciones del balanceador de cargas, consulta loadBalancer.addressPools en Configura el balanceo de cargas en paquetes.

Evita la eliminación involuntaria de clústeres

bmctl

Si agregas la anotación baremetal.cluster.gke.io/prevent-deletion: "true" al archivo de configuración de tu clúster, no podrás borrarlo. Por ejemplo, si ejecutas kubectl delete cluster o bmctl reset cluster, se produce un error.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: ci-10c3c6f4d9c698e
  namespace: cluster-ci-10c3c6f4d9c698e
  annotations:
    baremetal.cluster.gke.io/prevent-deletion: "true"
spec:
  clusterNetwork:

gcloud CLI

Si especificas la marca --add-annotations con el valor baremetal.cluster.gke.io/prevent-deletion="true", no podrás borrar el clúster. Por ejemplo:

1. Agrega la anotación para evitar que se borre el clúster por accidente:

   gcloud container bare-metal clusters update abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --add-annotations=baremetal.cluster.gke.io/prevent-deletion="true"
   

2. Intenta borrar el clúster de usuario:

   gcloud container bare-metal clusters delete abm-user-cluster1a \
       --project=example-project-12345 \
       --location=us-central1 \
       --force \
       --allow-missing
   

   La respuesta del comando es similar a la siguiente:

   ERROR: (gcloud.container.bare-metal.clusters.delete) INVALID_ARGUMENT:
   invalid request: admission webhook "vcluster.kb.io" denied the request:
   annotations[baremetal.cluster.gke.io/prevent-deletion]: Invalid value:
   "true": Annotation "baremetal.cluster.gke.io/prevent-deletion" should be
   removed in order to delete this cluster
   

   Para quitar la anotación, especifica --remove-annotations=baremetal.cluster.gke.io/prevent-deletion="true" en el comando update.

Omitir las comprobaciones preliminares

Esta función solo está disponible con bmctl update.

El valor predeterminado del campo bypassPreflightCheck es false. Si estableces este campo como true en el archivo de configuración del clúster, las comprobaciones preliminares internas se ignoran cuando aplicas recursos a clústeres existentes.

  apiVersion: baremetal.cluster.gke.io/v1
  kind: Cluster
  metadata:
    name: cluster1
    namespace: cluster-cluster1
    annotations:
      baremetal.cluster.gke.io/private-mode: "true"
  spec:
    bypassPreflightCheck: true

Agrega o quita administradores de clústeres

bmctl

Puedes agregar o quitar un usuario o una cuenta de servicio como administrador de un clúster de usuario si especificas direcciones de correo electrónico en la sección clusterSecurity.authorization.clusterAdmin.gcpAccounts del archivo de configuración del clúster. A las cuentas se les otorga el rol de administrador de clúster en el clúster, lo que proporciona acceso completo al clúster.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  clusterSecurity:
    authorization:
      clusterAdmin:
        gcpAccounts:
        - [e-mail]
        - [e-mail]
        - [e-mail]

Cuando actualices un clúster de usuario para agregar una cuenta, asegúrate de incluir todas las cuentas de la lista (tanto las existentes como las nuevas), ya que bmctl update reemplaza la lista por lo que especifiques en el archivo de configuración. Para quitar una cuenta, quítala del archivo de configuración del clúster y ejecuta bmctl update.

gcloud CLI

Puedes agregar o quitar un usuario o una cuenta de servicio como administrador del clúster. Para ello, especifica una dirección de correo electrónico en la marca --admin-users. La marca acepta solo una dirección de correo electrónico. Para agregar varios usuarios, especifica una cuenta en cada marca, por ejemplo:

gcloud container bare-metal clusters update abm-user-cluster1a \
    --project=example-project-12345 \
    --location=us-central1 \
    --admin-users=[e-mail] \
    --admin-users=[e-mail]
    --admin-users=[e-mail]

El comando update reemplaza toda la lista de otorgamiento. Especifica todos los usuarios existentes y nuevos que quieres que sean administradores de clústeres.

Configura un usuario de acceso

Puedes especificar un nombre de usuario que no sea raíz que desees usar para el acceso sin contraseña a la capacidad de sudo a las máquinas del nodo en tu clúster. Tu clave SSH, sshPrivateKeyPath, debe funcionar para el usuario especificado. Las operaciones de creación y actualización del clúster verifican que se pueda acceder a las máquinas de los nodos con el usuario y la clave SSH especificados.

bmctl

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
  annotations:
    baremetal.cluster.gke.io/private-mode: "true"
spec:
  nodeAccess:
    loginUser: abm

gcloud CLI

Especifica el usuario que deseas usar para acceder a las máquinas de nodos en la marca --login-user, por ejemplo:

gcloud container bare-metal clusters update abm-user-cluster1a \
    --project=example-project-12345 \
    --location=us-central1 \
    --login-user=abm

Para habilitar el acceso sudo sin contraseña para un usuario, sigue estos pasos en cada máquina de nodos del clúster:

1. Usa sudo visudo para abrir el archivo sudoers y editarlo:

   sudo visudo -f /etc/sudoers
   

   El comando visudo bloquea el archivo sudoers para evitar ediciones simultáneas y valida la sintaxis del archivo después de guardarlo.

2. Para el usuario de acceso, agrega una entrada al archivo sudoers como la siguiente:

   USERNAME ALL=(ALL) NOPASSWD: ALL
   

3. Cierra y guarda el archivo.

4. Para ejecutar comandos con los privilegios de tu usuario de acceso, ejecuta el siguiente comando:

   su - USERNAME
   

5. A fin de verificar que no se requiere una contraseña para que tu usuario de acceso ejecute comandos sudo, ejecuta el siguiente comando sudo:

   sudo ip a
   

Herramientas de redes avanzadas

Puedes configurar las funciones avanzadas de redes en varios recursos personalizados después de crear el clúster. Para usar los recursos personalizados y las funciones de herramientas de redes relacionadas, debes habilitar las herramientas de redes avanzadas cuando creas el clúster.

bmctl

Establece clusterNetwork.advancedNetworking como true en la configuración del clúster cuando lo crees:

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  clusterNetwork:
    ...
    advancedNetworking: true
    ...

gcloud CLI

Incluye la marca --enable-advanced-networking en el comando gcloud container bare-metal clusters create cuando crees el clúster.

Después de crear el clúster con las herramientas de redes avanzadas habilitadas, puedes configurar los recursos personalizados que se describen en esta sección con kubectl apply.

Nota: El comando gcloud container bare-metal clusters update no admite la configuración de estos recursos personalizados.

NetworkGatewayGroup

El recurso personalizado NetworkGatewayGroup se usa para proporcionar direcciones IP flotantes para funciones avanzadas de redes, como la puerta de enlace NAT de salida o el balanceo de cargas en paquetes con BGP.

apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
  name: default
  namespace: cluster-bm
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.2.100

Balanceo de cargas de BGP

Configura el balanceo de cargas del protocolo de puerta de enlace de frontera (BGP) en el recurso del clúster y otros recursos personalizados. Los comandos gcloud container bare-metal clusters create y update admiten la configuración de BGP en el recurso del clúster, pero no en los recursos personalizados.

Cuando configuras balanceadores de cargas en paquetes con BGP, el balanceo de cargas del plano de datos usa de forma predeterminada los mismos pares externos que se especificaron para el intercambio de tráfico del plano de control. Como alternativa, puedes configurar el balanceo de cargas del plano de datos por separado, con el recurso personalizado BGPLoadBalancer y el recurso personalizado BGPPeer. Para obtener más información, consulta Configura balanceadores de cargas en paquetes con BGP.

BGPLoadBalancer

apiVersion: networking.gke.io/v1
kind: BGPLoadBalancer
metadata:
  name: default
  namespace: cluster-bm
spec:
  peerSelector:
    cluster.baremetal.gke.io/default-peer: "true"

BGPPeer

apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm
  labels:
    cluster.baremetal.gke.io/default-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

Aumentar el alcance de la red de servicio

Para crear más servicios que el límite inicial, puedes reducir la máscara CIDR del servicio IPv4 a fin de aumentar la red de servicio del clúster. Reducir la máscara (el valor después de “/”) genera un rango de red más amplio. Solo puedes aumentar el rango del CIDR del servicio IPv4. No se puede reducir el rango de red, lo que significa que no se puede aumentar la máscara (el valor después de “/”).

bmctl

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
spec:
  ...
  clusterNetwork:
    services:
      cidrBlocks:
        - 192.0.2.0/14
  ...

gcloud CLI

Para aumentar el rango del CIDR del servicio IPv4 en un clúster de usuario, especifica el rango nuevo en la marca --island-mode-service-address-cidr-blocks.

gcloud container bare-metal clusters update cluster1 \
    --project=example-project-12345 \
    --location=us-central1 \
    --island-mode-service-address-cidr-blocks=192.0.2.0/14

Establece la configuración de extracción de imágenes de kubelet

El kubelet se ejecuta en cada nodo de tu clúster. kubelet es responsable de supervisar los contenedores en un nodo y asegurarse de que estén en buen estado. Cuando es necesario, kubelet consulta y extrae imágenes de Container Registry.

Actualizar la configuración de kubelet manualmente y mantenerla sincronizada en todos los nodos del clúster puede ser un desafío. Para empeorar la situación, los cambios manuales de configuración de kubelet en los nodos se pierden cuando actualizas el clúster.

Para facilitar y hacer que las actualizaciones sincronizadas sean más fáciles y persistentes, GKE en Bare Metal te permite especificar algunas opciones de configuración de kubelet para cada grupo de nodos del clúster: nodos del plano de control, nodos del balanceador de cargas y nodos trabajadores. La configuración se aplica a todos los nodos de un grupo determinado y se mantiene durante las actualizaciones del clúster. Los campos de esta configuración son mutables, por lo que puedes actualizarlos en cualquier momento, no solo durante la creación del clúster.

bmctl

Los siguientes campos admitidos controlan las operaciones de extracción de Container Registry para kubelet:

Advertencia: Si configuras registryBurst o registryPullQPS en un valor negativo, se producirán fallas en los trabajos de actualización para la configuración de kubelet. Para solucionar el problema, puedes actualizar estos campos a valores positivos o quitarlos de la especificación. Si el trabajo de actualización falla durante mucho tiempo, puede llenar el espacio en el disco de la máquina con archivos de copia de seguridad de la configuración de kubelet. Puedes encontrar estos archivos de copia de seguridad en /var/lib/kubelet/config.yaml.bkup.*. Si estos archivos de copia de seguridad ocupan demasiado espacio en el disco, puedes quitarlos.

• registryBurst (predeterminado: 10)
• registryPullQPS (predeterminado: 5)
• serializeImagePulls (predeterminado: verdadero)

Para obtener más información sobre cada uno de los campos de configuración de kubelet, consulta la Referencia del campo de configuración del clúster.

Puedes especificar estos campos en las secciones kubeletConfig de la especificación del clúster y de NodePool para los siguientes grupos de nodos:

• Especificación de clúster:
• Nodos de plano de control spec.controlPlane.nodePoolSpec.kubeletConfig
• Nodos del balanceador de cargas spec.loadBalancer.nodePoolSpec.kubeletConfig
• Especificación del grupo de nodos:
• Nodos trabajadores spec.kubeletConfig

En el siguiente ejemplo, se muestran los campos agregados con sus valores predeterminados en el archivo de configuración del clúster. Ten en cuenta que la anotación preview.baremetal.cluster.gke.io/custom-kubelet: "enable" es obligatoria.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: cluster1
  namespace: cluster-cluster1
  annotations:
    preview.baremetal.cluster.gke.io/custom-kubelet: "enable"
spec:
  ...
  controlPlane:
    nodePoolSpec:
      kubeletConfig:
        registryBurst: 10
        registryPullQPS: 5
        serializeImagePulls: true
  ...
  loadBalancer:
    nodePoolSpec:
      kubeletConfig:
        registryBurst: 10
        registryPullQPS: 5
        serializeImagePulls: true
  ...
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: node-pool-new
  namespace: cluster-cluster1
spec:
  clusterName: cluster1
  ...
  kubeletConfig:
    registryBurst: 10
    registryPullQPS: 5
    serializeImagePulls: true

En cada caso, la configuración se aplica a todos los nodos del grupo.

gcloud CLI

Las siguientes marcas controlan las operaciones de extracción de Container Registry para kubelet:

• Nodos de plano de control

  • --control-plane-registry-burst
  • --control-plane-registry-pull-qps
  • --disable-control-plane-serialize-image-pulls
  • --enable-control-plane-serialize-image-pulls

• Nodos del balanceador de cargas

  • --bgp-load-balancer-registry-burst
  • --bgp-load-balancer-registry-pull-qps
  • --disable-bgp-load-balancer-serialize-image-pulls
  • --enable-bgp-load-balancer-serialize-image-pulls
  • --metal-lb-load-balancer-registry-burst
  • --metal-lb-load-balancer-registry-pull-qps
  • --disable-metal-lb-load-balancer-serialize-image-pull
  • --enable-metal-lb-load-balancer-serialize-image-pulls

• Nodos trabajadores

  • --registry-burst
  • --registry-pull-qps
  • --disable-serialize-image-pulls
  • --enable-serialize-image-pulls

Advertencia: Establecer las marcas *-registryburst o *-registry-pull-qps en un valor negativo genera errores en los trabajos de actualización para la configuración de kubelet. Para solucionar el problema, actualiza estos campos a valores positivos. Si el trabajo de actualización falla durante mucho tiempo, puede llenar el espacio en el disco de la máquina con archivos de copia de seguridad de la configuración de kubelet. Puedes encontrar estos archivos de copia de seguridad en /var/lib/kubelet/config.yaml.bkup.*. Si estos archivos de copia de seguridad ocupan demasiado espacio en el disco, puedes quitarlos.

Cómo usarla

Estas son algunas consideraciones para ajustar las extracciones de imágenes:

• Debido a que las imágenes se extraen en serie de forma predeterminada, una extracción de imagen que toma mucho tiempo puede retrasar todas las demás extracciones de imágenes programadas en un nodo. Las extracciones de imágenes retrasadas pueden bloquear el proceso de actualización (en especial cuando las imágenes nuevas de GKE en Bare Metal deben implementarse en un nodo). Si te afectan las demoras de extracción de imágenes, puedes inhabilitar la extracción de imágenes en serie para permitir las extracciones de imágenes paralelas.

• Si encuentras errores de limitación de extracción de imágenes, como pull QPS exceeded, te recomendamos que aumentes *-registry-pull-qps y *-registry-burst para aumentar la capacidad de procesamiento de extracción de imágenes. Estos dos campos ajustan la tasa de extracción y el tamaño de la cola, y pueden ayudar a abordar otros problemas relacionados con la limitación. No se permiten valores negativos.

Documentación de referencia

bmctl

• Referencia del comando de bmctl

• Referencia del campo de configuración del clúster

gcloud CLI

• gcloud container bare-metal clusters

• gcloud container bare-metal node-pools

• gcloud container bare-metal admin-clusters

Terraform

• google_gkeonprem_bare_metal_cluster

• google_gkeonprem_bare_metal_node_pool

• google_gkeonprem_bare_metal_admin_cluster