Cuando actualizas GKE en Bare Metal, el proceso de actualización implica varios pasos y componentes. Para ayudar a supervisar el estado de la actualización o diagnosticar y solucionar problemas, es útil saber qué sucede cuando ejecutas el comando bmctl upgrade cluster. En este documento, se detallan los componentes y las etapas de una actualización del clúster.
Descripción general
El proceso de actualización mueve GKE en Bare Metal de la versión actual a una versión superior.
Esta información de la versión se almacena en las siguientes ubicaciones como parte del recurso personalizado del clúster en el clúster de administrador:
status.anthosBareMetalVersion: Define la versión actual del clúster.spec.anthosBareMetalVersion: Define la versión deseada y se establece cuando comienza a ejecutarse el proceso de actualización.
Una operación de actualización exitosa concilia la versión deseada de
spec.anthosBareMetalVersion a
status.anthosBareMetalVersion.
Sesgo de versión
El sesgo de versiones es la diferencia de versiones entre un clúster de administrador y sus clústeres de usuario administrados. GKE en Bare Metal sigue el mismo estilo que Kubernetes: el clúster de administrador puede estar como máximo una versión secundaria delante de sus clústeres administrados.
Reglas de versión para actualizaciones
Cuando descargas una versión nueva de bmctl y la instalas, puedes actualizar los clústeres de administrador, híbridos, independientes y de usuario creados o actualizados con una versión anterior de bmctl. Los clústeres no se pueden cambiar a una versión inferior.
Solo puedes actualizar un clúster a una versión que coincida con la versión de bmctl que usas. Es decir, si usas la versión 1.14.11 de bmctl, solo puedes actualizar un clúster a la versión 1.14.11.
Actualizaciones de versiones de parches
Para una versión secundaria determinada, puedes actualizar a cualquier versión de parche superior. Es decir, puedes actualizar un clúster de la versión 1.14.X a la versión 1.14.Y siempre que Y sea mayor que X. Por ejemplo, puedes actualizar de 1.13.0 a 1.13.1 y actualizar de 1.13.1 a 1.13.3. Te recomendamos actualizar a la versión de parche más reciente siempre que sea posible para garantizar que los clústeres tengan las correcciones de seguridad más recientes.
Actualizaciones de versiones secundarias
Puedes actualizar los clústeres de una versión secundaria a la siguiente, sin importar la versión del parche. Es decir, puedes actualizar de 1.N.X a 1.N+1.Y, donde 1.N.X es la versión de tu clúster y N+1 es la siguiente versión secundaria disponible. Las versiones del parche, X y Y, no afectan la lógica de actualización en este caso. Por ejemplo, puedes actualizar de 1.13.3 a 1.14.11.
No puedes omitir versiones secundarias cuando actualizas clústeres. Si intentas actualizar a una versión secundaria que es dos o más versiones secundarias posteriores a la versión del clúster, bmctl emite un error. Por ejemplo, no puedes actualizar un clúster de versión 1.12.0 a la versión 1.14.0.
Un clúster de administrador puede administrar clústeres de usuario que se encuentran en la misma versión secundaria o en una anterior. Los clústeres de usuario administrados no pueden tener una versión secundaria menor que el clúster de administrador, por lo que, antes de actualizar un clúster de administrador a una versión secundaria nueva, asegúrate de que todos los clústeres de usuario administrados usen la misma versión secundaria que el clúster de administrador.
En los ejemplos de las siguientes instrucciones de actualización, se muestra el proceso de actualización de la versión 1.13.2 a GKE en Bare Metal 1.14.11.
Actualizar componentes
Los componentes se actualizan a nivel del nodo y del clúster. En el nivel del clúster, se actualizan los siguientes componentes:
- Componentes de clústeres para herramientas de redes, observabilidad y almacenamiento.
- En el caso de los clústeres independientes, híbridos y de administrador, los controladores del ciclo de vida
- El tipo
gke-connect-agent.
Los nodos de un clúster se ejecutan como una de las siguientes funciones, con diferentes componentes actualizados según la función del nodo:
| Función del nodo | Función | Componentes que se actualizarán |
|---|---|---|
| Trabajador | Ejecuta las cargas de trabajo del usuario | Kubelet, entorno de ejecución del contenedor (Docker o containerd) |
| Plano de control | Ejecuta el plano de control de Kubernetes, los controladores del ciclo de vida del clúster y los complementos de la plataforma Anthos | Pods estáticos del plano de control de Kubernetes (kubeapi-server,
kube-scheduler, kube-controller-manager, etcd)
Controladores de ciclo de vida, como lifecycle-controllers-manager y
anthos-cluster-operatorComplementos de la plataforma de Anthos, como stackdriver-log-aggregator y
gke-connect-agent |
| Balanceador de cargas del plano de control | Ejecuta Aspera y Keepa life que entregan tráfico a kube-apiserver y ejecuta bocinas MetalLB para reclamar direcciones IP virtuales. |
Pods estáticos del balanceador de cargas del plano de control (MediaStore, Keepa publicándose)
Bocinas de MetalLB |
Expectativa de tiempo de descanso
En la siguiente tabla, se detalla el tiempo de inactividad esperado y el impacto potencial cuando actualizas clústeres. En esta tabla, se supone que tienes varios nodos de clúster y un plano de control de alta disponibilidad. Si ejecutas un clúster independiente o no tienes un plano de control de alta disponibilidad, es probable que haya un tiempo de inactividad adicional. A menos que se indique, este tiempo de inactividad se aplica a las actualizaciones de los clústeres de administrador y de usuario:
| Componentes | Expectativas del tiempo de descanso | Cuándo ocurre el tiempo de inactividad |
|---|---|---|
Servidor de la API del plano de control de Kubernetes (kube-apiserver), etcd y programador |
No hay tiempo de inactividad | No disponible |
Controladores de ciclo de vida y trabajo de ansible-runner (solo clúster
de administrador) |
No hay tiempo de inactividad | No disponible |
Plano de control de Kubernetes loadbalancer-haproxy y
keepalived |
Tiempo de inactividad transitorio (menos de 1 a 2 minutos) cuando el balanceador de cargas redirecciona el tráfico. | Inicio del proceso de actualización. |
Observabilidad pipeline-stackdriver y
metrics-server |
El operador se desvió y se actualizó. El tiempo de descanso debe ser inferior a 5 minutos.
Los DaemonSets siguen funcionando sin tiempo de inactividad. |
Después de que los nodos del plano de control terminen de actualizarse. |
| Interfaz de red de contenedores (CNI) | No hay tiempo de inactividad en las rutas de herramientas de redes existentes. El DaemonSet se implementa de dos en dos sin tiempo de inactividad. El operador se desvía y se actualiza. Tiempo de descanso inferior a 5 minutos. |
Después de que los nodos del plano de control terminen de actualizarse. |
| MetalLB (solo clúster de usuario) | El operador se desvió y se actualizó. El tiempo de descanso es inferior a 5 minutos.
El servicio existente no tiene tiempo de inactividad. |
Después de que los nodos del plano de control terminen de actualizarse. |
| CoreDNS y escalador automático de DNS (solo clúster de usuario) | CoreDNS tiene varias réplicas con el escalador automático. Por lo general, no hay tiempo de inactividad. | Después de que los nodos del plano de control terminen de actualizarse. |
| Aprovisionador de volumen local | No hay tiempo de inactividad para los volúmenes persistentes (PV) existentes aprovisionados.
Es posible que el operador tenga un tiempo de inactividad de 5 minutos. |
Después de que los nodos del plano de control terminen de actualizarse. |
| Istio / entrada | El operador de Istio se vacía y se actualiza. Alrededor de 5 minutos de
tiempo de inactividad. El valor de Ingress configurado existente sigue funcionando. |
Después de que los nodos del plano de control terminen de actualizarse. |
| Otros operadores de sistemas | Tiempo de inactividad de 5 minutos cuando se vacía y se actualiza. | Después de que los nodos del plano de control terminen de actualizarse. |
| Cargas de trabajo de los usuarios | Depende de la configuración, por ejemplo, si tiene alta disponibilidad Revisa tus propias implementaciones de cargas de trabajo para comprender el impacto potencial. |
Cuando se actualizan los nodo trabajador. |
Detalles de la actualización del clúster de usuario
En esta sección, se detalla el orden de las actualizaciones de los componentes y la información de estado para la actualización de un clúster de usuario. En la siguiente sección, se detallan las desviaciones de este flujo para las actualizaciones de clústeres de administrador, híbridos o independientes.
En el siguiente diagrama, se muestra el proceso de comprobación previa para la actualización de un clúster de usuario:
En el diagrama anterior, se detallan los pasos que ocurren durante una actualización:
- El comando
bmctl upgrade clustercrea un recurso personalizadoPreflightCheck. - Esta verificación previa ejecuta verificaciones adicionales, como verificaciones de actualización del clúster, verificaciones de estado de la red y de nodos.
- Los resultados de estas verificaciones adicionales se combinan para informar sobre la capacidad del clúster de actualizarse de forma correcta a la versión objetivo.
Si las comprobaciones preliminares se realizan de forma correcta y no hay problemas de bloqueo, los componentes del clúster se actualizan en un orden específico, como se muestra en el siguiente diagrama:
En el diagrama anterior, los componentes se actualizan en orden de la siguiente manera:
- Para comenzar, actualiza el campo
spec.anthosBareMetalVersion. - Se actualizan los balanceadores de cargas del plano de control.
- Se actualiza el grupo de nodos del plano de control.
- Al mismo tiempo, se actualiza GKE Connect, los complementos del clúster y el grupo de nodos del balanceador de cargas.
- Una vez que el grupo de nodos del balanceador de cargas se actualiza de forma correcta, se actualizan los grupos de nodos trabajadores.
- La actualización habrá finalizado cuando se actualicen todos los componentes.
Cada componente tiene su propio campo de estado dentro del recurso personalizado del clúster. Puedes verificar el estado en estos campos para comprender el progreso de la actualización:
| Secuencia | Nombre del campo | Significado |
|---|---|---|
| 1 | status.controlPlaneNodepoolStatus |
El estado se copia del estado del grupo de nodos del plano de control. El campo incluye las versiones de los nodos de los grupos de nodos del plano de control |
| 2 | status.anthosBareMetalLifecycleControllersManifestsVersion
|
Se aplicó la versión de lifecycles-controllers-manager al
clúster. Este campo solo está disponible para clústeres de administrador, independientes o híbridos. |
| 2 | status.anthosBareMetalManifestsVersion |
Versión del clúster del último manifiesto aplicado. |
| 2 | status.controlPlaneLoadBalancerNodepoolStatus |
El estado se copia del estado del grupo de nodos del balanceador de cargas del
plano de control. Este campo estará vacío si no se especifica un balanceador de cargas del plano de control independiente
en Cluster.Spec. |
| 3 | status.anthosBareMetalVersions |
Un mapa de versión agregado de la versión a los números de nodo. |
| 4 | status.anthosBareMetalVersion |
Es el estado final de la versión actualizada. |
Detalles de actualización de clústeres independientes, híbridos y de administrador
Por lo general, la actualización de un clúster independiente, híbrido y de administrador usa un clúster de arranque para administrar el proceso. A partir de GKE en Bare Metal 1.13.0 y versiones posteriores, puedes ejecutar la actualización sin un clúster de arranque. Solo los clústeres que ya tienen la versión 1.13.0 o una posterior se pueden actualizar sin un clúster de arranque. Las etapas de la actualización son diferentes según el método que uses.
Si deseas obtener más información sobre las actualizaciones locales, consulta Actualizaciones locales para clústeres autoadministrados.
Con un clúster de arranque
El proceso para actualizar un clúster de administrador, híbrido o independiente es similar al de un clúster de usuario analizado en la sección anterior. La diferencia principal es que el comando bmctl upgrade cluster inicia un proceso para crear un clúster de arranque. Este clúster de arranque es un clúster temporal que administra el clúster híbrido, de administrador o independiente durante una actualización.
El proceso para transferir la propiedad de administración del clúster al clúster de arranque se denomina dinámico. El resto de la actualización sigue el mismo proceso que la actualización del clúster de usuario.
Durante el proceso de actualización, los recursos del clúster de destino permanecen inactivos. El progreso de la actualización solo se refleja en los recursos del clúster de arranque.
Si es necesario, puedes acceder al clúster de arranque para supervisar y depurar el proceso de actualización. Se puede acceder al clúster de arranque a través de bmctl-workspace/.kindkubeconfig.
Para transferir la propiedad de administración del clúster una vez que se completa la actualización, el clúster gira los recursos del clúster de arranque al clúster actualizado. No hay pasos manuales que realices para dinamizar el clúster durante el proceso de actualización. El clúster de arranque se borra después de que la actualización del clúster se realiza de forma correcta.
Sin un clúster de arranque
GKE en Bare Metal 1.13.0 y versiones posteriores pueden actualizar un clúster de administrador, híbrido o independiente sin un clúster de arranque. Sin un clúster de arranque, la experiencia de actualización es similar a la actualización del clúster de usuario.
En el siguiente diagrama, se muestra la diferencia con la experiencia del clúster de usuario.
Sin un clúster de arranque, se implementa una versión nueva de preflightcheck-operator antes de que se ejecuten la verificación previa del clúster y las verificaciones de estado:
Al igual que la actualización del clúster de usuario, el proceso de actualización comienza con la actualización del campo Cluster.Spec.AnthosBareMetalVersion a la versión deseada.
Se ejecutan dos pasos adicionales antes de que se actualicen los componentes, como se muestra en el siguiente diagrama: lifecycle-controller-manager se actualiza a la versión deseada y, luego, implementa la versión deseada de anthos-cluster-operator. Este anthos-cluster-operator se concilia más adelante en el proceso de actualización:
Vaciado de nodos
Las actualizaciones de GKE en Bare Metal pueden provocar interrupciones en la aplicación a medida que se vacían los nodos. Este proceso de vaciado hace que todos los Pods que se ejecutan en un nodo se cierren y se reinicien en los nodos restantes del clúster.
Los objetos Deployment pueden usarse para tolerar esta interrupción. Un objeto Deployment puede especificar varias réplicas de una aplicación o un servicio que se deben ejecutar. Una aplicación con varias réplicas debería experimentar poca o ninguna interrupción durante las actualizaciones.
Presupuestos de interrupción de Pods (PDB)
Los presupuestos de interrupción de Pods (PDB) se pueden usar para garantizar que una cantidad definida de
réplicas siempre se ejecute en el clúster en condiciones normales de ejecución. Los PDB te permiten limitar las interrupciones en una carga de trabajo cuando sus Pods deben reprogramarse.
Sin embargo, GKE en Bare Metal no respeta los PDB cuando se vacían los nodos durante una actualización.
En cambio, el proceso de vaciado de nodos es el mejor esfuerzo. Es posible que algunos Pods queden atascados en un estado Terminating y se nieguen a desalojar el nodo. La actualización continúa, incluso con Pods atascados, cuando el proceso de vaciado de un nodo tarda más de 20 minutos.
¿Qué sigue?
- Revisa las prácticas recomendadas para las actualizaciones de clústeres de Anthos alojados en Bare Metal.
- Actualiza los clústeres de Anthos alojados en Bare Metal
- Soluciona problemas de actualización de clústeres