Los clústeres de Anthos en Bare Metal ahora son Google Distributed Cloud (solo software) para Bare Metal. Para obtener más información, consulta la descripción general del producto.

Renueva los certificados del clúster vencidos de forma manual

En este documento, se describe cómo renovar manualmente los certificados vencidos de Google Distributed Cloud. Los componentes del plano de control de Google Distributed Cloud usan los certificados de seguridad de la capa de transporte (TLS). Cuando vencen estos certificados, se bloquea tu capacidad para administrar cargas de trabajo y ciclos de vida de clústeres hasta que se puedan renovar los certificados. Para obtener más información sobre el impacto de los certificados vencidos, consulta Vencimiento de certificados.

Esta página está destinada a administradores, arquitectos y operadores que administran el ciclo de vida de la infraestructura tecnológica subyacente y responden a alertas y páginas cuando no se cumplen los objetivos de nivel de servicio (SLO) o fallan las aplicaciones. Para obtener más información sobre los roles comunes y las tareas de ejemplo a las que hacemos referencia en el contenido de Google Cloud, consulta Tareas y roles comunes de los usuarios de GKE Enterprise.

De forma predeterminada, los certificados TLS tienen un período de vencimiento de 1 año. Google Distributed Cloud renueva estos certificados automáticamente durante las actualizaciones del clúster y cuando rotas las autoridades certificadoras. Te recomendamos que actualices tus clústeres con regularidad para mantenerlos seguros y compatibles, y evitar que venzan los certificados TLS.

Si necesitas asistencia adicional, comunícate con Atención al cliente de Cloud.

Errores causados por el vencimiento del certificado

Si vencen los certificados TLS de tu clúster, los controladores principales no pueden establecer conexiones TLS con el servidor de la API de Kubernetes. Esta falta de conectividad provoca los siguientes errores:

No se puede establecer una conexión con el servidor: x509

Cuando usas kubectl para obtener los nodos del clúster, la respuesta incluye un error que indica que tus certificados vencieron, similar al siguiente resultado de ejemplo:
```
Unable to connect to the server: x509: certificate has expired or is not yet valid
```
No se pudo establecer la conexión: x509 o rechazo de la conexión

Los certificados vencidos bloquean el acceso al clúster de etcd, ya que los pares no pueden comunicarse entre sí. Los registros de etcd pueden contener entradas de error como las siguientes:
```
W | rafthttp: health check for peer 6221a1d241bb2d0a could not connect: x509: certificate
has expired or is not yet valid
I | embed: rejected connection from "10.200.0.4:46108" (error "remote error: tls: bad
certificate", ServerName "")
```

Verifica los tiempos de vencimiento de los certificados

Para verificar los tiempos de vencimiento de los certificados, realiza los siguientes pasos en cada nodo del plano de control:

Accede a una de las máquinas de nodos del plano de control y ejecuta el siguiente comando:

sudo kubeadm certs check-expiration

En el resultado del comando, se enumeran los certificados que creó kubeadm para los componentes del plano de control y su vencimiento, como se muestra en el siguiente resultado de ejemplo:

CERTIFICATE                EXPIRES                  RESIDUAL TIME   CERTIFICATE AUTHORITY   EXTERNALLY MANAGED
admin.conf                 Nov 28, 2021 19:09 UTC   53m                                     no
apiserver                  Nov 28, 2021 19:09 UTC   53m             ca                      no
apiserver-etcd-client      Nov 28, 2021 19:09 UTC   53m             etcd-ca                 no
apiserver-kubelet-client   Nov 28, 2021 19:09 UTC   53m             ca                      no
controller-manager.conf    Nov 28, 2021 19:09 UTC   53m                                     no
etcd-healthcheck-client    Nov 28, 2021 19:09 UTC   53m             etcd-ca                 no
etcd-peer                  Nov 28, 2021 19:09 UTC   53m             etcd-ca                 no
etcd-server                Nov 28, 2021 19:09 UTC   53m             etcd-ca                 no
front-proxy-client         Nov 28, 2021 19:09 UTC   53m             front-proxy-ca          no
scheduler.conf             Nov 28, 2021 19:09 UTC   53m                                     no

CERTIFICATE AUTHORITY   EXPIRES                  RESIDUAL TIME   EXTERNALLY MANAGED
ca                      Nov 26, 2031 18:06 UTC   9y              no
etcd-ca                 Nov 26, 2031 18:06 UTC   9y              no
front-proxy-ca          Nov 26, 2031 18:06 UTC   9y              no

Ejecuta el siguiente comando para verificar los tiempos de vencimiento de los certificados kubelet:
```
sudo openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -text | grep Validity -A2
sudo openssl x509 -in /var/lib/kubelet/pki/kubelet-server-current.pem -text | grep Validity -A2
```
La respuesta de cada comando se ve como el siguiente resultado de ejemplo:
```
Validity
    Not Before: Sep 17 22:27:53 2021 GMT
    Not After : Sep 17 22:33:16 2022 GMT
```
Si todos los nodos del plano de control se inicializaron al mismo tiempo, los horas de vencimiento de los certificados se encuentran dentro de minutos entre sí. Esta relación de sincronización se aplica a todos los nodos del plano de control. Para verificar las horas de vencimiento, ejecuta los comandos anteriores en cada nodo del plano de control.

Ejecuta el siguiente comando en la estación de trabajo de administrador para verificar el tiempo de vencimiento del certificado de cliente en el archivo kubeconfig del clúster:

grep 'client-certificate-data' KUBECONFIG_PATH | \
    awk '{print $2}' | base64 -d | openssl x509 -text | grep Validity -A2

La respuesta se ve como el siguiente resultado de muestra:

Validity
    Not Before: Sep 17 22:27:53 2021 GMT
    Not After : Sep 17 22:33:16 2022 GMT

Ejecuta el siguiente comando para buscar el vencimiento del certificado del kubeconfig del clúster en el clúster de administrador:
```
kubectl get secret/CLUSTER_NAME-kubeconfig -n CLUSTER_NAMESPACE -o --kubeconfig=ADMIN_KUBECONFIG jsonpath='{.data.value}' | base64 --decode | grep client-certificate-data | awk '{print $2}' | base64 -d | openssl x509 -text | grep Validity -A2
```
La respuesta se ve como el siguiente resultado de muestra:
```
Validity
    Not Before: Sep 17 22:27:53 2021 GMT
    Not After : Sep 17 22:33:16 2022 GMT
```
El certificado de kubeconfig en el clúster de administrador y el certificado en el archivo kubeconfig de la estación de trabajo de administrador son los mismos. Por lo tanto, el resultado de este comando y el del paso anterior deben coincidir.

Cómo renovar certificados de forma manual

Para renovar manualmente los certificados TLS de un clúster, sigue las instrucciones de las siguientes secciones.

Renueva los certificados en cada nodo del plano de control

Realiza los siguientes pasos en cada nodo del plano de control del clúster afectado:

Crea una copia de seguridad de la carpeta /etc/kubernetes.

Ejecuta el siguiente comando kubeadm para renovar todos los certificados. El comando renueva los certificados con las autoridades certificadoras (AC) existentes en la máquina:

sudo kubeadm certs renew all

El resultado del comando es similar al siguiente ejemplo.

certificate embedded in the kubeconfig file for the admin to use and for kubeadm itself renewed
certificate for serving the Kubernetes API renewed
certificate the apiserver uses to access etcd renewed
certificate for the API server to connect to kubelet renewed
certificate embedded in the kubeconfig file for the controller manager to use renewed
certificate for liveness probes to healthcheck etcd renewed
certificate for etcd nodes to communicate with each other renewed
certificate for serving etcd renewed
certificate for the front proxy client renewed
certificate embedded in the kubeconfig file for the scheduler manager to use renewed

Ejecuta el siguiente comando para verificar que los certificados tengan una hora de vencimiento nueva:
```
sudo kubeadm certs check-expiration
```
No todos los componentes del plano de control admiten la recarga de certificados dinámica. Para recuperar los certificados renovados, los siguientes pasos reinician los siguientes contenedores: kube-apiserver, kube-scheduler, kube-controller-manager y etcd.

Repite los siguientes pasos para cada uno de los cuatro contenedores:
1. Busca el ID de cada contenedor:
```
sudo crictl ps | grep CONTAINER_NAME
```
  Reemplaza CONTAINER_NAME con el nombre de los siguientes contenedores: kube-apiserver, kube-scheduler, kube-controller-manager o etcd (no etcd-defrag).
  
  La respuesta es similar al resultado a continuación:
```
c331ade490cb6       28df10594cd92      26 hours ago       Running          kube-apiserver ...
```
  El ID del contenedor es el valor de la primera columna.
  
  Nota: Si tus certificados están vencidos, te recomendamos que primero realices el siguiente paso para los contenedores kube-apiserver y etcd. Luego, detén los contenedores kube-scheduler y kube-controller-manager.
2. Detén cada contenedor:
```
sudo crictl stop CONTAINER_ID
```
  Reemplaza CONTAINER_ID por el ID del contenedor del paso anterior.
  
  Cuando se cierra el contenedor detenido, kubelet crea uno nuevo en su lugar y borra el detenido. Si encuentras un error, como context deadline exceeded (código de error DeadlineExceeded), vuelve a ejecutar el comando.

Verifica que se restablezca la conectividad

Los certificados de kubeadm ahora deberían renovarse en todos los nodos del plano de control. Si vas a renovar certificados vencidos, sigue estos pasos:

Para verificar la conexión con el servidor de la API de Kubernetes, ejecuta el siguiente comando kubectl en cualquier nodo del plano de control:
```
kubectl get nodes --kubeconfig=/etc/kubernetes/admin.conf
```

La respuesta debe mostrar la lista de nodos del clúster. Si tus certificados se renuevan correctamente, no se muestran errores de TLS ni de certificados.

Reemplaza el archivo kubeconfig del clúster

Para reemplazar el archivo kubeconfig de tu clúster por uno que tenga los certificados renovados, sigue estos pasos:

Para crear el nuevo archivo kubeconfig, ejecuta el siguiente comando kubectl en la estación de trabajo del administrador:
```
kubectl --kubeconfig="ADMIN_KUBECONFIG" get secret/CLUSTER_NAME-kubeconfig  \
    -n "CLUSTER_NAMESPACE"  -o jsonpath='{.data.value}'  | base64 --decode > new_kubeconfig.conf
```
Reemplaza lo siguiente:
- ADMIN_KUBECONFIG es la ruta al archivo kubeconfig del clúster de administrador.
- CLUSTER_NAME: Es el nombre del clúster para el que renuevas los certificados.
- CLUSTER_NAMESPACE: Es el espacio de nombres del clúster para el que renuevas los certificados.
El archivo new_kubeconfig.conf contiene los datos del certificado actualizados.
Ejecuta cualquier comando kubectl con las credenciales nuevas para verificar que funcione la nueva kubeconfig:
```
kubectl get nodes --kubeconfig new_kubeconfig.conf
```
Reemplaza el contenido del archivo kubeconfig anterior guardado en el directorio del clúster de la estación de trabajo del administrador por el contenido del nuevo archivo kubeconfig new-kubeconfig.conf.

De forma predeterminada, la ruta de acceso al archivo de configuración del clúster es bmctl-workspace/CLUSTER_NAME/CLUSTER_NAME-kubeconfig.

Verifica los certificados de kubelet y reinicia `etcd-defrag`

Para finalizar el proceso de renovación de certificados de clúster de forma manual, sigue estos pasos para cada nodo del plano de control:

Accede al nodo del plano de control y verifica el cliente de kubelet y el hora de vencimiento del certificado de publicación ejecutando los siguientes comandos:

Los certificados de Kubelet se rotan automáticamente, siempre que se pueda acceder al plano de control. El período de renovación automática de los certificados de kubelet es más corto que el período de vencimiento de los certificados de componentes del plano de control. Por lo tanto, es probable que los certificados de kubelet se hayan renovado antes:
```
sudo openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -text | grep Validity -A2
sudo openssl x509 -in /var/lib/kubelet/pki/kubelet-server-current.pem -text | grep Validity -A2
```
El resultado de cualquiera de los comandos se ve como el siguiente ejemplo:
```
Validity
    Not Before: Nov 28 18:04:57 2022 GMT
    Not After : Nov 28 19:04:57 2023 GMT
```
Usa el siguiente comando para reiniciar el contenedor etcd-defrag:

El contenedor etcd-defrag usa el certificado de cliente apiserver-etcd para comunicarse con etcd y se debe reiniciar para recuperar los certificados actualizados.
```
kubectl rollout restart daemonset etcd-defrag -n kube-system --kubeconfig KUBECONFIG_PATH
```

Después de completar estos pasos manuales para renovar los certificados del clúster, verifica que todos los pods se ejecuten correctamente y que no se informen errores de TLS para los contenedores del plano de control.

¿Qué sigue?