Crear un clúster de administrador

Version 1.28 

• Version 1.28 (latest)
• Version 1.16
• Version 1.15
• Earlier versions (unsupported)

En este documento, se muestra cómo crear un clúster de administrador para GKE on VMware. El clúster de administrador gestiona los clústeres de usuario que ejecutan tus cargas de trabajo.

Para obtener más detalles sobre el clúster de administrador, consulta la descripción general de la instalación.

Descripción general del procedimiento

Estos son los pasos principales que se deben seguir para crear un clúster de administrador:

1. Prepara una estación de trabajo de administrador.

   Esta máquina tiene las herramientas necesarias para crear clústeres nuevos.

2. Completa los archivos de configuración.

   Especifica los detalles de tu clúster de administrador nuevo mediante la finalización y validación de un archivo de configuración del clúster de administrador, un archivo de configuración de credenciales y, posiblemente, un archivo de bloque de IP.

3. Importa imágenes de SO a vSphere y, luego, envía imágenes de contenedores al registro privado.

   Ejecuta gkectl prepare.

4. Crea un clúster de administrador.

   Usa gkectl para crear un clúster de administrador nuevo como se especifica en los archivos de configuración completos.

5. Verifica que el clúster de administrador esté en ejecución.

   Usa kubectl para ver los nodos del clúster.

Al final de este procedimiento, tendrás un clúster de administrador en ejecución que puedes usar para crear y administrar clústeres de usuarios.

Si usas los Controles del servicio de VPC, es posible que veas errores cuando ejecutes algunos comandos de gkectl, como "Validation Category: GCP - [UNKNOWN] GCP service: [Stackdriver] could not get GCP services". Para evitar estos errores, agrega el parámetro --skip-validation-gcp a tus comandos.

Antes de comenzar

• Revisa el documento de planificación de direcciones IP. Asegúrate de tener suficientes direcciones IP disponibles para los tres nodos del plano de control y una VIP de plano de control. Si planeas crear clústeres de usuario de kubeception, debes tener suficientes direcciones IP disponibles para los nodos del plano de control de esos clústeres de usuario.

• Revisa la descripción general del balanceo de cargas y revisa la decisión sobre el tipo de balanceador de cargas que deseas usar. Para ciertos balanceadores de cargas, debes configurar el balanceador de cargas antes de crear tu clúster de administrador.

• Revisa la sección privateRegistry y decide si deseas usar un registro público o privado para los componentes de GKE on VMware.

• Mira el campo osImageType y decide qué tipo de sistema operativo deseas ejecutar en los nodos del clúster de administrador.

1. Prepara la estación de trabajo de administrador

Asegúrate de haber configurado la estación de trabajo de administrador y de poder acceder a ella como se describe en Crea una estación de trabajo de administrador. La estación de trabajo de administrador tiene las herramientas que necesitas para crear el clúster de administrador.

Realiza todos los pasos restantes de este documento en la estación de trabajo de administrador.

2. Completa el archivo de configuración

Cuando gkeadm creó la estación de trabajo de administrador, generó un segundo archivo de configuración llamado admin-cluster.yaml. Este archivo de configuración sirve para crear tu clúster de administrador.

Familiarízate con el archivo de configuración mediante el análisis del documento del archivo de configuración del clúster de administrador. Se recomienda mantener este documento abierto en una pestaña o ventana separada, ya que harás referencia a él a medida que completes los siguientes pasos.

name

Si deseas especificar un nombre para el clúster de administrador, completa el campo name.

bundlePath

El paquete es un archivo comprimido que contiene componentes del clúster. Se incluye en la estación de trabajo de administrador. Ya se completó este campo.

vCenter

Los campos de esta sección ya están completados con los valores que ingresaste cuando creaste la estación de trabajo de administrador.

network

Completa las secciones network.controlPlaneIPBlock y network.hostConfig. También establece adminMaster.replicas en 3.

Los campos network.podCIDR y network.serviceCIDR tienen valores prepropagados que puedes dejar sin modificar, a menos que entren en conflicto con direcciones que ya se usan en tu red. Kubernetes usa estos rangos para asignar direcciones IP a Pods y objetos Service en tu clúster.

Completa el resto de los campos en la sección de red del archivo de configuración según sea necesario.

loadBalancer

Reserva una VIP para el servidor de la API de Kubernetes del clúster de administrador. Proporciona tu VIP como el valor de loadBalancer.vips.controlPlaneVIP.

Para obtener más información, consulta VIP en la subred del clúster de administrador.

Decide qué tipo de balanceo de cargas quieres usar. Las opciones son las siguientes:

• Balanceo de cargas en paquetes de MetalLB. Configura loadBalancer.kind como "MetalLB".

• Balanceo de cargas integrado en F5 BIG-IP. Configura loadBalancer.kind como "F5BigIP" y completa la sección f5BigIP.

• Balanceo de cargas manual. Configura loadBalancer.kind como "ManualLB" y completa la sección manualLB.

Para obtener más información sobre las opciones de balanceo de cargas, consulta Descripción general del balanceo de cargas.

antiAffinityGroups

Configura antiAffinityGroups.enabled como true o false según tus preferencias.

Usa este campo para especificar si deseas que GKE on VMware cree reglas de antiafinidad de Distributed Resource Scheduler (DRS) de VMware para los nodos del clúster de administrador, de modo que se distribuyan en al menos tres hosts físicos del centro de datos.

adminMaster

Si deseas especificar la CPU y la memoria para los nodos del plano de control del clúster de administrador, completa los campos cpus y memoryMB en la sección adminMaster.

Establece el campo replicas de la sección adminMaster en 3.

proxy

Si la red que tendrá los nodos del clúster de administrador está detrás de un servidor proxy, completa la sección proxy.

privateRegistry

Decide dónde deseas conservar las imágenes de contenedor para los componentes de GKE on VMware. Las opciones son las siguientes:

• Container Registry

• Tu propio registro privado de Docker.

Si deseas usar tu propio registro privado, completa la sección privateRegistry.

componentAccessServiceAccountKeyPath

GKE en VMware usa la cuenta de servicio de acceso a los componentes para descargar los componentes del clúster desde Container Registry. Este campo contiene la ruta de acceso de un archivo de claves JSON para tu cuenta de servicio de acceso a los componentes.

Ya se completó este campo.

gkeConnect

Registra tu clúster de administrador en una flota de Google Cloud completando la sección gkeConnect. Si incluyes las secciones stackdriver y cloudAuditLogging en el archivo de configuración, el ID en gkeConnect.projectID debe ser el mismo que el ID establecido en stackdriver.projectID y cloudAuditLogging.projectID. Si los ID del proyecto no son los mismos, la creación del clúster fallará.

En 1.28 y versiones posteriores, tienes la opción de especificar una región en la que los servicios Fleet and Connect se ejecutan en gkeConnect.location. Si no incluyes este campo, el clúster usará las instancias globales de estos servicios.

Si incluyes gkeConnect.location, la región que especifiques debe ser la misma que la región configurada en cloudAuditLogging.clusterLocation, stackdriver.clusterLocation y gkeOnPremAPI.location. Si las regiones no son iguales, la creación del clúster fallará.

gkeOnPremAPI

Si la API de GKE On-Prem está habilitada en tu proyecto de Google Cloud, todos los clústeres del proyecto se inscriben en la API de GKE On-Prem de forma automática en la región configurada en stackdriver.clusterLocation. La región gkeOnPremAPI.location debe ser la misma que se especifica en cloudAuditLogging.clusterLocation, gkeConnect.location y stackdriver.clusterLocation. Si las regiones no son iguales, la creación del clúster fallará.

• Si deseas inscribir todos los clústeres del proyecto en la API de GKE On-Prem, asegúrate de seguir los pasos que se indican en Antes de comenzar para activar y usar la API de GKE On-Prem en el proyecto.

• Si no deseas inscribir el clúster en la API de GKE On-Prem, incluye esta sección y establece gkeOnPremAPI.enabled en false. Si no quieres inscribir ningún clúster en el proyecto, inhabilita gkeonprem.googleapis.com (el nombre del servicio para la API de GKE On-Prem) en el proyecto. Para obtener instrucciones, consulta Inhabilita servicios.

stackdriver

Si deseas habilitar Cloud Logging y Cloud Monitoring para tu clúster, completa la sección stackdriver.

Esta sección es obligatoria de forma predeterminada. Es decir, si no completas esta sección, debes incluir la marca --skip-validation-stackdriver cuando ejecutes gkectl create admin.

Ten en cuenta los siguientes requisitos para los clústeres nuevos:

• El ID en stackdriver.projectID debe ser el mismo que el ID en gkeConnect.projectID y cloudAuditLogging.projectID.

• La región de Google Cloud establecida en stackdriver.clusterLocation debe ser la misma que la región establecida en cloudAuditLogging.clusterLocation y gkeConnect.location (si el campo está incluido en el archivo de configuración). Además, si gkeOnPremAPI.enabled es true, se debe configurar la misma región en gkeOnPremAPI.location.

Si los IDs de proyecto y las regiones no son los mismos, la creación del clúster fallará.

cloudAuditLogging

Si deseas integrar los registros de auditoría del servidor de la API de Kubernetes del clúster a los registros de auditoría de Cloud, completa la sección cloudAuditLogging.

Ten en cuenta los siguientes requisitos para los clústeres nuevos:

• El ID en cloudAuditLogging.projectID debe ser el mismo que el ID en gkeConnect.projectID y stackdriver.projectID.

• La región de Google Cloud establecida en cloudAuditLogging.clusterLocation debe ser la misma que la región establecida en stackdriver.clusterLocation y gkeConnect.location (si el campo está incluido en el archivo de configuración). Además, si gkeOnPremAPI.enabled es true, se debe configurar la misma región en gkeOnPremAPI.location.

Si los IDs de proyecto y las regiones no son los mismos, la creación del clúster fallará.

clusterBackup

Si deseas habilitar la copia de seguridad del clúster de administrador, configura clusterBackup.datastore en el almacén de datos de vSphere en el que deseas guardar las copias de seguridad del clúster.

autoRepair

Si deseas habilitar la reparación automática de nodos para el clúster de administrador, configura autoRepair.enabled como true.

secretsEncryption

Si deseas habilitar la encriptación de secretos siempre activa, completa la sección secretsEncryption.

osImageType

Decide qué tipo de imagen de SO deseas usar para los nodos del clúster de administrador y completa la sección osImageType según corresponda.

Ejemplo de archivos de configuración completados

Este es un ejemplo de un archivo de configuración de clúster de administrador completado. La configuración habilita algunas de las funciones disponibles, pero no todas.

vc-01-admin-cluster.yaml

apiVersion: v1
kind: AdminCluster
name: "gke-admin-01"
bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-1.28.0-gke.1-full.tgz"
vCenter:
  address: "vc01.example"
  datacenter: "vc-01"
  cluster: "vc01-workloads-1"
  resourcePool: "vc-01-pool-1"
  datastore: "vc01-datastore-1"
  caCertPath: "/usr/local/google/home/me/certs/vc01-cert.pem""
  credentials:
    fileRef:
      path: "credential.yaml"
      entry: "vCenter"
network:
  hostConfig:
    dnsServers:
    - "203.0.113.1"
    - "198.51.100.1"
    ntpServers:
    - "216.239.35.4"
  serviceCIDR: "10.96.232.0/24"
  podCIDR: "192.168.0.0/16"
  vCenter:
    networkName: "vc01-net-1"
  controlPlaneIPBlock:
    netmask: "255.255.248.0"
    gateway: "21.0.143.254"
    ips:
    - ip: "21.0.140.226"
      hostname: "admin-cp-vm-1"
    - ip: "21.0.141.48"
      hostname: "admin-cp-vm-2"
    - ip: "21.0.141.65"
      hostname: "admin-cp-vm-3"
loadBalancer:
  vips:
    controlPlaneVIP: "172.16.20.59"
  kind: "MetalLB"
antiAffinityGroups:
  enabled: true
adminMaster:
  cpus: 4
  memoryMB: 16384
  replicas: 3
componentAccessServiceAccountKeyPath: "sa-key.json"
gkeConnect:
  projectID: "my-project-123"
  registerServiceAccountKeyPath: "connect-register-sa-2203040617.json"
stackdriver:
  projectID: "my-project-123"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "log-mon-sa-2203040617.json"
  disableVsphereResourceMetrics: false
clusterBackup:
  datastore: "vc-01-datastore-bu"
autoRepair:
  enabled: true
osImageType: "ubuntu_containerd"

Valida tu archivo de configuración

Una vez que hayas completado el archivo de configuración de tu clúster de administrador, ejecuta gkectl check-config para verificar que el archivo sea válido:

gkectl check-config --config ADMIN_CLUSTER_CONFIG

Reemplaza ADMIN_CLUSTER_CONFIG por la ruta de acceso del archivo de configuración del clúster de administrador.

Si el comando muestra algún mensaje de error, soluciona los problemas y vuelve a validar el archivo.

Si deseas omitir las validaciones que llevan más tiempo, pasa la marca --fast. Para omitir validaciones individuales, usa las marcas --skip-validation-xxx. Para obtener más información sobre el comando check-config, consulta Ejecuta verificaciones previas.

3. Obtén imágenes de SO

Ejecuta gkectl prepare para inicializar el entorno de vSphere:

gkectl prepare --config ADMIN_CLUSTER_CONFIG

El comando gkectl prepare realiza las siguientes tareas de preparación:

• Importa las imágenes de SO a vSphere y las marca como plantillas de VM.

• Si usas un registro privado de Docker, envía las imágenes de contenedor a tu registro.

• De manera opcional, valida las certificaciones de compilación de las imágenes de contenedor a fin de verificar que las imágenes hayan sido compiladas y firmadas por Google y que estén listas para la implementación.

Nota: Si usas nombres DNS internos, o tu estación de trabajo no puede acceder a las direcciones DNS públicas de Google (8.8.8.8 u 8.8.4.4), debes especificar tu servidor de nombres interno en /etc/resolv.conf.

5. Crea el clúster de administrador

Crea el clúster de administrador:

gkectl create admin --config ADMIN_CLUSTER_CONFIG

Si usas los Controles del servicio de VPC, es posible que veas errores cuando ejecutes algunos comandos de gkectl, como "Validation Category: GCP - [UNKNOWN] GCP service: [Stackdriver] could not get GCP services". Para evitar estos errores, agrega el parámetro --skip-validation-gcp a tus comandos.

Reanuda la creación del clúster de administrador después de una falla

Si la creación del clúster de administrador falla o se cancela, puedes volver a ejecutar el comando create:

gkectl create admin --config ADMIN_CLUSTER_CONFIG

Ubica el archivo kubeconfig del clúster de administrador

El comando gkectl create admin crea un archivo kubeconfig llamado kubeconfig en el directorio actual. Necesitarás este archivo kubeconfig más adelante para interactuar con tu clúster de administrador.

El archivo kubeconfig contiene el nombre del clúster de administrador. Para ver el nombre del clúster, puedes ejecutar el siguiente comando:

kubectl config get-clusters --kubeconfig ADMIN_CLUSTER_KUBECONFIG

El resultado muestra el nombre del clúster. Por ejemplo:

NAME
gke-admin-tqk8x

Si lo deseas, puedes cambiar el nombre y la ubicación de tu archivo kubeconfig.

Administra el archivo checkpoint.yaml

Cuando ejecutaste el comando gkectl create admin para crear el clúster de administrador, se creó un archivo de punto de control en la misma carpeta del almacén de datos que el disco de datos del clúster de administrador. De forma predeterminada, este archivo tiene el nombre DATA_DISK_NAME ‑checkpoint.yaml. Si la longitud de DATA_DISK_NAME es mayor o igual que 245 caracteres, debido al límite de vSphere en la longitud del nombre de archivo, el nombre es DATA_DISK_NAME.yaml.

Este archivo contiene las credenciales y el estado del clúster de administrador, y se usa para actualizaciones futuras. No borres este archivo, a menos que sigas el proceso para borrar un clúster de administrador.

Si habilitaste la encriptación de VM en tu instancia de vCenter Server, debes tener el privilegio de acceso directo a operaciones criptográficas antes de crear o actualizar tu clúster de administrador. De lo contrario, no se subirá el punto de control. Si no puedes obtener este privilegio, puedes inhabilitar la carga del archivo de punto de control con la marca oculta --disable-checkpoint cuando ejecutes un comando relevante.

El archivo checkpoint.yaml se actualiza automáticamente cuando ejecutas el comando gkectl upgrade admin o cuando ejecutas un comando gkectl update que afecta el clúster de administrador.

6. Verifica que el clúster de administrador esté en ejecución

Verifica que el clúster de administrador esté en ejecución:

kubectl get nodes --kubeconfig ADMIN_CLUSTER_KUBECONFIG

Reemplaza ADMIN_CLUSTER_KUBECONFIG por la ruta de acceso del archivo kubeconfig del clúster de administrador.

En el resultado, se muestran los nodos del clúster de administrador. Por ejemplo:

admin-cp-vm-1   Ready    control-plane,master   ...
admin-cp-vm-2   Ready    control-plane,master   ...
admin-cp-vm-3   Ready    control-plane,master   ...

7. Crea una copia de seguridad de tus archivos

Te recomendamos que crees una copia de seguridad del archivo kubeconfig del clúster de administrador. Es decir, copia el archivo kubeconfig de la estación de trabajo de administrador a otra ubicación. Luego, si pierdes el acceso a la estación de trabajo de administrador o si el archivo kubeconfig en la estación de trabajo de administrador se borra por accidente, aún tendrás acceso al clúster de administrador.

También te recomendamos que crees una copia de seguridad de la clave SSH privada del clúster de administrador. Luego, si pierdes el acceso al clúster de administrador, aún puedes usar SSH para conectarte a los nodos del clúster de administrador. Esto te permitirá investigar y solucionar problemas relacionados con la conectividad al clúster de administrador.

Extrae la clave SSH del clúster de administrador en un archivo llamado admin-cluster-ssh-key:

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get secrets -n kube-system sshkeys \
    -o jsonpath='{.data.vsphere_tmp}' | base64 -d > admin-cluster-ssh-key

Ahora puedes crear una copia de seguridad de admin-cluster-ssh-key en otra ubicación que elijas.

Políticas de RBAC

Cuando completas la sección gkeConnect en el archivo de configuración de tu clúster de administrador, el clúster se registra en tu flota durante la creación o la actualización. Para habilitar la funcionalidad de administración de flotas, Google Cloud implementa el agente de Connect y crea una cuenta de servicio de Google que representa el proyecto en el que está registrado el clúster. El agente de Connect establece una conexión con la cuenta de servicio para controlar las solicitudes al servidor de la API de Kubernetes del clúster. Esto habilita el acceso a las funciones de administración de cargas de trabajo y clústeres en Google Cloud, incluido el acceso a la consola de Google Cloud, que te permite interactuar con tu clúster.

El servidor de la API de Kubernetes del clúster de administrador debe poder autorizar solicitudes del agente de Connect. Para garantizar esto, las siguientes políticas de control de acceso según la función (RBAC) se configuran en la cuenta de servicio:

• Una política de robo de identidad que autoriza al agente de Connect a enviar solicitudes al servidor de la API de Kubernetes en nombre de la cuenta de servicio.

• Una política de permisos que especifica las operaciones permitidas en otros recursos de Kubernetes.

La cuenta de servicio y las políticas de RBAC son necesarias para que puedas administrar el ciclo de vida de los clústeres de usuario en la consola de Google Cloud.

Soluciona problemas

Consulta Soluciona problemas de creación y actualización de clústeres.

¿Qué sigue?

Crear un clúster de usuario