Instala mediante DHCP

En esta página, se explica cómo instalar GKE On-Prem en un entorno de VMware vSphere 6.5 con un servidor de protocolo de configuración de host dinámico (DHCP) existente para asignar direcciones IP a los nodos del clúster. También puedes instalarlo mediante direcciones IP estáticas.

Descripción general

En las instrucciones de esta página, se muestra cómo crear un clúster de administrador y un clúster de usuario con tres nodos. Cada nodo se ejecuta en una máquina virtual (VM) en un clúster de vSphere y tiene una dirección IP que le asignó un servidor de DHCP de tu entorno.

Después de crear los clústeres, puedes crear clústeres de usuario adicionales y agregar o quitar nodos en un clúster de usuario.

Antes de comenzar

  1. Configura tu entorno local como se describe en Requisitos del sistema.

  2. Completa los procedimientos que se describen en Prepara la instalación.

  3. Crea una estación de trabajo de administrador en vSphere.

  4. Para establecer una conexión SSH a tu estación de trabajo de administrador, ejecuta lo siguiente:

    ssh -i ~/.ssh/vsphere_workstation ubuntu@[IP_ADDRESS]

  5. Si usas un proxy, debes configurar Google Cloud CLI para este, de forma que puedas ejecutar los comandos de gcloud y gsutil. Si deseas obtener instrucciones, consulta Configura la CLI de gcloud para usarla detrás de un proxy o firewall.

  6. Accede a Google Cloud con las credenciales de tu cuenta:

    gcloud auth login

  7. Registra gcloud como auxiliar de credenciales de Docker. (Obtén más información sobre este comando):

    gcloud auth configure-docker

  8. Configura un proyecto predeterminado Configurar un proyecto predeterminado de Google Cloud hace que todos los comandos de la CLI de gcloud se ejecuten en el proyecto, de modo que no tengas que especificar el proyecto para cada comando:

    gcloud config set project [PROJECT_ID]

    Reemplaza [PROJECT_ID] por el ID del proyecto. (Puedes encontrar el ID del proyecto en la consola de Google Cloud o mediante la ejecución de gcloud config get-value project).

Usa reservas de DHCP para nodos de clústeres

En Kubernetes, es importante que las direcciones IP de los nodos nunca cambien. Si la dirección IP de un nodo cambia o deja de estar disponible, se puede interrumpir el clúster. Si quieres evitar esto, considera usar reservas de DHCP para asignar nodos de direcciones permanentes en tus clústeres de administrador y de usuario. El uso de reservas de DHCP garantiza que a cada nodo se le asignen las mismas direcciones IP después de reiniciar la renovación o asignarle tiempo.

Selecciona un registro de imágenes de contenedores para la instalación

Para instalar, GKE On-Prem necesita saber dónde extraer sus componentes de clúster en contenedores. Tienes las dos opciones siguientes:

Container Registry

De forma predeterminada, GKE On-Prem usa un registro de imágenes de contenedor existente de Google, que aloja Container Registry. Además de configurar tu proxy con el fin de permitir el tráfico desde gcr.io, no se requiere una configuración adicional para esto.

Registro privado de Docker

Puedes optar por usar un registro privado de Docker para la instalación. GKE On-Prem envía sus componentes de clústeres a ese registro de Docker.

Antes de la instalación, debes configurar el registro. Durante la instalación, debes propagar el archivo de configuración de GKE On-Prem con información sobre el registro.

Configura un registro privado de Docker para la instalación (opcional)

En esta sección, se explica cómo configurar un registro de Docker existente para instalar GKE On-Prem. Para obtener información sobre cómo crear un registro de Docker, consulta Ejecuta un registro accesible externamente. Después de configurar el registro, abre el campo privateregistryconfig del archivo de configuración de GKE On-Prem.

Si deseas usar tu registro privado de Docker para la instalación, la VM de la estación de trabajo del administrador debe confiar en la CA que se firmó mediante tu certificado. GKE On-Prem no es compatible con los registros de Docker que no son seguros. Cuando inicias tu registro de Docker, debes proporcionar un certificado y una clave. Una autoridad certificada (CA) pública puede firmar el certificado, o este se puede autofirmar.

Para establecer esta confianza, debes realizar los siguientes pasos desde la VM de la estación de trabajo de administrador:

  1. Crea una carpeta para contener el certificado:

    sudo mkdir -p /etc/docker/certs.d/[REGISTRY_SERVER]

    En el comando anterior, [REGISTRY_SERVER] es la dirección IP o el nombre de host de la VM que ejecuta tu registro de Docker.

  2. Copia el archivo de certificado en /etc/docker/certs.d/[REGISTRY_SERVER]/ca.crt. Debes asignar el nombre ca.crt al archivo, incluso si tenía un nombre diferente.

  3. Reinicia el servicio de Docker:

    sudo service docker restart

  4. Verifica que puedas acceder a Docker:

    docker login -u [USERNAME] -p [PASSWORD] [REGISTRY_SERVER]

    En el comando anterior, [USERNAME] y [PASSWORD] son las credenciales para acceder al registro de Docker.

Ahora, cuando ejecutes gkectl prepare durante la instalación, las imágenes necesarias para la instalación se enviarán al registro de Docker.

Soluciona problemas de la configuración de registros

  • GET https://[REGISTRY_SERVER]/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers): Asegúrate de tener la dirección IP correcta para la VM que ejecuta el registro de Docker.

  • login attempt to https://[REGISTRY_SERVER]/v2/ failed with status: 401 Unauthorized: Asegúrate de que el nombre de usuario y la contraseña sean correctos.

  • GET https://[REGISTRY_SERVER]/v1/users/: x509: certificate signed by unknown authority: La VM de la estación de trabajo de administrador no confía en el certificado.

Crea claves privadas de cuentas de servicio en la estación de trabajo de administrador

En Prepara la instalación, creaste cuatro cuentas de servicio. Ahora, debes crear un archivo de claves privadas JSON para cada una de esas cuentas de servicio. Proporcionarás estas claves durante la instalación.

Enumera las direcciones de correo electrónico de las cuentas de servicio

Primero, enumera las cuentas de servicio en el proyecto de Google Cloud:

gcloud iam service-accounts list

En un proyecto de Google Cloud llamado my-gcp-project, el resultado de este comando se verá así:

gcloud iam service-accounts list
NAME                                    EMAIL
                                        access-service-account@my-gcp-project.iam.gserviceaccount.com
                                        register-service-account@my-gcp-project.iam.gserviceaccount.com
                                        connect-service-account@my-gcp-project.iam.gserviceaccount.com
                                        stackdriver-service-account@my-gcp-project.iam.gserviceaccount.com

Toma nota de la dirección de correo electrónico de cada cuenta. En cada una de las siguientes secciones, debes proporcionar la cuenta de correo electrónico de la cuenta correspondiente.

Cuenta de servicio de acceso

gcloud iam service-accounts keys create access-key.json \
--iam-account [ACCESS_SERVICE_ACCOUNT_EMAIL]

En el comando anterior, [ACCESS_SERVICE_ACCOUNT_EMAIL] es la dirección de correo electrónico de la cuenta de servicio de acceso.

Cuenta de servicio de registro

gcloud iam service-accounts keys create register-key.json \
--iam-account [REGISTER_SERVICE_ACCOUNT_EMAIL]

En el comando anterior, [REGISTER_SERVICE_ACCOUNT_EMAIL] es la dirección de correo electrónico de la cuenta de servicio de registro.

Cuenta de servicio de Connect

gcloud iam service-accounts keys create connect-key.json \
--iam-account [CONNECT_SERVICE_ACCOUNT_EMAIL]

En el comando anterior, [CONNECT_SERVICE_ACCOUNT_EMAIL] es la dirección de correo electrónico de la cuenta de servicio de Connect.

Cuenta de servicio de Cloud Monitoring

gcloud iam service-accounts keys create stackdriver-key.json \
--iam-account [STACKDRIVER_SERVICE_ACCOUNT_EMAIL]

En el comando anterior, [STACKDRIVER_SERVICE_ACCOUNT_EMAIL] es la dirección de correo electrónico de la cuenta de servicio de Cloud Monitoring.

Activa tu cuenta de servicio de acceso para Google Cloud CLI

La activación de tu cuenta de servicio de acceso para la CLI de gcloud hace que todos los comandos de gcloud y gsutil se ejecuten como esa cuenta de servicio. Debido a que tu cuenta de servicio de acceso está en la lista de entidades permitidas para acceder a los objetos binarios de GKE On-Prem, activar la cuenta para la CLI de gcloud te da permiso para descargar objetos binarios de GKE On-Prem desde Cloud Storage.

Para activar tu cuenta de servicio de acceso, ejecuta el siguiente comando. Asegúrate de proporcionar la ruta de acceso al archivo de claves de la cuenta, en caso de que no esté en el directorio de trabajo actual:

gcloud auth activate-service-account --key-file=access-key.json

Genera un archivo de configuración

Para iniciar una instalación, debes ejecutar gkectl create-config a fin de generar un archivo de configuración. Debes modificar el archivo con las especificaciones de tu entorno y con las especificaciones del clúster que desees.

Si deseas generar el archivo, ejecuta el siguiente comando, en el que --config [PATH] es opcional y acepta una ruta de acceso y un nombre para el archivo de configuración. Si se omite --config, se crea config.yaml en el directorio de trabajo actual:

gkectl create-config [--config [PATH]]

Modifica el archivo de configuración

Ahora que generaste el archivo de configuración, debes modificarlo a fin de que sea adecuado para el entorno y para satisfacer tus expectativas con respecto a los clústeres. En las siguientes secciones, se explica cada campo, sus valores previstos y dónde puedes encontrar la información. Algunos campos están comentados de forma predeterminada. Si alguno de esos campos es relevante para la instalación, quita los comentarios y proporciona valores.

bundlepath

Un paquete de GKE On-Prem es un conjunto de archivos YAML. En conjunto, los archivos YAML describen todos los componentes en una versión particular de GKE On-Prem.

Cuando creas una estación de trabajo del administrador, se incluye un paquete en /var/lib/gke/bundles/gke-onprem-vsphere-[VERSION]-full.tgz. La versión de este paquete coincide con la versión del archivo OVA que usaste para crear la estación de trabajo de administrador.

Establece el valor de bundlepath en la ruta del archivo de paquete de la estación de trabajo de administrador. Es decir, configura bundlepath de la siguiente manera:

/var/lib/gke/bundles/gke-onprem-vsphere-[VERSION]-full.tgz

En el ejemplo anterior, [VERSION] es la versión de GKE On-Prem que instalas. La versión más reciente es 1.1.2-gke.0.

Ten en cuenta que puedes mantener el archivo de paquete en una ubicación diferente o asignarle un nombre diferente. Solo asegúrate de que, en el archivo de configuración, el valor de bundlepath sea la ruta de acceso al archivo de paquete, sin importar cuál sea.

Especificación de vCenter

La especificación del servidor de vCenter, vcenter, contiene información sobre tu instancia del servidor de vCenter que GKE On-Prem debe instalar en tu entorno.

vcenter.credentials.address

El campo vcenter.credentials.address contiene la dirección IP o el nombre de host de tu servidor de vCenter.

Antes de completar vsphere.credentials.address field, descarga e inspecciona el certificado de entrega de vCenter Server. Ingresa el siguiente comando para descargar el certificado y guardarlo en un archivo llamado vcenter.pem.

true | openssl s_client -connect [VCENTER_IP]:443 -showcerts 2>/dev/null | sed -ne '/-BEGIN/,/-END/p' > vcenter.pem

Abre el archivo del certificado para ver el nombre común y el alternativo de la entidad:

openssl x509 -in vcenter.pem -text -noout

En el resultado, se muestra el nombre común (CN) de Subject. Este puede ser una dirección IP o un nombre de host. Por ejemplo:

Subject: ... CN = 203.0.113.100
Subject: ... CN = my-host.my-domain.example

Puede que, en el resultado, también se incluyan uno o más nombres de DNS en Subject Alternative Name:

X509v3 Subject Alternative Name:
    DNS:vcenter.my-domain.example

Elige el nombre común de Subject o uno de los nombres de DNS en Subject Alternative Name para usarlo como el valor de vcenter.credentials.address en el archivo de configuración. Por ejemplo:

vcenter:
  credentials:
    address: "203.0.113.1"
    ...

vcenter:
  credentials:
    address: "my-host.my-domain.example"
    ...

Debes elegir un valor que aparezca en el certificado. Por ejemplo, si la dirección IP no aparece en el certificado, no puedes usarla para vcenter.credentials.address.

vcenter.credentials

GKE On-Prem necesita conocer el nombre de usuario y la contraseña del servidor de vCenter. Para proporcionar esta información, establece los valores username y password en vcenter.credentials. Por ejemplo:

vcenter:
  credentials:
    ...
    username: "my-name"
    password: "my-password"

vcenter.datacenter, .datastore, .cluster, .network

GKE On-Prem necesita información sobre la estructura de tu entorno de vSphere. Establece los valores en vcenter para proporcionar esta información. Por ejemplo:

vcenter:
  ...
  datacenter: "MY-DATACENTER"
  datastore: "MY-DATASTORE"
  cluster: "MY-VSPHERE-CLUSTER"
  network: "MY-VIRTUAL-NETWORK"

vcenter.resourcepool

Un grupo de recursos de vSphere es una agrupación lógica de VM de vSphere en el clúster de vSphere. Si usas un grupo de recursos que no es el predeterminado, proporciona su nombre a vcenter.resourcepool. Por ejemplo:

vcenter:
  ...
  resourcepool: "my-pool"

Si deseas que GKE On-Prem implemente sus nodos en el grupo de recursos predeterminado del clúster de vSphere, proporciona una string vacía a vcenter.resourcepool. Por ejemplo:

vcenter:
  ...
  resourcepool: ""

vcenter.datadisk

GKE On-Prem crea un disco de máquina virtual (VMDK) para contener los datos del objeto de Kubernetes del clúster de administrador. El instalador crea el VMDK por ti, pero debes proporcionar un nombre para él en el campo vcenter.datadisk. Por ejemplo:

vcenter:
  ...
  datadisk: "my-disk.vmdk"
Almacén de datos de vSAN: Crea una carpeta para el VMDK

Si usas un almacén de datos de vSAN, debes colocar el VMDK en una carpeta. Debes crear la carpeta de forma manual con anticipación. Para crear la carpeta, puedes usar govc:

govc datastore.mkdir my-gke-on-prem-folder

En este momento, un problema conocido requiere que proporciones la ruta de identificador único universal (UUID) de la carpeta, en lugar de su ruta de archivo, a vcenter.datadisk. Para encontrar el UUID de la carpeta, abre el cliente de vCenter, selecciona tu almacén de datos y, luego, la carpeta de selección. Copia el UUID de la carpeta. También puedes ejecutar el siguiente comando, en el que [ADMIN_CONTROL_PLANE_VM] es la VM de vSphere que ejecuta el plano de control del administrador:

govc vm.info -json ./vm/[ADMIN_CONTROL_PLANE_VM] | jq '.VirtualMachines[0].Config.Hardware.Device[] | select(.Backing | has("FileName")) | .Backing.FileName'

Luego, proporciona el UUID de la carpeta en el campo vcenter.datadisk. Por ejemplo:

vcenter:
...
datadisk: "14159b5d-4265-a2ba-386b-246e9690c588/my-disk.vmdk"

vcenter.cacertpath

Cuando un cliente, como GKE On-Prem, envía una solicitud al servidor de vCenter, el servidor debe demostrar su identidad al cliente presentando un certificado. El certificado está firmado por una autoridad certificada (CA). El cliente verifica el certificado del servidor mediante el uso del certificado de CA.

Configura vcenter.cacertpath como la ruta del certificado de la CA. Por ejemplo:

vcenter:
  ...
  cacertpath: "/my-cert-folder/altostrat.crt"

Sin importar si el servidor de vCenter usa un certificado autofirmado o un certificado firmado por una CA pública, puedes obtener el certificado de la CA si ejecutas este comando en tu estación de trabajo de administrador:

true | openssl s_client -connect [VCENTER_IP]:443 -showcerts 2>/dev/null | sed -ne '/-BEGIN/,/-END/p' > vcenter.pem

En el ejemplo anterior, [VCENTER_IP] es la dirección IP de tu servidor de vCenter.

Especificación del proxy

El campo proxy contiene información sobre el proxy HTTPS proporcionado por el usuario y las direcciones que se deben excluir del proxy. Por ejemplo:

proxy:
  url: "https://password:username@domain"
  noproxy: "100.151.222.0/24,corp.domain,100.151.2.1"
  • proxy.url es la URL del proxy HTTPS.
  • proxy.noproxy incluye el CIDR, los dominios y las direcciones IP que no deben usar el proxy. Por lo general, esto incluye la subred de vSphere y la dirección de registro privado si usas un registro de Docker privado.

Especificación del clúster de administrador

La especificación del clúster del administrador, admincluster, conserva la información que GKE On-Prem necesita para crear el clúster de administrador.

admincluster.vcenter.network

En admincluster.vcenter.network, puedes especificar una red de vCenter para los nodos del clúster del administrador. Ten en cuenta que esto anula la configuración global que proporcionaste en vcenter. Por ejemplo:

admincluster:
  vcenter:
    network: MY-ADMIN-CLUSTER-NETWORK

admincluster.ipblockfilepath

Este campo se usa si usas direcciones IP estáticas. Debido a que usas un servidor de DHCP para asignar direcciones IP, deja el campo admincluster.ipblockfilepath con un comentario.

admincluster.bigip.credentials (modo de balanceo de cargas integrado)

Si usas el modo de balanceo de cargas integrado, GKE On-Prem necesita conocer la dirección IP o el nombre de host, el nombre de usuario y la contraseña de tu balanceador de cargas F5 BIG-IP. Establece los valores en admincluster.bigip para proporcionar esta información. Por ejemplo:

admincluster:
  ...
  bigip:
    credentials:
      address: "203.0.113.2"
      username: "my-admin-f5-name"
      password: "rJDlm^%7aOzw"

admincluster.bigip.credentials (modo de balanceo de cargas integrado)

Si usas el modo de balanceo de cargas integrado, debes crear una partición de BIG-IP para el clúster de administrador. Establece admincluster.bigip.partition en el nombre de la partición. Por ejemplo:

admincluster:
  ...
  bigip:
    partition: "my-admin-f5-partition"

admincluster.vips

Establece el valor de admincluster.vips.controlplanevip en la dirección IP que elegiste configurar en el balanceador de cargas para el servidor de la API de Kubernetes del clúster de administrador. Establece el valor de ingressvip como la dirección IP que elegiste configurar en el balanceador de cargas para el controlador de entrada del clúster de administrador. Por ejemplo:

admincluster:
  ...
  vips:
    controlplanevip: 203.0.113.3
    ingressvip: 203.0.113.4

admincluster.serviceiprange y admincluster.podiprange

El clúster de administrador debe tener un rango de direcciones IP para usar con los Services y uno para usar con los Pods. Estos rangos se especifican en los campos admincluster.serviceiprange y admincluster.podiprange. Estos campos se propagan cuando ejecutas gkectl create-config. Si quieres, puedes cambiar los valores propagados por los valores que desees.

Los rangos de Services y Pods no deben superponerse. Tampoco deben superponerse en ningún clúster con las direcciones IP que se usan para los nodos.

Ejemplo:

admincluster:
  ...
  serviceiprange: 10.96.232.0/24
  podiprange: 192.168.0.0/16

Especificación del clúster de usuarios

La especificación del clúster de usuario, usercluster, contiene información que GKE On-Prem necesita para crear el clúster de usuario inicial.

Inhabilita las reglas de antiafinidad de DRS de VMware (opcional)

A partir de la versión 1.1.0-gke.6, GKE On-Prem crea automáticamente reglas de antiafinidad del Programador de recursos distribuidos (DRS) de VMware para los nodos del clúster de usuarios, lo que hace que se distribuyan en al menos tres hosts físicos de tu centro de datos. A partir de la versión 1.1.0-gke.6, esta característica se habilita automáticamente para clústeres nuevos y existentes.

Para esta función, se requiere que el entorno de vSphere cumpla con las siguientes condiciones:

  • DRS de VMware debe estar habilitado. Para DRS de VMware, se requiere la edición de licencia vSphere Enterprise Plus. Para aprender a habilitar DRS, consulta Crea un clúster de DRS.
  • La cuenta de usuario de vSphere proporcionada en el campo vcenter debe tener el permiso Host.Inventory.EditCluster.
  • Debe haber al menos tres hosts físicos disponibles.

Si no tienes habilitado el DRS, o si no tienes un mínimo de tres hosts en los que se puedan programar las VM de vSphere, agrega usercluster.antiaffinitygroups.enabled: false a tu archivo de configuración. Por ejemplo:

usercluster:
  ...
  antiaffinitygroups:
    enabled: false
En el caso de los clústeres que ejecutan más de tres nodos, sucede lo siguiente:
Si vSphere vMotion transfiere un nodo a un host diferente, las cargas de trabajo del nodo se deberán reiniciar antes de que se distribuyan de nuevo en los hosts.

usercluster.vcenter.network

En usercluster.vcenter.network, puedes especificar una red de vCenter para los nodos del clúster de usuario. Ten en cuenta que esto anula la configuración global que proporcionaste en vcenter. Por ejemplo:

usercluster:
  vcenter:
    network: MY-USER-CLUSTER-NETWORK

usercluster.ipblockfilepath

Este campo se usa si usas direcciones IP estáticas. Debido a que usas un servidor de DHCP para asignar direcciones IP, deja el campo usercluster.ipblockfilepath con un comentario.

usercluster.bigip.credentials (modo de balanceo de cargas integrado)

Si usas el modo de balanceo de cargas integrado, GKE On-Prem debe conocer la dirección IP o el nombre de host, el nombre de usuario y la contraseña del balanceador de cargas F5 BIG-IP que deseas usar para el clúster de usuarios. Establece los valores en usercluster.bigip para proporcionar esta información. Por ejemplo:

usercluster:
  ...
  bigip:
    credentials:
      address: "203.0.113.5"
      username: "my-user-f5-name"
      password: "8%jfQATKO$#z"
  ...

usercluster.bigip.partition (modo de balanceo de cargas integrado)

Debes crear una partición de BIG-IP para el clúster de usuario. Establece usercluster.bigip.partition en el nombre de tu partición. Por ejemplo:

usercluster:
  ...
  bigip:
    partition: "my-user-f5-partition"
  ...

usercluster.vips

Establece el valor de usercluster.vips.controlplanevip como la dirección IP que elegiste configurar en el balanceador de cargas para el servidor de la API de Kubernetes del clúster de usuario. Establece el valor de ingressvip como la dirección IP que elegiste configurar en el balanceador de cargas para el controlador de entrada del clúster de usuario. Por ejemplo:

usercluster:
  ...
  vips:
    controlplanevip: 203.0.113.6
    ingressvip: 203.0.113.7

usercluster.serviceiprange y usercluster.podiprange

El clúster de usuario debe tener un rango de direcciones IP para usar con los Services y uno para usar con los Pods. Estos rangos se especifican en los campos usercluster.serviceiprange y usercluster.podiprange. Estos campos se propagan cuando ejecutas gkectl create-config. Si quieres, puedes cambiar los valores propagados por los valores que desees.

Los rangos de Services y Pods no deben superponerse. Tampoco deben superponerse en ningún clúster con las direcciones IP que se usan para los nodos.

Ejemplo:

usercluster:
  ...
  serviceiprange: 10.96.233.0/24
  podiprange: 172.16.0.0/12

usercluster.clustername

Establece el valor de usercluster.clustername en el nombre que desees. Elige un nombre que no supere los 40 caracteres. Por ejemplo:

usercluster:
  ...
  clustername: "my-user-cluster-1"

usercluster.masternode.replicas

En el campo usercluster.masternode.replicas, se especifica cuántos nodos del plano de control quieres que tenga el clúster de usuario. Un nodo de plano de control de un clúster de usuario ejecuta el plano de control de usuario, los componentes del plano de control de Kubernetes. Este valor debe ser 1 o 3:

usercluster.masternode.cpus y usercluster.masternode.memorymb

Los campos usercluster.masternode.cpus y usercluster.masternode.memorymb especifican la cantidad de CPU y de memoria (en megabytes) que se asigna a cada nodo de plano de control del clúster de usuario. Por ejemplo:

usercluster:
  ...
  masternode:
    cpus: 4
    memorymb: 8192

usercluster.workernode.replicas

En el campo usercluster.workernode.replicas, se especifica la cantidad de nodos trabajadores que quieres que tenga el clúster de usuario. Los nodos trabajadores ejecutan las cargas de trabajo del clúster.

usercluster.workernode.cpus y usercluster.workernode.memorymb

Los campos usercluster.masternode.cpus y usercluster.masternode.memorymb especifican la cantidad de CPU y de memoria (en megabytes) que se asigna a cada nodo trabajador del clúster de usuario. Por ejemplo:

usercluster:
  ...
  workernode:
    cpus: 4
    memorymb: 8192
    replicas: 3

usercluster.oidc

Si deseas que los clientes del clúster de usuario usen la autenticación de OIDC, establece valores para los campos en usercluster.oidc. La configuración de OIDC es opcional.

Para aprender a configurar OIDC, consulta Autentica con OIDC.

Información acerca de la instalación de la versión 1.0.2-gke.3

La versión 1.0.2-gke.3 presenta los siguientes campos de OIDC (usercluster.oidc). Estos campos permiten acceder a un clúster desde la consola de Google Cloud:

  • usercluster.oidc.kubectlredirecturl
  • usercluster.oidc.clientsecret
  • usercluster.oidc.usehttpproxy

En la versión 1.0.2-gke.3, si deseas usar OIDC, el campo clientsecret es obligatorio incluso si no quieres acceder a un clúster desde la consola de Google Cloud. En ese caso, puedes proporcionar un valor de marcador de posición para clientsecret:

oidc:
clientsecret: "secret"

usercluster.sni

La indicación del nombre del servidor (SNI), una extensión de la seguridad de la capa de transporte (TLS), permite que los servidores presenten varios certificados en una sola dirección IP y un solo puerto TCP, en función del nombre de host que indique el cliente.

Si la CA ya está distribuida como una CA de confianza para los clientes fuera del clúster de usuario y deseas confiar en esta cadena a fin de identificar clústeres de confianza, puedes configurar el servidor de la API de Kubernetes con un certificado adicional que se presenta a los clientes externos de la dirección IP del balanceador de cargas.

Para usar la SNI con los clústeres de usuario, debes tener tu propia CA y una infraestructura de clave pública (PKI). Debes aprovisionar un certificado de entrega diferente para cada clúster de usuario, y GKE On-Prem agrega cada certificado de entrega adicional a su clúster de usuario respectivo.

Si deseas configurar la SNI en el servidor de la API de Kubernetes del clúster de usuario, proporciona valores para usercluster.sni.certpath (la ruta al certificado externo) y usercluster.sni.keypath (la ruta al archivo de claves privadas del certificado externo). Por ejemplo:

usercluster:
  ...
  sni:
    certpath: "/my-cert-folder/example.com.crt"
    keypath: "/my-cert-folder/example.com.key"

lbmode

Puedes usar el balanceo de cargas integrado en DHCP. El modo de balanceo de cargas integrado se aplica al clúster de administrador y al de usuario inicial. También se aplica a cualquier clúster de usuario adicional que crees en el futuro. El modo de balanceo de cargas integrado es compatible con el uso de BIG-IP de F5 como balanceador de cargas.

Establece el valor de lbmode en Integrated. Por ejemplo:

lbmode: Integrated

gkeconnect

La especificación gkeconnect contiene información que GKE On-Prem necesita para configurar la administración de tus clústeres locales desde la consola de Google Cloud.

Establece gkeconnect.projectid en el ID del proyecto de Google Cloud en el que deseas administrar los clústeres locales.

Establece el valor de gkeconnect.registerserviceaccountkeypath en la ruta de acceso del archivo de claves JSON para tu cuenta de servicio de registro. Configura el valor de gkeconnect.agentserviceaccountkeypath como la ruta del archivo de claves JSON para tu cuenta de servicio de conexión.

Si deseas que el agente de Connect use un proxy para comunicarse con Google Cloud, establece el valor de gkeconnect.proxy en la URL del proxy. Usa el formato http(s)://[PROXY_ADDRESS].

Ejemplo:

gkeconnect:
  projectid: "my-project"
  registerserviceaccountkeypath: "/my-key-folder/register-key.json"
  agentserviceaccountkeypath: "/my-key-folder/connect-key.json"
  proxy: https://203.0.113.20

stackdriver

La especificación stackdriver contiene información que GKE On-Prem necesita para almacenar las entradas de registro que generan tus clústeres locales.

Establece stackdriver.projectid en el ID del proyecto de Google Cloud en el que deseas ver los registros de Stackdriver que pertenecen a tus clústeres locales.

Establece stackdriver.clusterlocation en una región de Google Cloud en la que quieras almacenar registros de Stackdriver. Te recomendamos que elijas una región cercana a tu centro de datos local.

Establece stackdriver.enablevpc en true si tienes la red del clúster bajo el control de una VPC. Esto garantiza que toda la telemetría fluya a través de las direcciones IP restringidas de Google.

Establece stackdriver.serviceaccountkeypath en la ruta del archivo de claves JSON de tu cuenta de servicio de Stackdriver Logging. Por ejemplo:

stackdriver:
  projectid: "my-project"
  clusterlocation: "us-west1"
  enablevpc: false
  serviceaccountkeypath: "/my-key-folder/stackdriver-key.json"

privateregistryconfig

Si tienes un registro privado de Docker, el campo privateregistryconfig contiene información que GKE On-Prem usa para enviar imágenes a tu registro privado. Si no especificas un registro privado, gkectl extrae las imágenes de contenedor de GKE On-Prem de su repositorio de Container Registry, gcr.io/gke-on-prem-release, durante la instalación.

En privatedockerregistry.credentials, configura address como la dirección IP de la máquina que ejecuta el registro privado de Docker. Establece username y password en el nombre de usuario y la contraseña de tu registro privado de Docker.

Cuando Docker extrae una imagen de tu registro privado, el registro debe demostrar su identidad mediante la presentación de un certificado. El certificado del registro está firmado por una autoridad certificada (CA). Docker usa el certificado de la CA para validar el certificado del registro.

Establece privateregistryconfig.cacertpath en la ruta del certificado de la CA. Por ejemplo:

privateregistryconfig
  ...
  cacertpath: /my-cert-folder/registry-ca.crt

gcrkeypath

Establece el valor de gcrkeypath en la ruta de acceso del archivo de claves JSON para tu cuenta de servicio de acceso. Por ejemplo:

gcrkeypath: "/my-key-folder/access-key.json"

cloudauditlogging

Si deseas enviar los registros de auditoría de Kubernetes al proyecto de Google Cloud, propaga la especificación de cloudauditlogging. Por ejemplo:

cloudauditlogging:
  projectid: "my-project"
  # A GCP region where you would like to store audit logs for this cluster.
  clusterlocation: "us-west1"
  # The absolute or relative path to the key file for a GCP service account used to
  # send audit logs from the cluster
  serviceaccountkeypath: "/my-key-folder/audit-logging-key.json"

Obtén más información para usar el registro de auditoría.

Valida el archivo de configuración

Después de modificar el archivo de configuración, ejecuta gkectl check-config a fin de verificar que el archivo sea válido y se pueda usar para la instalación:

gkectl check-config --config [PATH_TO_CONFIG]

Si el comando muestra algún mensaje FAILURE, soluciona los problemas y vuelve a validar el archivo.

Omite las validaciones

Los siguientes comandos de gkectl ejecutan validaciones de forma automática en el archivo de configuración:

  • gkectl prepare
  • gkectl create cluster
  • gkectl upgrade

Para omitir las validaciones de un comando, pasa --skip-validation-all. Por ejemplo, para omitir todas las validaciones de gkectl prepare, usa lo siguiente:

gkectl prepare --config [PATH_TO_CONFIG] --skip-validation-all

Si deseas ver todas las marcas disponibles para omitir validaciones específicas, sigue estos pasos:

gkectl check-config --help

Ejecución de gkectl prepare

Antes de realizar la instalación, debes ejecutar gkectl prepare en la estación de trabajo del administrador para inicializar el entorno de vSphere. gkectl prepare realiza las siguientes tareas:

  • Importa la imagen de SO del nodo a vSphere y la marca como plantilla.

  • De manera opcional, valida las certificaciones de compilación de las imágenes de contenedor a fin de verificar que las imágenes hayan sido compiladas y firmadas por Google y que estén listas para la implementación.

Ejecuta gkectl prepare con el archivo de configuración de GKE On-Prem, en el que --validate-attestations es opcional:

gkectl prepare --config [CONFIG_FILE] --validate-attestations

El resultado positivo de --validate-attestations es Image [IMAGE_NAME] validated.

Instala GKE On-Prem

Creaste un archivo de configuración en el que se especifica cómo se ve tu entorno y cómo deseas que se vean tus clústeres y, además, validaste el archivo. Ejecutaste gkectl prepare para inicializar tu entorno con el software de GKE On-Prem. Ahora estás listo para iniciar una instalación nueva de GKE On-Prem.

Para instalar GKE On-Prem, ejecuta el siguiente comando:

gkectl create cluster --config [CONFIG_FILE]

En el comando anterior, [CONFIG_FILE] es el archivo de configuración que generaste y modificaste.

Puedes volver a usar el archivo de configuración para crear clústeres de usuario adicionales.

Reanuda una instalación

En el caso de que la instalación se interrumpa después de la creación del clúster de administrador, puedes reanudar la instalación de la siguiente manera:

  • Quita la especificación admincluster del archivo de configuración.
  • Ejecuta gkectl create cluster de nuevo y pasa el archivo kubeconfig del clúster de administrador.
gkectl create cluster --config [CONFIG_FILE] \
--kubeconfig [ADMIN_CLUSTER_KUBECONFIG]

En el ejemplo anterior, [ADMIN_CLUSTER_NAME] es el kubeconfig del clúster del administrador, que se creó en el directorio de trabajo cuando iniciaste la instalación.

Problemas comunes

Por el momento, no puedes reanudar una instalación si creas un clúster de usuario de HA. Se resolverá este error en una versión futura.

Conecta clústeres a Google

Habilitar Ingress

Después de que el clúster de usuario se ejecute, debes habilitar el tráfico de entrada mediante la creación de un objeto Gateway. La primera parte del manifiesto de Gateway siempre es la siguiente:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: istio-autogenerated-k8s-ingress
  namespace: gke-system
spec:
  selector:
    istio: ingress-gke-system

Puedes adaptar el resto del manifiesto según tus necesidades. Por ejemplo, este manifiesto indica que los clientes pueden enviar solicitudes en el puerto 80 mediante el protocolo HTTP/2 y cualquier nombre de host:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: istio-autogenerated-k8s-ingress
  namespace: gke-system
spec:
  selector:
    istio: ingress-gke-system
  servers:
  - port:
      number: 80
      protocol: HTTP2
      name: http
    hosts:
    - "*"

Si deseas aceptar solicitudes HTTPS, debes proporcionar uno o más certificados que el controlador de entrada pueda presentar a los clientes.

Para proporcionar un certificado, sigue estos pasos:

  1. Crea un Secreto que contenga el certificado y la clave.
  2. Crea un objeto Gateway o modifica uno existente que haga referencia al Secreto. El nombre del objeto Gateway debe ser istio-autogenerated-k8s-ingress.

Por ejemplo, supongamos que ya creaste un archivo de certificado, ingress-wildcard.crt, y un archivo de claves, ingress-wildcard.key.

Crea un Secreto llamado ingressgateway-wildcard-certs:

kubectl create secret tls \
    --namespace gke-system \
    ingressgateway-wildcard-certs \
    --cert ./ingress-wildcard.crt \
    --key ./ingress-wildcard.key

A continuación, se muestra un manifiesto de un objeto Gateway que hace referencia al Secreto. Los clientes pueden llamar al puerto 443 mediante el protocolo HTTPS y cualquier nombre de host que coincida con *.example.com. Ten en cuenta que el nombre de host en el certificado debe coincidir con el nombre de host en el manifiesto, que es *.example.com en este ejemplo:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: istio-autogenerated-k8s-ingress
  namespace: gke-system
spec:
  selector:
    istio: ingress-gke-system
  servers:
  - port:
      number: 80
      protocol: HTTP2
      name: http
    hosts:
    - "*"
  - hosts:
    - "*.example.com"
    port:
      name: https-demo-wildcard
      number: 443
      protocol: HTTPS
    tls:
      mode: SIMPLE
      credentialName: ingressgateway-wildcard-certs

Puedes crear varios certificados TLS para diferentes hosts si modificas el manifiesto de Gateway.

Guarda el manifiesto en un archivo llamado my-gateway.yaml y crea el objeto Gateway:

kubectl apply -f my-gateway.yaml

Ahora puedes usar objetos Ingress de Kubernetes de la manera estándar.

Limitaciones

Limitación Descripción
Límites máximos y mínimos de los clústeres y los nodos

Consulta Cuotas y límites. El rendimiento del entorno puede afectar estos límites.
Nombres únicos de clúster de usuario

Todos los clústeres de usuario registrados en el mismo proyecto de Google Cloud deben tener nombres únicos.
No se pueden implementar los mismos clústeres en más de un centro de datos de vCenter o vSphere

Por el momento, solo puedes implementar un clúster de administrador y un conjunto de clústeres de usuario asociados en un solo centro de datos de vCenter o vSphere. No puedes implementar los mismos clústeres de administrador y de usuario en más de un centro de datos de vCenter o vSphere.
No se puede cambiar la configuración de un clúster de forma declarativa después de su creación Si bien puedes crear clústeres adicionales y cambiar el tamaño de los clústeres existentes, no puedes cambiar un clúster existente mediante su archivo de configuración.

Soluciona problemas

Para obtener más información, consulta Soluciona problemas.

Diagnostica problemas de clústeres mediante gkectl

Usa los comandos gkectl diagnose para identificar los problemas de clústeres y compartir la información de un clúster con Google. Consulta Diagnostica problemas de clústeres.

Comportamiento de registro predeterminado

Para gkectl y gkeadm, basta con usar la configuración de registro predeterminada:

  • De forma predeterminada, las entradas de registro se guardan de la siguiente manera:

    • Para gkectl, el archivo de registro predeterminado es /home/ubuntu/.config/gke-on-prem/logs/gkectl-$(date).log y el archivo está vinculado con un symlink con el archivo logs/gkectl-$(date).log en el directorio local en el que ejecutas gkectl.
    • Para gkeadm, el archivo de registro predeterminado es logs/gkeadm-$(date).log en el directorio local en el que ejecutas gkeadm.
  • Todas las entradas de registro se guardan en el archivo de registro, incluso si no se imprimen en la terminal (cuando --alsologtostderr es false).
  • El nivel de verbosidad -v5 (predeterminado) cubre todas las entradas de registro que necesita el equipo de asistencia al cliente.
  • El archivo de registro también contiene el comando ejecutado y el mensaje de error.

Recomendamos que envíes el archivo de registro al equipo de asistencia al cliente cuando necesites ayuda.

Especifica una ubicación no predeterminada para el archivo de registro

A fin de especificar una ubicación no predeterminada para el archivo de registro gkectl, usa la marca --log_file. El archivo de registro que especifiques no se vinculará con un symlink con el directorio local.

A fin de especificar una ubicación no predeterminada para el archivo de registro gkeadm, usa la marca --log_file.

Ubica los registros de la API de clúster en el clúster de administrador

Si una VM no se inicia después de que se inicia el plano de control de administrador, puedes intentar depurarla mediante la inspección de los registros de los controladores de la API de clúster en el clúster de administrador:

  1. Encuentra el nombre del Pod de controladores de la API de clúster en el espacio de nombres kube-system, en el que [ADMIN_CLUSTER_KUBECONFIG] es la ruta de acceso al archivo kubeconfig del clúster de administrador:

    kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] -n kube-system get pods | grep clusterapi-controllers

  2. Abre los registros del Pod, en los que [POD_NAME] es el nombre del Pod. De manera opcional, usa grep o una herramienta similar para buscar errores:

    kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] -n kube-system logs [POD_NAME] vsphere-controller-manager

Depura los problemas de BIG-IP de F5 mediante el kubeconfig del nodo del plano de control del clúster de administrador

Después de una instalación, GKE On-Prem genera un archivo kubeconfig llamado internal-cluster-kubeconfig-debug en el directorio principal de la estación de trabajo de administrador. Este archivo kubeconfig es idéntico al kubeconfig de tu clúster de administrador, excepto que apunta directamente al nodo del plano de control del clúster de administrador, en el que se ejecuta el plano de control de administrador. Puedes usar el archivo internal-cluster-kubeconfig-debug para depurar los problemas de BIG-IP de F5.

La validación de gkectl check-config falla: No se pueden encontrar las particiones de BIG-IP de F5

Síntomas

La validación falla porque las particiones de BIG-IP de F5 no se pueden encontrar, aunque existen.

Causas posibles

Un problema con la API de BIG-IP de F5 puede causar que la validación falle.

Solución

Vuelve a ejecutar gkectl check-config.

gkectl prepare --validate-attestations falla: No se puede validar la certificación de la compilación

Síntomas

La ejecución de gkectl prepare con la marca opcional --validate-attestations muestra el siguiente error:

could not validate build attestation for gcr.io/gke-on-prem-release/.../...: VIOLATES_POLICY
Causas posibles

Es posible que no exista una certificación para las imágenes afectadas.

Solución

Vuelve a descargar y a implementar el OVA de la estación de trabajo de administrador, como se indica en Crea una estación de trabajo de administrador. Si el problema persiste, comunícate con Google para obtener asistencia.

Depura mediante los registros del clúster de arranque

Durante la instalación, GKE On-Prem crea un clúster de arranque temporal. Después de una instalación exitosa, GKE On-Prem borra el clúster de arranque, por lo que solo tienes el clúster de administrador y el de usuario. Por lo general, no deberías tener ningún motivo para interactuar con este clúster.

Si algo sale mal durante una instalación y pasaste --cleanup-external-cluster=false a gkectl create cluster, es posible que te resulte útil depurar mediante los registros del clúster de arranque. Puedes buscar el Pod y, luego, obtener sus registros:

kubectl --kubeconfig /home/ubuntu/.kube/kind-config-gkectl get pods -n kube-system
kubectl --kubeconfig /home/ubuntu/.kube/kind-config-gkectl -n kube-system get logs [POD_NAME]

¿Qué sigue?