Cómo ajustar el rendimiento del nodo

Una forma de mejorar el rendimiento de las aplicaciones basadas en contenedores es aumentar los recursos del clúster agregando nodos o recursos, como CPUs o memoria, a tus nodos. Sin embargo, este enfoque puede llegar a ser costoso. Ajustar los nodos del clúster para mejorar el rendimiento te ayuda a optimizar el uso de recursos de tus cargas de trabajo de manera rentable. En este documento, se describe cómo usar el operador de ajuste de rendimiento para ajustar los nodos de trabajo y optimizar el rendimiento de la carga de trabajo de Google Distributed Cloud.

Para aprovechar al máximo el hardware y el software subyacentes, diferentes tipos de aplicaciones, en especial las de alto rendimiento, se benefician de la configuración del nodo de ajuste, como la siguiente:

  • CPUs dedicadas para cargas de trabajo sensibles al rendimiento
  • CPUs reservadas para daemons y servicios estándar de Kubernetes
  • Se aumentaron los tamaños de página de memoria con hugepages de 1 GiB (gibibyte) o 2 MiB (mebibyte)
  • Distribución de la carga de trabajo según la arquitectura del sistema, como procesadores multinúcleo y NUMA

Con el operador de ajuste de rendimiento, configuras la configuración de rendimiento a nivel del nodo creando recursos personalizados de Kubernetes que aplican configuraciones de rendimiento. Estos son los beneficios:

  • Interfaz de configuración única y unificada: Con el operador de ajuste de rendimiento, actualizas uno o más manifiestos PerformanceTuningProfile que se pueden aplicar a los nodos de trabajo con selectores de nodos. No es necesario que configures cada nodo de forma individual con múltiples parámetros de configuración y políticas. Este enfoque te permite administrar configuraciones a nivel del nodo y del contenedor de una manera única y unificada.

  • Persistencia y confiabilidad: También obtienes toda la confiabilidad que proporciona Kubernetes con su arquitectura de alta disponibilidad. Los recursos personalizados de PerformanceTuningProfile se pueden actualizar cuando quieras, y su configuración persiste en las operaciones principales del clúster, como las actualizaciones.

El operador de ajuste de rendimiento funciona con la organización de las siguientes funciones y herramientas de Kubernetes y el sistema operativo (SO) relacionadas con el rendimiento:

Para evitar conflictos, cuando uses el operador de ajuste de rendimiento, te recomendamos que no uses las funciones y herramientas de Kubernetes y el SO mencionadas anteriormente de forma independiente.

Requisitos previos y limitaciones

Estos son los requisitos previos y las limitaciones para usar el operador de ajuste del rendimiento:

  • Solo para Red Hat Enterprise Linux (RHEL): El operador de ajuste de rendimiento es compatible solo con nodos que ejecutan versiones compatibles de RHEL.

  • Clúster de usuario o híbrido con nodos trabajadores: El operador de ajuste de rendimiento solo se admite para usar con nodos trabajadores en clústeres de usuario o híbridos. No se admite el uso del operador de ajuste de rendimiento para ajustar los nodos del plano de control. El operador de ajuste de rendimiento usa un selector de nodos para determinar cómo aplicar los perfiles de ajuste. Para garantizar que los perfiles de ajuste se apliquen solo a los nodo trabajador, el nodeSelector en cada recurso personalizado del perfil debe incluir la etiqueta estándar del nodo trabajador node-role.kubernetes.io/worker: "". Si el nodeSelector en un perfil de ajuste coincide con las etiquetas de un nodo de plano de control, ese nodo no se ajusta y se establece una condición de error. Si deseas obtener más información sobre las condiciones de error, consulta Cómo verificar el estado. Asegúrate de que tu clúster funcione correctamente antes de instalar el operador de ajuste de rendimiento y aplicar perfiles de ajuste.

  • TuneD 2.22.0: El operador de ajuste de rendimiento requiere que TuneD versión 2.22.0 esté preinstalado en los nodos de trabajo que deseas ajustar. Para obtener más información sobre TuneD, incluidas las instrucciones de instalación, consulta Cómo comenzar a usar TuneD en la documentación de Red Hat Enterprise Linux. El operador de ajuste de rendimiento usa TuneD con el perfil cpu-partitioning. Si no tienes este perfil, puedes instalarlo con el siguiente comando:

    dnf install -y tuned-profiles-cpu-partitioning

  • Requisitos de recursos de la carga de trabajo: Para aprovechar al máximo el ajuste del rendimiento, debes comprender bien los requisitos de memoria y CPU (solicitudes y límites de recursos) de tus cargas de trabajo.

  • Recursos de nodos disponibles: Encuentra los recursos de CPU y memoria de tus nodos. Puedes obtener información detallada de la CPU y la memoria de tu nodo en los archivos /proc/cpuinfo y /proc/meminfo, respectivamente. También puedes usar kubectl get nodes para recuperar la cantidad de recursos de procesamiento y memoria (status.allocatable) que tiene un nodo trabajador disponibles para los Pods.

  • Requiere drenaje: Como parte del proceso de ajuste, el operador de ajuste de rendimiento primero drena los nodos y, luego, aplica un perfil de optimización. Como resultado, es posible que los nodos informen un estado NotReady durante el ajuste del rendimiento. Te recomendamos que uses la estrategia de actualización progresiva (spec.updateStrategy.type: rolling) en lugar de una actualización por lotes para minimizar la falta de disponibilidad de la carga de trabajo.

  • Requiere un reinicio: Para que se apliquen los cambios de ajuste del nodo, el operador de ajuste de rendimiento reinicia el nodo después de aplicar el perfil de ajuste.

Instala el operador de ajuste de rendimiento

El operador de ajuste de rendimiento consta principalmente de dos controladores (una implementación y un DaemonSet) que interactúan entre sí para ajustar los nodos según la configuración de tu perfil. El operador de ajuste de rendimiento no se instala con Google Distributed Cloud de forma predeterminada. Descargas los manifiestos del operador de ajuste de rendimiento desde Cloud Storage y usas kubectl apply para crear recursos del operador de ajuste de rendimiento en tu clúster.

Para habilitar el ajuste de rendimiento con valores predeterminados para tu clúster, haz lo siguiente:

  1. Crea un directorio performance-tuning en tu estación de trabajo de administrador.

  2. En el directorio performance-tuning, descarga el paquete más reciente del operador de ajuste de rendimiento del bucket de lanzamiento de Cloud Storage:

    gcloud storage cp gs://anthos-baremetal-release/node-performance-tuning/0.1.0-gke.47 . --recursive

    Los archivos descargados incluyen manifiestos para la implementación de performance-tuning-operator y el DaemonSet de nodeconfig-controller-manager. También se incluyen manifiestos para funciones relacionadas, como el control de acceso basado en roles (RBAC) y el control de admisión dinámico.

  3. Como usuario raíz, aplica todos los manifiestos del operador de ajuste de rendimiento de forma recursiva a tu clúster de usuario (o híbrido):

    kubectl apply -f performance-tuning --recursive –-kubeconfig USER_KUBECONFIG

    Una vez que se creen y ejecuten la implementación y el DaemonSet, tu única interacción será editar y aplicar manifiestos de PerformanceTuningProfile.

Revisa los requisitos de recursos de tus cargas de trabajo

Antes de poder ajustar tus nodos, debes comprender los requisitos de recursos de procesamiento y memoria de tus cargas de trabajo. Si tus nodos de trabajo tienen recursos suficientes, se pueden ajustar para proporcionar memoria garantizada (estándar y hugepages) para tus cargas de trabajo en la clase de calidad de servicio (QoS) garantizada.

Kubernetes asigna clases de QoS a cada uno de tus Pods, según las restricciones de recursos que especifiques para los contenedores asociados. Luego, Kubernetes usa clases de QoS para determinar cómo programar tus Pods y contenedores, y asignar recursos a tus cargas de trabajo. Para aprovechar al máximo la optimización de nodos para tus cargas de trabajo, estas deben tener solicitudes o parámetros de configuración de límites de recursos de CPU o memoria.

Para que se te asigne una clase de QoS garantizada, tus Pods deben cumplir con los siguientes requisitos:

  • Para cada contenedor del pod:
    • Especifica valores para las solicitudes de recursos de memoria (spec.containers[].resources.requests.memory) y los límites (spec.containers[].resources.limits.memory).
    • El valor de los límites de memoria debe ser igual al valor de las solicitudes de memoria.
    • Especifica valores para las solicitudes de recursos de la CPU (spec.containers[].resources.requests.cpu) y los límites (spec.containers[].resources.limits.cpu).
    • El valor de los límites de CPU debe ser igual al valor de las solicitudes de CPU.

En el siguiente extracto de la especificación del Pod, se muestra la configuración de recursos de CPU que cumple con los requisitos de la clase de QoS garantizada:

spec:
  containers:
  - name: sample-app
    image: images.my-company.example/app:v4
    resources:
      requests:
        memory: "128Mi"
        cpu: "2"
      limits:
        memory: "128Mi"
        cpu: "2"
  ...

Cuando recuperas los detalles del pod con kubectl get pods, la sección status debe incluir la clase de QoS asignada, como se muestra en el siguiente ejemplo:

apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: "2023-09-22T21:05:23Z"
  generateName: my-deployment-6fdd69987d-
  labels:
    app: metrics
    department: sales
    pod-template-hash: 6fdd69987d
  name: my-deployment-6fdd69987d-7kv42
  namespace: default
  ...
spec:
  containers:
  ...
status:
  conditions:
  - lastProbeTime: null
    lastTransitionTime: "2023-09-22T21:05:23Z"
    status: "True"
    type: Initialized
  ...
  qosClass: BestEffort
  startTime: "2023-09-22T21:05:23Z"

Para obtener más información sobre las clases de QoS, consulta Clases de calidad de servicio de los pods en la documentación de Kubernetes. Si deseas obtener instrucciones para configurar tus pods y contenedores de modo que se les asigne una clase de QoS, consulta Configura la calidad de servicio de los pods.

Requisitos de CPU

Cuando ajustas un nodo, puedes especificar un conjunto de núcleos de CPU reservados (spec.cpu.reservedCPUs) para ejecutar daemons del sistema de Kubernetes, como kubelet y el entorno de ejecución de contenedores. Este mismo conjunto de CPUs reservadas también ejecuta daemons del sistema operativo, como sshd y udev. El resto de los núcleos de CPU se asignan como aislados. Las CPUs aisladas están diseñadas para aplicaciones limitadas por la CPU, que requieren tiempo de CPU dedicado sin interferencias de otras aplicaciones o interrupciones de la red o de otros dispositivos.

Para programar un Pod en las CPUs aisladas de un nodo trabajador, haz lo siguiente:

  • Configura el pod para obtener una calidad de servicio (QoS) garantizada.

  • Los requisitos y límites de la CPU deben especificarse en números enteros. Si especificas recursos de CPU parciales en la especificación de tu Pod, como cpu: 0.5 o cpu: 250m (250 millicores), no se puede garantizar la programación.

Requisitos de la memoria

Cuando ajustas un nodo con el operador de ajuste de rendimiento, puedes crear páginas grandes y asociarlas con los nodos de acceso a la memoria no uniforme (NUMA) de la máquina. Según la configuración del pod y del nodo, los pods se pueden programar con afinidad de nodos NUMA.

Crea un perfil de ajuste de rendimiento

Después de instalar el operador de ajuste de rendimiento, solo interactúas con el clúster que ejecuta tus cargas de trabajo. Creas recursos personalizados de PerformanceTuningProfile directamente en tu clúster de usuario o híbrido, no en tu clúster de administrador. Cada recurso PerformanceTuningProfile contiene un conjunto de parámetros que especifican la configuración de rendimiento que se aplica a un nodo.

El nodeSelector en el recurso determina los nodos a los que se aplica el perfil de ajuste. Para aplicar un perfil a un nodo, coloca la etiqueta del par clave-valor correspondiente en él. Se aplica un perfil de ajuste a los nodos que tienen todas las etiquetas especificadas en el campo nodeSelector.

Puedes crear varios recursos PerformanceTuningProfile en un clúster. Si más de un perfil coincide con un nodo determinado, se establece una condición de error en el status del recurso personalizado PerformanceTuningProfile. Para obtener más información sobre la sección status, consulta Cómo verificar el estado.

Establece el espacio de nombres de tu recurso personalizado de PerformanceTuningProfile en kube-system.

Para ajustar uno o más nodos trabajadores, sigue estos pasos:

  1. Editar el manifiesto PerformanceTuningProfile.

    Para obtener información sobre cada campo del manifiesto y un manifiesto de muestra, consulta la referencia de recursos de PerformanceTuningProfile.

  2. Para los nodos trabajadores a los que aplicas un perfil, agrega etiquetas que coincidan con el par clave-valor spec.nodeSelector (opcional).

    Si no se especifica ningún par clave-valor de spec.nodeSelector en el recurso personalizado PerformanceTuningProfile, el perfil se aplica a todos los nodos trabajadores.

  3. Aplica el manifiesto al clúster.

    kubectl apply -f PROFILE_MANIFEST --kubeconfig KUBECONFIG

    Reemplaza lo siguiente:

    • PROFILE_MANIFEST: La ruta de acceso del archivo de manifiesto para el recurso personalizado PerformanceTuningProfile.
    • KUBECONFIG: la ruta del archivo kubeconfig del clúster

Cómo quitar un perfil de ajuste

Para restablecer un nodo a su estado original sin ajustar, haz lo siguiente:

  1. Borra el recurso personalizado PerformanceTuningProfile del clúster :

  2. Actualiza o quita las etiquetas del nodo para que el perfil de ajuste no lo vuelva a seleccionar.

Si tienes varios perfiles de ajuste asociados con el nodo, repite los pasos anteriores según sea necesario.

Cómo pausar un perfil de ajuste

Si necesitas realizar el mantenimiento de tu clúster, puedes pausar temporalmente la sintonización editando el recurso personalizado PerformanceTuningProfile. Te recomendamos que pauses el ajuste antes de realizar operaciones críticas del clúster, como una actualización.

La aplicación de un perfil de forma incorrecta es otro caso en el que podrías pausar la optimización. Si el proceso de ajuste no se realiza correctamente, es posible que el controlador siga intentando ajustar el nodo, lo que podría provocar que se reinicie una y otra vez. Si observas que el estado del nodo cambia entre el estado listo y el no listo, pausa la optimización para que puedas recuperarte del estado dañado.

Para pausar la sintonización, haz lo siguiente:

  1. Edita el manifiesto del recurso personalizado PerformanceTuningProfile para establecer spec.paused en true.

  2. Usa kubectl apply para actualizar el recurso.

Cuando se pausa el ajuste de rendimiento, el controlador del operador de ajuste de rendimiento detiene todas sus operaciones. La pausa evita el riesgo de que las operaciones del controlador del operador de ajuste de rendimiento entren en conflicto con las operaciones de cualquier controlador de Google Distributed Cloud.

Referencia del recurso PerformanceTuningProfile

En esta sección, se describe cada uno de los campos del recurso personalizado PerformanceTuningProfile. Este recurso se usa para crear un perfil de ajuste para uno o más de los nodos de tu clúster. Todos los campos del recurso son mutables después de la creación del perfil. Los perfiles deben estar en el espacio de nombres kube-system.

En el siguiente manifiesto de perfil de muestra numa para nodos con 8 núcleos de CPU, se especifican las siguientes asignaciones de recursos:

  • Se reservan 4 núcleos de CPU (0-3) para la sobrecarga del sistema de Kubernetes.

  • Se reservan 4 núcleos de CPU (4-7) solo para las cargas de trabajo.

  • La memoria del nodo se divide en páginas de 2 MiB de forma predeterminada, en lugar de las páginas estándar de 4 Ki.

  • Se reservan 10 páginas de memoria de 1 GiB para que las use el nodo NUMA 0.

  • Se reservan 5 páginas de memoria de 2 MiB para que las use el nodo NUMA 1.

  • Topology Manager usa la política de mejor resultado posible para programar cargas de trabajo.

apiVersion: anthos.gke.io/v1alpha1
kind: PerformanceTuningProfile
metadata:
  name: numa
  namespace: kube-system
spec:
  cpu:
    isolatedCPUs: 4-7
    reservedCPUs: 0-3
  defaultHugepagesSize: 2M
  nodeSelector:
    app: database
    node-role.kubernetes.io/worker: ""
  pages:
  - count: 10
    numaNode: 0
    size: 1G
  - count: 5
    numaNode: 1
    size: 2M
  topologyManagerPolicy: best-effort

Puedes recuperar la definición de recurso personalizado PerformanceTuningProfile relacionada del grupo anthos.gke.io en tu clúster. La definición de recursos personalizados se instala una vez que se agrega la anotación de la función de versión preliminar al recurso del clúster administrado por el usuario.

Configuración de CPU

Propiedad Descripción
cpu.reservedCPUs Obligatorio. Mutable. String. Este campo define un conjunto de núcleos de CPU que se reservan para los daemons del sistema de Kubernetes, como kubelet, el entorno de ejecución del contenedor y el detector de problemas de nodos. Estos núcleos de CPU también se usan para los daemons del sistema operativo (SO), como sshd y udev.

El campo cpu.reservedCPUs toma una lista de números de CPU o rangos de números de CPU. Asegúrate de que la lista de CPUs no se superponga con la lista especificada con cpu.isolatedCPUs. La unión de las CPUs que se enumeran en estos dos campos debe incluir todas las CPUs del nodo.
cpu.isolatedCPUs Opcional. Mutable. String. El campo cpu.isolatedCPUs define un conjunto de CPUs que se usan exclusivamente para aplicaciones sensibles al rendimiento. El Administrador de CPU programa contenedores solo en las CPUs no reservadas, según las clases de calidad de servicio (QoS) de Kubernetes. Para garantizar que las cargas de trabajo se ejecuten en las CPUs aisladas, configura Pods con la clase de QoS garantizada y asigna un recurso de CPU al Pod o contenedor. Para garantizar la programación de Pods, debes especificar unidades de CPU de números enteros, no recursos de CPU parciales (cpu: "0.5"). 
apiVersion: v1
kind: Pod
...
spec:
  containers:
  ...
    resources:
      limits:
        cpu: "1"
      requests:
        cpu: "1"
  ...

Maximizar las CPU aisladas para las cargas de trabajo proporciona el mejor beneficio de rendimiento. Este campo toma una lista de números de CPU o rangos de números de CPU. Asegúrate de que la lista de CPUs no se superponga con la lista especificada con cpu.reservedCPUs y de que la unión de las listas en estos dos campos incluya todas las CPUs del nodo.
cpu.balanceIsolated Opcional. Mutable. Booleano. Valor predeterminado: true. En este campo, se especifica si el conjunto de CPU aislado es apto para el balanceo automático de cargas de trabajo entre CPUs. Cuando estableces este campo en false, tus cargas de trabajo deben asignar cada subproceso de forma explícita a una CPU específica para distribuir la carga entre las CPUs. Con las asignaciones de CPU explícitas, obtienes el rendimiento más predecible para las cargas de trabajo garantizadas, pero agrega más complejidad a tus cargas de trabajo.
cpu.globallyEnableIRQLoadBalancing Obligatorio. Mutable. Booleano. Valor predeterminado: true. Este campo especifica si se habilita o no el balanceo de cargas de solicitudes de interrupción (IRQ) para el conjunto de CPU aislado.

Configuración de la memoria

Propiedad Descripción
defaultHugePageSize Opcional. Mutable. Enumeración: 1G o 2M. Este campo define el tamaño predeterminado de la página grande en los parámetros de inicio del kernel. Las Hugepages se asignan durante el inicio, antes de que la memoria se fragmente. Es importante tener en cuenta que, si estableces el tamaño predeterminado de hugepages en 1G, se quitan todas las carpetas relacionadas con 2M del nodo. Un tamaño de página enorme predeterminado de 1G te impide configurar 2M de páginas enormes en el nodo.
pages Opcional. Mutable. Número entero. Este campo especifica la cantidad de páginas grandes que se crearán durante el inicio. Este campo acepta un array de páginas. Verifica la memoria disponible para tus nodos antes de especificar hugepages. No solicites más páginas grandes de las necesarias ni reserves toda la memoria para ellas. Tus cargas de trabajo también necesitan memoria estándar.

Selección de nodos

Propiedad Descripción
nodeSelector Obligatorio. Mutable. Este campo siempre requiere la etiqueta del nodo trabajador de Kubernetes, node-role.kubernetes.io/worker:"", que garantiza que el ajuste de rendimiento se realice solo en los nodos trabajadores. Este campo toma una etiqueta de nodo opcional como un par clave-valor. Las etiquetas de pares clave-valor se usan para seleccionar nodos trabajador específicos con etiquetas coincidentes. Cuando las etiquetas nodeSelector coinciden con las etiquetas de un nodo trabajador, se aplica el perfil de rendimiento a ese nodo. Si no especificas una etiqueta de par clave-valor en tu perfil, se aplicará a todos los nodos trabajadores del clúster.

Por ejemplo, el siguiente nodeSelector especifica que el perfil de ajuste se aplica solo a los nodos trabajadores con etiquetas app: database coincidentes:

...
spec:
  nodeSelector:
    app: database
    node-role.kubernetes.io/worker: ""
  ...

Configuración de Kubelet

Propiedad Descripción
topologyManagerPolicy Opcional. Mutable. Enumeración: none, best-effort, restricted o single-numa-node Valor predeterminado: best-effort. Este campo especifica la política del Administrador de topología de Kubernetes que se usa para asignar recursos a tus cargas de trabajo, según la clase de calidad de servicio (QoS) asignada. Para obtener más información sobre cómo se asignan las clases de QoS, consulta Configura la calidad de servicio para los pods.

Operaciones de perfil

Propiedad Descripción
paused Opcional. Mutable. Booleano. Establece paused en true para evitar temporalmente que los controladores de DaemonSet ajusten los nodos seleccionados.
updateStrategy Opcional. Mutable. Especifica la estrategia para aplicar cambios de configuración de ajuste a los nodos seleccionados.
updateStrategy.rollingUpdateMaxUnavailalble Opcional. Mutable. Número entero. Valor predeterminado: 1. Especifica la cantidad máxima de nodos que se pueden ajustar al mismo tiempo. Este campo solo se aplica cuando type se configura como rolling.
updateStrategy.type Opcional. Mutable. Enumeración: batch o rolling. Valor predeterminado: rolling. Especifica cómo aplicar actualizaciones de perfiles a los nodos seleccionados. Si deseas aplicar la actualización a todos los nodos seleccionados al mismo tiempo, establece type en batch. De forma predeterminada, las actualizaciones se lanzan de forma secuencial a nodos individuales, uno tras otro.

Verificar el estado

Después de crear o actualizar el recurso personalizado PerformanceTuningProfile, un controlador ajusta los nodos seleccionados según la configuración proporcionada en el recurso. Para verificar el estado de PerformanceTuningProfile, exponemos el siguiente campo en Status:

Propiedad Descripción
conditions Condition representa las observaciones más recientes disponibles del estado actual del recurso de perfil.
conditions.lastTransitionTime Siempre se muestra. Cadena (en formato de fecha y hora). La última vez que la condición pasó de un estado a otro. Por lo general, este tiempo indica cuándo cambió la condición subyacente. Si no se conoce ese momento, la hora indica cuándo cambió el campo de la API.
conditions.message Opcional. String. Un mensaje legible por humanos que indica detalles sobre la transición. Es posible que este campo esté vacío.
conditions.observedGeneration Opcional. Número entero. Si se establece, este campo representa el metadata.generation en el que se basó la condición. Por ejemplo, si metadata.generation es 12, pero status.condition[x].observedGeneration es 9, la condición está desactualizada en relación con el estado actual de la instancia.
conditions.reason Obligatorio. String. El motivo de la última transición de la condición.
conditions.status Obligatorio. Estado de la condición: True, False o Unknown.
conditions.type Obligatorio. Type es el tipo de condición: Stalled o Reconciling.
readyNodes Es la cantidad de nodos a los que se aplicó correctamente el perfil de ajuste.
reconcilingNodes Es la cantidad de nodos seleccionados (o seleccionados anteriormente) que están en proceso de conciliación con el perfil de ajuste más reciente por parte del DaemonSet nodeconfig-controller-manager.
selectedNodes La cantidad de notas que se seleccionaron. Es decir, la cantidad de nodos que coinciden con el selector de nodos de este recurso personalizado PerformanceTuningProfile.

¿Qué sigue?