Una forma de mejorar el rendimiento de las aplicaciones basadas en contenedores es aumentar los recursos del clúster. Para ello, agrega nodos a los nodos, como CPU o memoria. Sin embargo, este enfoque puede llegar a ser costoso. Ajustar los nodos del clúster para obtener un mejor rendimiento te ayuda a optimizar el uso de los recursos de tus cargas de trabajo de una manera rentable. En este documento, se describe cómo usar el operador de ajuste de rendimiento para ajustar nodos trabajadores y, así, optimizar el rendimiento de las cargas de trabajo de GKE en Bare Metal.
Para aprovechar al máximo el hardware y el software subyacentes, los diferentes tipos de aplicaciones, en especial las de alto rendimiento, se benefician del ajuste de la configuración de los nodos de la siguiente manera:
- CPU dedicadas para cargas de trabajo sensibles al rendimiento
- CPUs reservadas para daemons y servicios estándar de Kubernetes
- El tamaño de las páginas de memoria aumenta cuando se generan 1 GiB (gibibyte) o 2 MiB (mebibyte).
- Distribución de la carga de trabajo basada en la arquitectura del sistema, como procesadores de varios núcleos y NUMA
Con el operador de ajuste de rendimiento, puedes configurar el rendimiento a nivel de nodo mediante la creación de recursos personalizados de Kubernetes que aplican configuraciones de rendimiento. Estos son los beneficios:
Interfaz de configuración única y unificada: con el Operador de ajuste de rendimiento, puedes actualizar uno o más manifiestos
PerformanceTuningProfile
que se pueden aplicar a los nodos trabajadores con selectores de nodos. No es necesario que configures cada nodo de forma individual con varios ajustes de configuración y políticas. Este enfoque te permite administrar las configuraciones a nivel del nodo y del contenedor de una manera única y unificada.Persistencia y confiabilidad: También obtienes toda la confiabilidad que proporciona Kubernetes con su arquitectura de alta disponibilidad. Los recursos personalizados
PerformanceTuningProfile
se pueden actualizar cuando lo desees y su configuración persiste en las operaciones principales del clúster, como las actualizaciones.
El operador de ajuste de rendimiento trabaja mediante la organización de las siguientes funciones y herramientas de Kubernetes y del sistema operativo (SO) relacionadas con el rendimiento:
Para evitar conflictos, cuando uses el operador de ajuste de rendimiento, te recomendamos que no uses las herramientas y funciones de Kubernetes y SO de forma independiente.
Requisitos previos y limitaciones
A continuación, se incluyen los requisitos previos y las limitaciones para usar el operador de ajuste de rendimiento:
Solo para Red Hat Enterprise Linux (RHEL): El operador de ajuste de rendimiento es compatible con los nodos que ejecutan solo versiones compatibles de RHEL.
Clúster de usuario o híbrido con nodos trabajadores: El operador de ajuste de rendimiento solo se puede usar con nodos trabajadores en clústeres híbridos o de usuario. No se admite el uso del operador de ajuste de rendimiento para ajustar los nodos del plano de control. El operador de ajuste de rendimiento usa un selector de nodos para determinar cómo aplicar perfiles de ajuste. Para garantizar que los perfiles de ajuste se apliquen solo a los nodos trabajadores, el
nodeSelector
en cada recurso personalizado de perfil debe incluir la etiqueta de nodo trabajador estándarnode-role.kubernetes.io/worker: ""
. Si elnodeSelector
en un perfil de ajuste coincide con las etiquetas de un nodo del plano de control, ese nodo no se ajusta y se establece una condición de error. Para obtener más información sobre las condiciones de error, consulta Verifica el estado. Asegúrate de que el clúster funcione correctamente antes de instalar el operador de ajuste de rendimiento y aplicar perfiles de ajuste.TuneD 2.22.0: El operador de ajuste de rendimiento requiere que la versión 2.22.0 de TuneD esté preinstalada en los nodos trabajadores que deseas ajustar. Para obtener más información sobre TuneD, incluidas las instrucciones de instalación, consulta Cómo comenzar a usar TuneD en la documentación de Red Hat Enterprise Linux. El operador de ajuste de rendimiento usa TuneD con el perfil
cpu-partitioning
. Si no tienes este perfil, puedes instalarlo con el siguiente comando:dnf install -y tuned-profiles-cpu-partitioning
Requisitos de recursos de carga de trabajo: Para aprovechar al máximo el ajuste de rendimiento, debes comprender bien los requisitos de memoria y CPU (solicitudes y límites de recursos) para tus cargas de trabajo.
Recursos de nodo disponibles: Encuentra los recursos de CPU y memoria para tus nodos. Puedes obtener información detallada de la CPU y la memoria de tu nodo en los archivos
/proc/cpuinfo
y/proc/meminfo
, respectivamente. También puedes usarkubectl get nodes
a fin de recuperar la cantidad de recursos de procesamiento y memoria (status.allocatable
) que tiene un nodo trabajador y que están disponibles para los Pods.Requiere vaciado: Como parte del proceso de ajuste, el operador de ajuste de rendimiento primero vacía los nodos y, luego, aplica un perfil de ajuste. Como resultado, los nodos pueden informar un estado
NotReady
durante el ajuste de rendimiento. Te recomendamos que uses la estrategia de actualización progresiva (spec.updateStrategy.type: rolling
) en lugar de una actualización por lotes para minimizar la falta de disponibilidad de las cargas de trabajo.Requiere reinicio: Para que se apliquen los cambios de ajuste de nodos, el operador de ajuste de rendimiento reinicia el nodo después de aplicar el perfil de ajuste.
Instalar un operador de ajuste de rendimiento
El operador de ajuste de rendimiento consta principalmente de dos controladores (un Deployment y un DaemonSet) que interactúan entre sí para ajustar los nodos según la configuración de tu perfil.
El operador de ajuste de rendimiento no está instalado con GKE en Bare Metal de forma predeterminada. Debes descargar los manifiestos del operador de ajuste de rendimiento desde Cloud Storage y usar kubectl apply
para crear recursos del operador de ajuste de rendimiento en tu clúster.
Para habilitar el ajuste de rendimiento con valores predeterminados en tu clúster, haz lo siguiente:
Crea un directorio
performance-tuning
en la estación de trabajo de administrador.Desde el directorio
performance-tuning
, descarga el paquete más reciente del operador de ajuste de rendimiento del bucket de versión de Cloud Storage:gsutil cp -r gs://anthos-baremetal-release/node-performance-tuning/0.1.0-gke.47 .
Los archivos descargados incluyen manifiestos para la Deployment de
performance-tuning-operator
y el DaemonSet denodeconfig-controller-manager
. También se incluyen los manifiestos para las funciones relacionadas, como el control de acceso basado en roles (RBAC) y el control de admisión dinámico.Como usuario raíz, aplica todos los manifiestos del operador de ajuste de rendimiento de manera recursiva en tu clúster de usuario (o híbrido):
kubectl apply -f performance-tuning --recursive –-kubeconfig USER_KUBECONFIG
Una vez que se crean y ejecutan la Deployment y el DaemonSet, tu única interacción es editar y aplicar manifiestos de
PerformanceTuningProfile
.
Revisa los requisitos de los recursos para tus cargas de trabajo
Antes de poder ajustar los nodos, debes comprender los requisitos de recursos de procesamiento y memoria de tus cargas de trabajo. Si tus nodos trabajadores tienen suficientes recursos, se pueden ajustar para proporcionar memoria garantizada (estándar y de gran tamaño) para tus cargas de trabajo en la clase de calidad de servicio (QoS) garantizada.
Kubernetes asigna clases de QoS a cada uno de tus Pods, según las restricciones de recursos que especifiques para los contenedores asociados. Luego, Kubernetes utiliza clases de QoS para determinar cómo programar tus Pods y contenedores, y asignar recursos a tus cargas de trabajo. Para aprovechar al máximo el ajuste de nodos en tus cargas de trabajo, estas deben tener solicitudes de recursos de CPU o memoria o una configuración de límites.
Para que se les asigne una clase de QoS garantizada, los Pods deben cumplir con los siguientes requisitos:
- En cada contenedor del Pod:
- Especifica valores para las solicitudes de recursos de memoria (
spec.containers[].resources.requests.memory
) y los límites (spec.containers[].resources.limits.memory
). - El valor de los límites de memoria debe ser igual al valor de solicitudes de memoria.
- Especifica valores para las solicitudes de recursos de CPU (
spec.containers[].resources.requests.cpu
) y los límites (spec.containers[].resources.limits.cpu
). - El valor de los límites de CPU debe ser igual al valor de las solicitudes de CPU.
- Especifica valores para las solicitudes de recursos de memoria (
En el siguiente extracto de especificaciones del Pod, se muestra la configuración de recursos de la CPU que cumple con los requisitos de la clase QoS garantizada:
spec:
containers:
- name: sample-app
image: images.my-company.example/app:v4
resources:
requests:
memory: "128Mi"
cpu: "2"
limits:
memory: "128Mi"
cpu: "2"
...
Cuando recuperas detalles del pod con kubectl get pods
, la sección status
debe incluir la clase QoS asignada, como se muestra en el siguiente ejemplo:
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: "2023-09-22T21:05:23Z"
generateName: my-deployment-6fdd69987d-
labels:
app: metrics
department: sales
pod-template-hash: 6fdd69987d
name: my-deployment-6fdd69987d-7kv42
namespace: default
...
spec:
containers:
...
status:
conditions:
- lastProbeTime: null
lastTransitionTime: "2023-09-22T21:05:23Z"
status: "True"
type: Initialized
...
qosClass: BestEffort
startTime: "2023-09-22T21:05:23Z"
Para obtener más información sobre las clases de QoS, consulta Clases de calidad de servicio de Pods en la documentación de Kubernetes. Si quieres obtener instrucciones para configurar tus Pods y contenedores a fin de que se les asigne una clase de QoS, consulta Configura la Calidad de servicio de los Pods.
Requisitos de CPU
Cuando ajustas un nodo, puedes especificar un conjunto de núcleos de CPU reservados (spec.cpu.reservedCPUs
) para ejecutar daemons del sistema de Kubernetes, como kubelet y entorno de ejecución del contenedor. Este mismo conjunto de CPU reservadas también ejecuta daemons del sistema operativo, como sshd
y udev
. El resto de los núcleos de CPU en el área se asignan como aislados. Las CPU aisladas están diseñadas para aplicaciones vinculadas a la CPU, que requieren un tiempo de CPU dedicado sin interferencia de otras aplicaciones ni interrupciones de la red o de otros dispositivos.
Para programar un Pod en las CPU aisladas de un nodo trabajador, haz lo siguiente:
Configurar el Pod para garantizar una calidad de servicio (QoS) garantizada
Los requisitos y límites de CPU deben especificarse en números enteros. Si especificas recursos de CPU parciales en las especificaciones de tu Pod, como
cpu: 0.5
ocpu: 250m
(250 millicores), no se puede garantizar la programación.
Requisitos de la memoria
Cuando ajustas un nodo con el operador de ajuste de rendimiento, puedes crear grandes páginas y asociarlas con los nodos de acceso no uniforme a la memoria (NUMA) en la máquina. Según la configuración de Pods y nodos, los Pods se pueden programar con la afinidad de NUMA nodos.
Cómo crear un perfil de ajuste de rendimiento
Después de instalar el operador de ajuste de rendimiento, solo interactuarás con el clúster que ejecuta
tus cargas de trabajo. Puedes crear recursos personalizados de PerformanceTuningProfile
directamente en el clúster de usuario o el clúster híbrido, no en el clúster de administrador. Cada recurso PerformanceTuningProfile
contiene un conjunto de parámetros que especifica la configuración de rendimiento que se aplica a un nodo.
El nodeSelector
en el recurso determina los nodos a los que se aplica el perfil de ajuste. Para aplicar un perfil a un nodo, coloca la etiqueta de par clave-valor correspondiente en el nodo. Se aplica un perfil de ajuste a los nodos que tienen todas las etiquetas especificadas en el campo nodeSelector
.
Puedes crear varios recursos PerformanceTuningProfile
en un clúster. Si más de un perfil coincide con un nodo determinado, se establece una condición de error en el status
del recurso personalizado PerformanceTuningProfile
. Para obtener más información sobre la sección status
, consulta Cómo verificar el estado.
Establece el espacio de nombres para tu recurso personalizado PerformanceTuningProfile
en kube-system
.
Para ajustar uno o más nodos trabajadores, sigue estos pasos:
Edita el manifiesto
PerformanceTuningProfile
.Para obtener información sobre cada campo del manifiesto y un manifiesto de muestra, consulta la referencia del recurso
PerformanceTuningProfile
.En los nodos trabajadores a los que aplicas un perfil, agrega etiquetas para que coincidan con el par clave-valor
spec.nodeSelector
(opcional).Si no se especifica ningún par clave-valor
spec.nodeSelector
en el recurso personalizadoPerformanceTuningProfile
, el perfil se aplica a todos los nodos trabajadores.Aplica el manifiesto al clúster.
kubectl apply -f PROFILE_MANIFEST --kubeconfig KUBECONFIG
Reemplaza lo siguiente:
PROFILE_MANIFEST
: Es la ruta de acceso del archivo de manifiesto para el recurso personalizadoPerformanceTuningProfile
.KUBECONFIG
: Es la ruta de acceso del archivo kubeconfig del clúster.
Cómo quitar un perfil de ajuste
Para restablecer un nodo a su estado original sin ajustar, haz lo siguiente:
Borra el recurso personalizado
PerformanceTuningProfile
del clúster.Actualiza o quita las etiquetas del nodo para que el perfil de ajuste no lo seleccione otra vez.
Si tienes varios perfiles de ajuste asociados con el nodo, repite los pasos anteriores según sea necesario.
Cómo pausar un perfil de ajuste
Si necesitas realizar mantenimiento en tu clúster, puedes pausar de forma temporal el ajuste mediante la edición del recurso personalizado PerformanceTuningProfile
. Te recomendamos que pauses el ajuste antes de realizar operaciones críticas del clúster, como actualizar el clúster.
La aplicación de un perfil no tiene éxito es otro caso en el que puedes pausar el ajuste. Si el proceso de ajuste no funciona, el controlador puede seguir intentando ajustar el nodo, lo que puede provocar que este se reinicie una y otra vez. Si observas que el estado del nodo cambia entre el estado listo y no listo, pausa el ajuste para que puedas recuperarte del estado interrumpido.
Para pausar el ajuste, haz lo siguiente:
Edita el manifiesto de recursos personalizados
PerformanceTuningProfile
para establecerspec.paused
comotrue
.Usa
kubectl apply
para actualizar el recurso.
Cuando se pausa el ajuste de rendimiento, el controlador del operador de ajuste de rendimiento detiene todas sus operaciones. Pausar evita el riesgo de que las operaciones del controlador del operador de ajuste de rendimiento entren en conflicto con cualquier operación del controlador de GKE en Bare Metal.
Referencia del recurso PerformanceTuningProfile
En esta sección, se describe cada uno de los campos del recurso personalizado PerformanceTuningProfile
. Este recurso se usa con el fin de crear un perfil de ajuste para uno o más de los nodos del clúster. Todos los campos del recurso son mutables después de la creación del perfil. Los perfiles deben estar en el espacio de nombres kube-system
.
En el siguiente manifiesto de perfil de muestra numa
para nodos con 8 núcleos de CPU, se especifican las siguientes asignaciones de recursos:
4 núcleos de CPU (
0-3
) están reservados para la sobrecarga del sistema de Kubernetes.Se reservan 4 núcleos de CPU (
4-7
) solo para cargas de trabajo.La memoria de nodo se divide en páginas de 2 MiB de forma predeterminada, en lugar de las páginas estándar de 4 Ki.
Se reservan 10 páginas de memoria con un tamaño de 1 GiB para que las use el nodo 0 de NUMA.
Se reservan 5 páginas de memoria con un tamaño de 2 MiB para que las use el nodo 1 de NUMA.
Topology Manager usa la política de mejor esfuerzo para programar cargas de trabajo.
apiVersion: anthos.gke.io/v1alpha1
kind: PerformanceTuningProfile
metadata:
name: numa
namespace: kube-system
spec:
cpu:
isolatedCPUs: 4-7
reservedCPUs: 0-3
defaultHugepagesSize: 2M
nodeSelector:
app: database
node-role.kubernetes.io/worker: ""
pages:
- count: 10
numaNode: 0
size: 1G
- count: 5
numaNode: 1
size: 2M
topologyManagerPolicy: best-effort
Puedes recuperar la definición de recurso personalizado PerformanceTuningProfile
relacionada del grupo anthos.gke.io
en tu clúster. La definición de recurso personalizado se instala una vez que la anotación de la función de vista previa se agrega al recurso del clúster autoadministrado.
Configuración de CPU
Propiedad | Descripción |
---|---|
cpu.reservedCPUs |
Obligatorio. Modificable. String. En este campo, se define un conjunto de núcleos de CPU que se reservarán para daemons del sistema de Kubernetes, como kubelet, el entorno de ejecución del contenedor y el detector de problemas de nodos. Estos núcleos de CPU también se usan para daemons del sistema del sistema operativo (SO), como sshd y udev .
El campo |
cpu.isolatedCPUs |
Opcional. Modificable. String. El campo cpu.isolatedCPUs define un conjunto de CPU que se usan exclusivamente para aplicaciones sensibles al rendimiento. El administrador de CPU programa los contenedores solo en las CPU no reservadas, de acuerdo con las clases de calidad de servicio (QoS) de Kubernetes.
Para asegurarte de que las cargas de trabajo se ejecuten en las CPU aisladas, configura los Pods con la clase QoS garantizada y asigna un recurso de CPU al Pod o al contenedor.
Para la programación garantizada de Pods, debes especificar unidades de CPU de números enteros, no recursos de CPU parciales (cpu: "0.5" ).
apiVersion: v1 kind: Pod ... spec: containers: ... resources: limits: cpu: "1" requests: cpu: "1" ... La maximización de CPUs aisladas para cargas de trabajo proporciona el mejor beneficio de rendimiento. Este campo toma una lista de números de CPU o rangos de números de CPU.
Asegúrate de que la lista de CPU no se superponga con la lista especificada con |
cpu.balanceIsolated |
Opcional. Modificable. Booleano. Valor predeterminado: true . Este campo
especifica si el conjunto de CPU aisladas es apto para el balanceo
de cargas automático de cargas de trabajo entre CPU. Cuando configuras este campo como false , tus cargas de trabajo deben asignar cada subproceso de forma explícita a una CPU específica para distribuir la carga entre las CPU. Con las asignaciones de CPU explícitas, obtienes el rendimiento más predecible para las cargas de trabajo garantizadas, pero agrega más complejidad a tus cargas de trabajo. |
cpu.globallyEnableIRQLoadBalancing |
Obligatorio. Modificable. Booleano. Valor predeterminado: true . Este campo especifica si se debe habilitar el balanceo de cargas de solicitudes de interrupción (IRQ) para el conjunto de CPU aislado. |
Configuración de la memoria
Propiedad | Descripción |
---|---|
defaultHugePageSize |
Opcional. Modificable. Enumeración: 1G o 2M .
Este campo define el tamaño predeterminado de bigpage en los parámetros de inicio del kernel.
En el momento del inicio, estas páginas se asignan antes de que la memoria se fragmente.
Es importante tener en cuenta que si se configura el tamaño predeterminado de largepages en 1 G, se quitan del nodo los 2 millones de carpetas relacionadas. Un tamaño de bigpage predeterminado de 1G evita que configures 2 millones de bigpages en el nodo.
|
pages |
Opcional. Modificable. Número entero. Este campo especifica la cantidad de bigpages que se crearán en el momento del inicio. Este campo acepta un array de páginas. Verifica la memoria disponible para tus nodos antes de especificar bigpages. No solicites más bigpages de lo necesario y tampoco reserves toda la memoria para largepages. Tus cargas de trabajo también necesitan memoria estándar. |
Selección de nodos
Propiedad | Descripción |
---|---|
nodeSelector |
Obligatorio. Modificable. Este campo siempre requiere la etiqueta de nodo trabajador de Kubernetes, node-role.kubernetes.io/worker:"" , que garantiza que el ajuste de rendimiento se realice solo en los nodos trabajadores. Este campo toma una
etiqueta de nodo opcional como un par clave-valor. Las etiquetas de pares clave-valor se
usan para seleccionar nodos trabajadores específicos con etiquetas coincidentes. Cuando las etiquetas nodeSelector coinciden con las de un nodo trabajador, el perfil de rendimiento se aplica a ese nodo. Si no especificas una
etiqueta de par clave-valor en tu perfil, se aplica a todos los nodos trabajadores del
clúster.
Por ejemplo, el siguiente ... spec: nodeSelector: app: database node-role.kubernetes.io/worker: "" ... |
Configuración de Kubelet
Propiedad | Descripción |
---|---|
topologyManagerPolicy |
Opcional. Modificable. Enumeración: none , best-effort , restricted o single-numa-node . Valor predeterminado: best-effort .
En este campo, se especifica la política del Administrador de topologías de Kubernetes que se usa a fin de asignar recursos para las cargas de trabajo, según la clase de calidad de servicio (QoS) asignada. Si deseas obtener más información sobre cómo se asignan las clases de QoS, consulta Configura la calidad de servicio para los Pods.
|
Operaciones de perfil
Propiedad | Descripción |
---|---|
paused |
Opcional. Modificable. Booleano. Configura paused como true para evitar de forma temporal que los controladores DaemonSet ajusten los nodos seleccionados. |
updateStrategy |
Opcional. Modificable. Especifica la estrategia para aplicar los cambios de configuración de ajuste a los nodos seleccionados. |
updateStrategy.rollingUpdateMaxUnavailalble |
Opcional. Modificable. Número entero. Valor predeterminado: 1 . Especifica la
cantidad máxima de nodos que se pueden ajustar al mismo tiempo. Este campo se aplica solo cuando type se establece en rolling . |
updateStrategy.type |
Opcional. Modificable. Enumeración: batch o rolling .
Valor predeterminado: rolling . Especifica cómo aplicar actualizaciones de perfiles
a los nodos seleccionados. Si deseas aplicar la actualización a todos los nodos seleccionados al mismo tiempo, establece type en batch . De forma predeterminada,
las actualizaciones se lanzan de forma secuencial en nodos individuales, uno después de la otra. |
Verificar el estado
Después de crear o actualizar el recurso personalizado PerformanceTuningProfile
, un controlador ajusta los nodos seleccionados en función de la configuración proporcionada en el recurso. Para verificar el estado de PerformanceTuningProfile
, exponeremos el siguiente campo en Status
:
Propiedad | Descripción |
---|---|
conditions |
La condición representa las últimas observaciones disponibles del estado actual del recurso de perfil. |
conditions.lastTransitionTime |
Siempre se muestra. Es una cadena (en formato de fecha y hora). La última vez que la condición cambió de un estado a otro. Este tiempo suele indicar cuándo cambió la condición subyacente. Si no se conoce la hora, la hora indicará cuándo cambió el campo de la API. |
conditions.message |
Opcional. String. Un mensaje legible que indica los detalles de la transición. Este campo puede estar vacío. |
conditions.observedGeneration |
Opcional. Número entero. Si se configura, este campo representa el metadata.generation en el que se configuró la condición. Por ejemplo, si metadata.generation es 12 , pero status.condition[x].observedGeneration es 9 , la condición está desactualizada con respecto al estado actual de la instancia. |
conditions.reason |
Obligatorio. String. El motivo de la última transición de condición. |
conditions.status |
Obligatorio. Estado de la condición: True , False o Unknown . |
conditions.type |
Obligatorio. El tipo es el tipo de condición: Stalled o Reconciling . |
readyNodes |
La cantidad de nodos a los que se aplicó correctamente el perfil de ajuste. |
reconcilingNodes |
La cantidad de nodos seleccionados (o previamente seleccionados) que están en proceso de conciliación con el perfil de ajuste más reciente mediante el DaemonSet nodeconfig-controller-manager . |
selectedNodes |
Es la cantidad de notas que se seleccionaron. Es decir, la cantidad de
nodos que coinciden con el selector de nodos para este
recurso personalizado PerformanceTuningProfile . |