En este documento, se describe cómo configurar clústeres y VM para admitir cargas de trabajo de alto rendimiento y baja latencia con la eficiencia de procesamiento del acceso a la memoria no uniforme (NUMA). Existen instrucciones para ajustar la configuración de Kubernetes de los nodos del clúster. En este documento, también se incluyen instrucciones para configurar máquinas virtuales (VMs) con afinidad de NUMA para que se programen y aprovechen los nodos de NUMA.
Con una VM compatible con NUMA, toda la comunicación dentro de la VM es local para el nodo de NUMA. La VM compatible con NUMA evita las transacciones de datos hacia y desde recursos remotos que pueden degradar el rendimiento de la VM.
Configura los nodos para usar NUMA
En las siguientes secciones, se describe cómo configurar los componentes fundamentales de Kubernetes para ajustar el nodo y asegurarse de que pueda programar contenedores compatibles con NUMA. Estos nodos de NUMA se ajustan para optimizar el rendimiento de la CPU y la memoria. Sigue las instrucciones para cada nodo que desees que ejecute las VM con reconocimiento de NUMA.
Actualiza la configuración de kubelet
Como parte de la configuración de nodos para admitir la afinidad de nodo de NUMA, debes realizar los siguientes cambios en la configuración de kubelet:
- Habilita el administrador de CPU con una política
static
- Habilita el Administrador de memoria con una política
Static
- Habilita el administrador de topologías con la topología
restricted
Para configurar kubelet en tu nodo trabajador, sigue estos pasos:
Busca el archivo
kubelet
en tu nodo trabajador y ábrelo para editarlo:edit /etc/default/kubelet
Si no ves el archivo
kubelet
, créalo con el siguiente comando:echo "KUBELET_EXTRA_ARGS=\"\"" >> /etc/default/kubelet
Con este comando, se crea el archivo
kubelet
con una secciónKUBELET_EXTRA_ARGS=""
vacía.Para habilitar el administrador de CPU con una política
static
, agrega la marca--cpu-manager-policy=static
a la secciónKUBELET_EXTRA_ARGS=""
del archivo:KUBELET_EXTRA_ARGS="--cpu-manager-policy=static"
Para habilitar el Administrador de memoria con una política
Static
, agrega la marca--memory-manager-policy=Static
a la secciónKUBELET_EXTRA_ARGS=""
del archivo:KUBELET_EXTRA_ARGS="--cpu-manager-policy=static --memory-manager-policy=Static"
Para habilitar Topology Manager con una política
restricted
, agrega la marca--topology-manager-policy=restricted
a la secciónKUBELET_EXTRA_ARGS=""
del archivo:KUBELET_EXTRA_ARGS="--cpu-manager-policy=static --memory-manager-policy=Static --topology-manager-policy=restricted"
Verifica la cantidad actual de memoria reservada por Google Distributed Cloud:
cat /var/lib/kubelet/kubeadm-flags.env
El resultado debe tener el siguiente aspecto:
KUBELET_KUBEADM_ARGS="--anonymous-auth=false --authentication-token-webhook=true --authorization-mode=Webhook --container-runtime=remote --container-runtime-endpoint=unix:///run/containerd/containerd.sock --feature-gates=SeccompDefault=true --kube-reserved=cpu=100m,memory=3470Mi --max-pods=110 --node-ip=192.168.1.190 --node-labels=baremetal.cluster.gke.io/k8s-ip=192.168.1.190,baremetal.cluster.gke.io/namespace=cluster-user001,baremetal.cluster.gke.io/node-pool=node-pool-1,cloud.google.com/gke-nodepool=node-pool-1 --pod-infra-container-image=gcr.io/anthos-baremetal-release/pause-amd64:3.1-gke.5 --provider-id=baremetal://192.168.1.190 --read-only-port=10255 --rotate-server-certificates=true --seccomp-default=true"
La configuración
--kube-reserved=cpu=100m,memory=3470Mi
indica que Google Distributed Cloud ha reservado 3,470 mebibytes de memoria en el nodo.Establece la marca
--reserved-memory
en la secciónKUBELET_EXTRA_ARGS
del archivokubelet
en 100 mebibytes más que la memoria reservada actual para tener en cuenta el umbral de expulsión. Si no hay memoria reservada, puedes omitir este paso.Por ejemplo, con la memoria reservada de
3470Mi
del ejemplo del paso anterior, reservas3570Mi
de memoria en el archivokubelet
:KUBELET_EXTRA_ARGS="--cpu-manager-policy=static --memory-manager-policy=Static --topology-manager-policy=restricted --reserved-memory=0:memory=3570Mi"
Quita los archivos de estado de CPU y memoria del directorio
/var/lib
:rm /var/lib/cpu_manager_state rm /var/lib/memory_manager_state
Reinicia kubelet:
systemctl start kubelet
Para obtener más información sobre esta configuración de política, consulta la siguiente documentación de Kubernetes:
- Políticas de administración de CPU
- Configuración del Administrador de memoria
- Política restringida del Administrador de topologías
Configura el nodo para usar largepages
Una vez que hayas habilitado el Administrador de memoria con la política Static
, puedes agregar hugepages para mejorar aún más el rendimiento de la carga de trabajo del contenedor en tus nodos de NUMA.
Si el nombre lo indica, las páginas enormes te permiten especificar páginas de memoria que son más grandes que el estándar de 4 kibibytes (KiB). El entorno de ejecución de VM en GDC admite enormes páginas de 2 mebibyte (MiB) y 1 gibibyte (GiB). Configura enormes páginas para un nodo
en el entorno de ejecución o cuando se inicia la máquina del nodo. Te recomendamos que configures hugepages en cada nodo que desees que ejecute VM con reconocimiento de NUMA.
Para configurar la cantidad de páginas enormes de un tamaño específico en tu nodo de NUMA en el entorno de ejecución, usa el siguiente comando:
echo HUGEPAGE_QTY > \ /sys/devices/system/node/NUMA_NODE/hugepages/hugepages-HUGEPAGE_SIZEkB/nr_hugepages
Reemplaza lo siguiente:
HUGEPAGE_QTY
: Es la cantidad de hugepages que se asignarán del tamaño especificado.NUMA_NODE
: Es el nodo de NUMA, comonode0
, al que asignas enormes páginas.HUGEPAGE_SIZE
: Es el tamaño de las páginas gigantes en kibibytes,2048
(2 MiB) o1048576
(1 GiB).
Configura una VM para usar el nodo de NUMA
Una vez que los nodos del clúster se ajusten para NUMA, puedes crear VMs con reconocimiento de NUMA. Las VMs con reconocimiento de NUMA se programan en nodos de NUMA.
Para crear una VM compatible con NUMA, sigue estos pasos:
Sigue las instrucciones para crear una VM a partir de un manifiesto.
Usa la siguiente configuración de
compute
para configurar tu VM de modo que sea compatible con NUMA:spec.compute.guaranteed
: Estableceguaranteed
entrue
. Con esta configuración, el Podvirt-launcher
se configura para colocarse en la clase de Calidad de servicio (QoS) garantizada de Kubernetes.spec.compute.advancedCompute
:dedicatedCPUPlacement
: EstablecededicatedCPUPlacement
entrue
. Esta configuración fija las CPU virtuales a las CPU físicas del nodo.hugePageSize
: establecehugePageSize
en2Mi
o1Gi
para especificar el tamaño de 2 mebibyte o 1 gibibyte de tu VM.numaGuestMappingPassthrough
: Incluye una estructura vacía ({}
) para esta configuración. Esta configuración establece la afinidad de NUMA para que la VM se programe solo en estos nodos.
En el siguiente ejemplo de manifiesto de VirtualMachine, se muestra cómo podría verse una configuración de VM compatible con NUMA:
apiVersion: vm.cluster.gke.io/v1 kind: VirtualMachine metadata: name: vm1 spec: compute: cpu: vcpus: 2 guaranteed: true advancedCompute: dedicatedCPUPlacement: true hugePageSize: 2Mi numaGuestMappingPassthrough: {} memory: capacity: 256Mi interfaces: - name: eth0 networkName: pod-network default: true disks: - virtualMachineDiskName: disk-from-gcs boot: true readOnly: true