Acerca de GKE Volume Populator

El Volume Populator de Google Kubernetes Engine (GKE) puede ayudarte a automatizar y agilizar el proceso de precarga de datos desde buckets de Cloud Storage a PersistentVolumeClaims (PVC) de destino durante el aprovisionamiento dinámico.

Cómo funciona GKE Volume Populator

El Volume Populator de GKE aprovecha el concepto principal de Volume Populator de Kubernetes. En lugar de aprovisionar un volumen vacío, el propagador de volúmenes de GKE permite que un PVC haga referencia a un recurso personalizado GCPDataSource. Este recurso personalizado especifica el bucket de Cloud Storage de origen y las credenciales necesarias.

Cuando creas un PVC con un dataSourceRef que apunta a un recurso GCPDataSource, el propagador de volúmenes de GKE inicia la transferencia de datos. Copia los datos del URI del bucket de Cloud Storage especificado en el volumen de almacenamiento persistente subyacente antes de que el volumen esté disponible para tus Pods.

Este proceso reduce la necesidad de usar secuencias de comandos de transferencia de datos manuales o comandos de la CLI, y automatiza la transferencia de grandes conjuntos de datos a volúmenes persistentes. GKE Volume Populator admite transferencias de datos entre los siguientes tipos de origen y destino:

GKE Volume Populator es un componente administrado de GKE que está habilitado de forma predeterminada en los clústeres de Autopilot y Standard. Principalmente, interactúas con GKE Volume Populator a través de la CLI de gcloud y la CLI de kubectl.

Arquitectura

En el siguiente diagrama, se muestra cómo fluyen los datos del almacenamiento de origen al almacenamiento de destino y cómo se crea el PersistentVolume para el almacenamiento de destino con el propagador de volúmenes de GKE.

  1. Creas un PVC que hace referencia a un recurso personalizado GCPDataSource.
  2. El GKE Volume Populator detecta el PVC y, luego, inicia un trabajo de transferencia de datos.
  3. El trabajo de transferencia se ejecuta en un grupo de nodos existente o se crea uno nuevo si el aprovisionamiento automático de nodos está habilitado.
  4. El trabajo de transferencia copia los datos del bucket de Cloud Storage especificado en el recurso GCPDataSource al volumen de almacenamiento de destino.
  5. Una vez que se completa la transferencia, el PVC se vincula al volumen de almacenamiento de destino, lo que hace que los datos estén disponibles para el Pod de la carga de trabajo.

Transferencia de datos desde el almacenamiento de datos de origen y creación de PV para el almacenamiento de destino con el Volume Populator de GKE

Ventajas clave

El propagador de volúmenes de GKE ofrece varios beneficios:

  • Propagación de datos automatizada: Propaga automáticamente los volúmenes con datos de Cloud Storage durante el aprovisionamiento, lo que ayuda a reducir la sobrecarga operativa.
  • Portabilidad de datos sin problemas: Mueve datos desde el almacenamiento de objetos a sistemas de almacenamiento de archivos de alto rendimiento (Parallelstore) o de bloques (Hyperdisk) para optimizar el precio o el rendimiento según las necesidades de tu carga de trabajo.
  • Flujos de trabajo simplificados: Reducen la necesidad de trabajos de carga de datos independientes o de intervención manual para preparar volúmenes persistentes.
  • Integración con Identity and Access Management (IAM): Usa la autenticación basada en IAM a través de Workload Identity Federation for GKE para garantizar la transferencia segura de datos con un control de acceso detallado.
  • Cargas de trabajo de IA/AA aceleradas: precarga rápidamente grandes conjuntos de datos, modelos y pesos directamente en el almacenamiento de alto rendimiento para ayudar a acelerar las tareas de entrenamiento y de inferencia.

Casos de uso de GKE Volume Populator

Puedes usar GKE Volume Populator para cargar grandes conjuntos de datos de entrenamiento para la IA/AA. Imagina que tienes un conjunto de datos de varios terabytes para entrenar un modelo de lenguaje grande (LLM) almacenado en un bucket de Cloud Storage. Tu trabajo de entrenamiento se ejecuta en GKE y requiere un alto rendimiento de E/S. En lugar de copiar los datos de forma manual, puedes usar el propagador de volúmenes de GKE para aprovisionar automáticamente un volumen de Parallelstore o Hyperdisk ML y propagarlo con el conjunto de datos de Cloud Storage cuando se cree el PVC. Este proceso automatizado ayuda a garantizar que tus Pods de entrenamiento comiencen con acceso inmediato y de alta velocidad a los datos.

Estos son algunos ejemplos más en los que puedes usar el GKE Volume Populator:

  • Almacenar en caché previamente los pesos y los recursos de los modelos de IA/AA desde Cloud Storage en volúmenes de Hyperdisk ML para acelerar los tiempos de carga de los modelos para la entrega de inferencias
  • Migrar datos de Cloud Storage a volúmenes persistentes para aplicaciones con estado que requieren acceso a discos de alto rendimiento

¿Qué sigue?