Parallelstore es un sistema de archivos distribuido totalmente gestionado y de baja latencia diseñado para satisfacer las demandas de las cargas de trabajo de entrenamiento de IA y aprendizaje automático, así como de computación de alto rendimiento (HPC), que necesitan una latencia extremadamente baja (inferior a un milisegundo), semántica POSIX completa y un alto rendimiento de las operaciones de metadatos. Parallelstore se puede escalar hasta alcanzar velocidades de lectura de 1 TB/s y millones de IOPS.
Para conectar un clúster de Google Kubernetes Engine (GKE) a una instancia de Parallelstore, usa el controlador de interfaz de almacenamiento de contenedores (CSI) de Parallelstore. El controlador CSI de Parallelstore te permite usar la API de GKE para consumir instancias de Parallelstore como volúmenes de tus cargas de trabajo con estado (por ejemplo, pods y trabajos). Está optimizado para cargas de trabajo de entrenamiento de IA y aprendizaje automático, sobre todo para las que implican tamaños de archivo más pequeños y lecturas aleatorias.
GKE habilita el controlador de CSI de forma predeterminada cuando creas un clúster de Autopilot de GKE. En los clústeres de GKE Standard nuevos y actuales, tendrás que habilitar el controlador CSI.
Ventajas
Puede usar el controlador CSI de Parallelstore para beneficiarse del almacenamiento de alto rendimiento. Con el controlador CSI de Parallelstore, puedes acelerar tus cargas de trabajo de computación de alto rendimiento y de entrenamiento de IA o aprendizaje automático, con un acceso rápido y coherente a los datos compartidos para un procesamiento y un análisis eficientes.
- Puedes acceder a sistemas de archivos paralelos totalmente gestionados como almacenamiento a través de las APIs de Kubernetes.
- El controlador de CSI de Parallelstore de Google Kubernetes Engine admite los modos de acceso ReadWriteMany, ReadOnlyMany y ReadWriteOnce.
- Puedes usar el controlador de CSI Parallelstore de Google Kubernetes Engine para aprovisionar dinámicamente tus PersistentVolumes.
- Puedes acceder a las instancias de Parallelstore en cargas de trabajo de Kubernetes. También puedes crear instancias de Parallelstore de forma dinámica y usarlas en cargas de trabajo de Kubernetes con un StatefulSet o un Deployment.
Limitaciones
Persistencia de datos: Parallelstore es un sistema de archivos "scratch plus". Se basa en SSD local con codificación de borrado 2+1 y el tiempo medio hasta la pérdida de datos es de dos meses. Parallelstore no es un almacenamiento a largo plazo, sino que debe considerarse un sistema de archivos extremadamente rápido para cargas de trabajo específicas.
Limitación por pod: GKE solo admite el montaje de una instancia de Parallelstore por pod.
- Transferencias de datos: la API de GKE no admite la transferencia de datos de Cloud Storage a Parallelstore. Para realizar la transferencia, usa la API Parallelstore.
- Capacidad útil: puedes configurar una capacidad de almacenamiento de entre 12.000 GiB y 100.000 GiB.
- Zonas admitidas: Parallelstore está disponible en estas zonas. Si la región de tu clúster es diferente a la de tu instancia de Parallelstore, el rendimiento de E/S se reducirá considerablemente.
- Limitaciones de VPC-SC para Parallelstore: si usas tanto la VPC compartida como Controles de Servicio de VPC, el proyecto del host que proporciona la red y el proyecto de servicio que contiene la instancia de Parallelstore deben estar dentro del mismo perímetro para que la instancia de Parallelstore funcione correctamente. Si separas el proyecto host y el proyecto de servicio con un perímetro, es posible que las instancias de las que ya dispongas dejen de estar disponibles y que no se creen nuevas instancias.
- Compatibilidad con máquinas ARM: el controlador CSI de Parallelstore solo admite nodos de arquitectura amd64. Actualmente, no se admiten nodos basados en ARM.
Requisitos
Para usar el controlador de CSI de Parallelstore, tus clústeres deben cumplir los siguientes requisitos:
- Asegúrate de que has instalado la versión más reciente de la CLI de Google Cloud. La versión mínima compatible de la CLI de gcloud para esta función es la 469.0.0 o una posterior.
- Usa la versión 1.29 o posterior del clúster de Google Kubernetes Engine.
Siguientes pasos
- Crea y usa un volumen respaldado por una instancia de Parallelstore en Google Kubernetes Engine.
- Acceder a una instancia de Parallelstore desde Google Kubernetes Engine