En este documento, se describen las características de Hyperdisk ML, que ofrece la capacidad de procesamiento más alta de todos los tipos de Google Cloud Hyperdisk. Google recomienda usar Hyperdisk ML para el aprendizaje automático y para las cargas de trabajo que requieren una alta capacidad de procesamiento de lectura en conjuntos de datos inmutables. El alto rendimiento de Hyperdisk ML proporciona resultados en tiempos de carga de datos más rápidos, tiempos de inactividad del acelerador más cortos y costos de procesamiento más bajos.
Para cargas de trabajo grandes de inferencia, entrenamiento y HPC, puedes conectar un solo volumen de Hyperdisk ML a varias instancias de procesamiento en modo de solo lectura.
Puedes especificar hasta 1,200,000 MiB/s de capacidad de procesamiento para un solo volumen de Hyperdisk ML. No puedes aprovisionar un nivel de IOPS, pero cada MiB/s de capacidad de procesamiento aprovisionada incluye 16 IOPS, hasta 19,200,000 IOPS.
Para obtener más información sobre Hyperdisk y los otros tipos de Hyperdisk, consulta Acerca de Hyperdisk.
Para crear un volumen de Hyperdisk ML, consulta Crea un volumen de Hyperdisk.
Casos de uso
Hyperdisk ML es una buena opción para los siguientes casos de uso:
- Cargas de trabajo de HPC
- Aprendizaje automático
- Cargas de trabajo optimizadas para aceleradores
Compatibilidad con series de máquinas
Puedes usar Hyperdisk ML con las siguientes series de máquinas:
Acerca del rendimiento aprovisionado
No tienes que aprovisionar el rendimiento cuando creas volúmenes de Hyperdisk. Si no aprovisionas el rendimiento, Compute Engine crea el volumen con valores predeterminados que puedes modificar más adelante. Para obtener detalles sobre los valores predeterminados, consulta Valores predeterminados de IOPS y capacidad de procesamiento.
Si conoces tus necesidades de rendimiento, puedes especificar los límites de IOPS y capacidad de procesamiento para un volumen de Hyperdisk ML cuando lo creas, y puedes cambiar los valores aprovisionados después de crear el volumen. No puedes especificar un nivel de IOPS o de capacidad de procesamiento si no especificas un tamaño.
Límites de tamaño y rendimiento
Se aplican los siguientes límites a los valores de tamaño, capacidad de procesamiento y IOPS que puedes especificar para un volumen de Hyperdisk ML.
Tamaño: Entre 4 GiB y 64 TiB El tamaño predeterminado es de 100 GiB.
Capacidad de procesamiento: Entre 400 MiB/s y 1,200,000 MiB/s Tanto la capacidad de procesamiento mínima como la máxima tienen sus propios límites según el tamaño del volumen, como se indica a continuación:
Procesamiento mínimo: Para los volúmenes de entre 4 y 3,341 GiB, el valor mínimo es de 400 MiB/s. En el caso de los volúmenes de 3,342 GiB o más, el valor mínimo depende del tamaño y oscila entre 401 y 7,680 MiB/s.
Capacidad de procesamiento máxima: Para los volúmenes de 750 GiB o más, el valor máximo es de 1,200,000 MiB/s. En el caso de los volúmenes de 749 GiB o menos, el valor máximo depende del tamaño y varía entre 6,400 y 1,200,000 MiB/s.
Para ver ejemplos, consulta Límites de capacidad de procesamiento aprovisionada.
IOPS: No puedes especificar un límite de IOPS para los volúmenes de Hyperdisk ML. En cambio, las IOPS aprovisionadas dependen del procesamiento aprovisionado. Cada volumen de Hyperdisk ML se aprovisiona con 16 IOPS por cada MiB/s de capacidad de procesamiento, hasta un máximo de 19,200,000 IOPS.
Límites de capacidad de procesamiento aprovisionada
En la siguiente tabla, se enumeran los límites de capacidad de procesamiento aprovisionada para tamaños de volúmenes comunes. Si no se indica un tamaño, usa la siguiente fórmula para calcular los valores permitidos, donde x es el tamaño del volumen en GiB:
- Capacidad de procesamiento mínima configurable:
MAX (400, 0.12x) - Capacidad de procesamiento máxima configurable:
MIN (1,200,000, 1600x)
| Tamaño | Capacidad de procesamiento mínima | Capacidad de procesamiento máxima |
|---|---|---|
| 4 | 400 | 6,400 |
| 10 | 400 | 16,000 |
| 50 | 400 | 80,000 |
| 64 | 400 | 102,400 |
| 100 | 400 | 160,000 |
| 300 | 400 | 480,000 |
| 500 | 400 | 800,000 |
| 1,000 | 400 | 1200000 |
| 5,000 | 600 | 1200000 |
| 25,000 | 3,000 | 1200000 |
| 64,000 | 7,680 | 1200000 |
Valores predeterminados de tamaño, IOPS y capacidad de procesamiento
Si no especificas un tamaño o un valor de capacidad de procesamiento cuando creas un volumen de Hyperdisk ML, Compute Engine asigna valores predeterminados.
El tamaño predeterminado para los volúmenes de Hyperdisk ML es de 100 GiB.
Las IOPS y la capacidad de procesamiento predeterminadas se basan en las siguientes fórmulas.
- Capacidad de procesamiento predeterminada:
MAX (24x, 400)MiB/s, dondexes el tamaño del volumen en GiB. - IOPS predeterminadas:
16t, dondetes la capacidad de procesamiento predeterminada. No puedes configurar el nivel de IOPS directamente.
Cambia el rendimiento o el tamaño aprovisionados
Puedes cambiar el tamaño aprovisionado cada 4 horas y su capacidad de procesamiento cada 6 horas. Para obtener instrucciones sobre cómo modificar el tamaño o el rendimiento, consulta Modifica un volumen de Hyperdisk.
Límites de rendimiento cuando se conecta a una instancia
En esta sección, se enumeran los límites de rendimiento de Hyperdisk ML. Puedes especificar hasta 1,200,000 MiB/s de capacidad de procesamiento para un solo volumen de Hyperdisk ML. No puedes aprovisionar un nivel de IOPS, pero cada MiB/s de capacidad de procesamiento aprovisionada incluye 16 IOPS, hasta 19,200,000 IOPS.
En esta sección, se indica el rendimiento máximo que pueden alcanzar los volúmenes de Hyperdisk ML para cada instancia compatible. El rendimiento de un volumen de Hyperdisk ML cuando está conectado a una instancia no puede exceder los límites del tipo de máquina de la instancia. Los límites de rendimiento también se comparten entre todos los volúmenes de Hyperdisk ML conectados a la misma instancia, independientemente del rendimiento aprovisionado de cada volumen.
Situaciones que requieren varias instancias para alcanzar el rendimiento aprovisionado
La capacidad de procesamiento aprovisionada para un volumen de Hyperdisk ML se comparte entre cada instancia a la que está conectado el volumen, hasta el límite máximo para el tipo de máquina que se indica en la siguiente tabla. Si el rendimiento aprovisionado de un volumen de Hyperdisk ML es superior al límite de rendimiento de una instancia, el volumen solo puede alcanzar su rendimiento aprovisionado si se conecta a varias instancias. Las instancias dea3-ultragpu-8 tienen un límite de capacidad de procesamiento de 4,000 MiB/s.
Por ejemplo, supongamos que tienes un volumen de Hyperdisk ML aprovisionado con 500,000 MiB/s de capacidad de procesamiento y deseas conectar el volumen a instancias a3-ultragpu-8. Una sola instancia de a3-ultragpu-8 no puede alcanzar más de 4,000 MiB/s de capacidad de procesamiento. Por lo tanto, para alcanzar la capacidad de procesamiento aprovisionada del volumen, debes conectarlo a al menos 125 (500,000/4,000) instancias de a3-ultragpu-8. Por otro lado, para el tipo de máquina a2-highgpu-1g, necesitarías 272 instancias.
| Tipo de máquina de la instancia | Cantidad máxima de IOPS | Capacidad de procesamiento máxima (MiB/s) |
|---|---|---|
a2-*-1g |
28,800 | 1,800 |
a2-*-2g |
38,400 | 2,400 |
a2-*-4g |
38,400 | 2,400 |
a2-*-8g |
38,400 | 2,400 |
a2-megagpu-16g |
38,400 | 2,400 |
a3-*-1g |
28,800 | 1,800 |
a3-*-2g |
38,400 | 2,400 |
a3-*-4g |
38,400 | 2,400 |
a3-*-8g (en modo de solo lectura)1 |
64,000 | 4,000 |
a3-*-8g (en modo de lectura y escritura)1 |
38,400 | 2,400 |
c3-*-4 |
6,400 | 400 |
c3-*-8 |
12,800 | 800 |
c3-*-22 |
28,800 | 1,800 |
c3-*-44 |
38,400 | 2,400 |
c3-*-88 |
38,400 | 2,400 |
c3-*-176 |
38,400 | 2,400 |
c3-*-192 |
38,400 | 2,400 |
c3d-*-4 |
6,400 | 400 |
c3d-*-8 |
12,800 | 800 |
c3d-*-16 |
19,200 | 1,200 |
c3d-*-30 |
19,200 | 1,200 |
c3d-*-60 |
38,400 | 2,400 |
c3d-*-90 |
38,400 | 2,400 |
c3d-*-180 |
38,400 | 2,400 |
c3d-*-360 |
38,400 | 2,400 |
ct6e-standard-1t |
19,200 | 1,200 |
ct6e-standard-4t |
28,800 | 1,800 |
ct6e-standard-8t |
28,800 | 1,800 |
g2-standard-4 |
12,800 | 800 |
g2-standard-8 |
19,200 | 1,200 |
g2-standard-12 |
28,800 | 1,800 |
g2-standard-16 |
38,400 | 2,400 |
g2-standard-24 |
38,400 | 2,400 |
g2-standard-32 |
38,400 | 2,400 |
g2-standard-48 |
38,400 | 2,400 |
g2-standard-96 |
38,400 | 2,400 |
1 En el caso de las instancias de a3-*-8g, el rendimiento depende de si el volumen de Hyperdisk ML está conectado a la instancia en modo de solo lectura o de lectura y escritura.
Disponibilidad regional de Hyperdisk ML
Hyperdisk ML está disponible en las siguientes regiones y zonas:
| Región | Zonas disponibles |
|---|---|
Condado de Changhua, Taiwán - asia-east1 |
asia-east1-a |
asia-east1-b |
|
asia-east1-c |
|
Tokio, Japón - asia-northeast1 |
asia-northeast1-a |
asia-northeast1-b |
|
asia-northeast1-c |
|
Seúl, Corea del Sur - asia-northeast3 |
asia-northeast3-a |
asia-northeast3-b |
|
Jurong West, Singapur - asia-southeast1 |
asia-southeast1-a |
asia-southeast1-b |
|
asia-southeast1-c |
|
Bombay, India - asia-south1 |
asia-south1-b |
asia-south1-c |
|
Saint‑Ghislain, Bélgica - europe-west1 |
europe-west1-b |
europe-west1-c |
|
Londres, Inglaterra - europe-west2 |
europe-west2-a |
europe-west2-b |
|
europe-west3-b |
|
Puerto de Ems, Países Bajos - europe-west4 |
europe-west4-a |
europe-west4-b |
|
europe-west4-c |
|
Zúrich, Suiza - europe-west6 |
europe-west6-b |
europe-west6-c |
|
Tel Aviv, Israel - me-west1 |
me-west1-b |
me-west1-c |
|
Council Bluffs, Iowa - us-central1 |
us-central1-a |
us-central1-b |
|
us-central1-c |
|
us-central1-f |
|
Moncks Corner, Carolina del Sur - us-east1 |
us-east1-b |
us-east1-c |
|
us-east1-d |
|
Ashburn, Virginia - us-east4 |
us-east4-a |
us-east4-b |
|
us-east4-c |
|
Columbus, Ohio—us-east5 |
us-east5-a |
us-east5-b |
|
us-east5-c |
|
Dallas, Texas - us-south1 |
us-south1-a |
The Dalles, Oregón - us-west1 |
us-west1-a |
us-west1-b |
|
us-west1-c |
|
Salt Lake City, Utah - us-west3 |
us-west3-b |
Las Vegas, Nevada - us-west4 |
us-west4-a |
us-west4-b |
|
us-west4-c |
Protección ante desastres para volúmenes de Hyperdisk ML
Puedes crear una copia de seguridad de un volumen de Hyperdisk ML con instantáneas estándar. Las instantáneas crean copias de seguridad de los datos en un volumen de Hyperdisk ML en un momento específico.
Replicación entre zonas
No puedes replicar volúmenes de Hyperdisk ML en otra zona. Para replicar datos en otra zona dentro de la misma región, debes usar volúmenes de Hyperdisk Balanced High Availability.
Comparte un volumen de Hyperdisk ML entre VMs
Para las cargas de trabajo de aprendizaje automático optimizadas para aceleradores, puedes conectar el mismo volumen de Hyperdisk ML a varias instancias. Esto permite el acceso simultáneo de solo lectura a un solo volumen desde varias VMs. Esto es más rentable que tener varios discos con los mismos datos.
No hay costos adicionales asociados con el uso compartido de un disco entre VMs. Conectar un disco en modo de solo lectura a varias VMs no afecta el rendimiento del disco. Cada VM aún puede alcanzar el rendimiento máximo del disco posible para la serie de máquinas de la VM.
Limitaciones para compartir Hyperdisk ML entre instancias
- Los volúmenes de Hyperdisk ML no admiten el modo de varios escritores. Puedes compartir un volumen de Hyperdisk ML entre varias instancias si el volumen está en modo de solo lectura.
- Los volúmenes de Hyperdisk ML no se pueden conectar a una sola instancia en modo de solo lectura.
- Si compartes un volumen de Hyperdisk ML en modo de solo lectura, no podrás volver a habilitar el acceso de escritura al disco.
- Puedes conectar un volumen de Hyperdisk ML a un máximo de 100 instancias durante cada intervalo de 30 segundos.
- En el caso de los volúmenes de Hyperdisk ML, la cantidad máxima de instancias depende de lo siguiente: El tamaño aprovisionado, como se indica a continuación:
- Volúmenes con hasta 256 GiB de capacidad: 2,500 instancias
- Volúmenes con capacidad entre 257 GiB y 1 TiB: 600 instancias
- Volúmenes con capacidad entre 1.001 TiB y 2 TiB: 300 instancias
- Volúmenes con capacidad entre 2.001 TiB y 16 TiB: 128 instancias
- Volúmenes con capacidad de 16.001 TiB o más: 30 instancias
Si el volumen está conectado a más de 20 VMs, debes aprovisionar al menos 100 MiB/s de capacidad de procesamiento para cada VM. Por ejemplo, si conectas un disco a 500 VMs, debes aprovisionar el volumen con al menos 50,000 MiB/s de capacidad de procesamiento.
Para obtener más información, consulta Modo de solo lectura para Hyperdisk.
Precios
Se te factura por el tamaño y la capacidad de procesamiento totales aprovisionados de tus volúmenes de Hyperdisk ML hasta que los borres. Los cargos se aplican incluso si el volumen no está conectado a ninguna instancia o si la instancia está suspendida o detenida. Para obtener más información, consulta Precios de discos.
Limitaciones
- Los volúmenes de Hyperdisk ML son zonales y solo se puede acceder a ellos desde la zona en la que los creaste.
- No puedes crear una imagen de máquina a partir de un volumen de Hyperdisk.
- No puedes crear una instantánea inmediata a partir de un volumen de Hyperdisk ML.
- No puedes usar Hyperdisk ML como discos de arranque.
- No puedes crear un disco Hyperdisk ML en modo de lectura y escritura único a partir de una instantánea o una imagen de disco. Debes crear el disco en modo de solo lectura para varios usuarios.
- Puedes cambiar el tamaño de un volumen de Hyperdisk ML cada 4 horas y su capacidad de procesamiento cada 6 horas.
¿Qué sigue?
Agrega un volumen de Hyperdisk ML a tu VM