Sobre o Hyperdisk ML

Este documento descreve os recursos do Hyperdisk ML, que oferece a maior capacidade de processamento de todos os tipos de Hyperdisk do Google Cloud. O Google recomenda usar o Hyperdisk ML para machine learning e cargas de trabalho que exigem alta capacidade de leitura em conjuntos de dados imutáveis. A alta capacidade de processamento do Hyperdisk ML resulta em tempos de carregamento de dados mais rápidos, tempos de inatividade do acelerador mais curtos e custos de computação mais baixos.

Para grandes cargas de trabalho de inferência, treinamento e HPC, é possível anexar um único volume do Hyperdisk ML a várias instâncias de computação no modo somente leitura.

É possível especificar até 1.200.000 MiB/s de capacidade de processamento para um único volume do Hyperdisk ML. Não é possível provisionar um nível de IOPS, mas cada MiB/s de capacidade de processamento provisionada vem com 16 IOPS, até 19.200.000 IOPS.

Para mais informações sobre o Hyperdisk e os outros tipos de Hyperdisk, consulte Sobre o Hyperdisk.

Para criar um volume de ML do Hyperdisk, consulte Criar um volume do Hyperdisk.

Casos de uso

O ML do Hyperdisk é adequado para os seguintes casos de uso:

  • Cargas de trabalho de HPC
  • Machine learning
  • Cargas de trabalho otimizadas para aceleradores

Compatibilidade com séries de máquinas

É possível usar o Hyperdisk ML com as seguintes séries de máquinas:

Sobre a performance provisionada

Não é necessário provisionar a performance ao criar volumes do Hyperdisk. Se você não provisionar o desempenho, o Compute Engine vai criar o volume com valores padrão que podem ser modificados depois. Para mais detalhes sobre os valores padrão, consulte Valores padrão de IOPS e taxa de transferência.

Se você conhece suas necessidades de desempenho, é possível especificar limites de IOPS e capacidade para um volume do Hyperdisk ML ao criar o volume, e também alterar os valores provisionados depois da criação. Não é possível especificar um nível de IOPS ou capacidade sem especificar um tamanho.

Limites de tamanho e desempenho

Os limites a seguir se aplicam aos valores de tamanho, capacidade de processamento e IOPS que você pode especificar para um volume do Hyperdisk ML.

  • Tamanho: entre 4 GiB e 64 TiB. O tamanho padrão é 100 GiB.

  • Capacidade de processamento: entre 400 MiB/s e 1.200.000 MiB/s. A capacidade de processamento mínima e máxima tem limites próprios com base no tamanho do volume, conforme a seguir:

    • Taxa de transferência mínima: para volumes de 4 a 3.341 GiB, o valor mínimo é de 400 MiB/s. Para volumes de 3.342 GiB ou mais, o valor mínimo depende do tamanho e varia entre 401 e 7.680 MiB/s.

    • Capacidade de processamento máxima: para volumes de 750 GiB ou mais, o valor máximo é de 1.200.000 MiB/s. Para volumes de 749 GiB ou menores, o valor máximo depende do tamanho e varia entre 6.400 e 1.200.000 MiB/s.

    Para ver exemplos, consulte Limites de capacidade de transmissão provisionada.

  • IOPS: não é possível especificar um limite de IOPS para volumes do Hyperdisk ML. Em vez disso, as IOPS provisionadas dependem da capacidade provisionada. Cada volume do Hyperdisk ML é provisionado com 16 IOPS para cada MiB/s de capacidade de processamento, até um máximo de 19.200.000 IOPS.

Limites da capacidade de processamento provisionada

A tabela a seguir lista os limites de capacidade provisionada para tamanhos de volume comuns. Se um tamanho não estiver listado, use a seguinte fórmula para calcular os valores permitidos, em que x é o tamanho do volume em GiB:

  • Capacidade mínima configurável: MAX (400, 0.12x)
  • Capacidade máxima configurável: MIN (1,200,000, 1600x)
Tamanho Capacidade mínima Capacidade máxima
4 400 6.400
10 400 16.000
50 400 80.000
64 400 102.400
100 400 160.000
300 400 480.000
500 400 800.000
1.000 400 1200000
5.000 600 1200000
25.000 3.000 1200000
64.000 7.680 1200000

Valores padrão de tamanho, IOPS e capacidade de processamento

Se você não especificar um tamanho ou valor de capacidade ao criar um volume do Hyperdisk ML, o Compute Engine vai atribuir valores padrão.

O tamanho padrão para volumes do Hyperdisk ML é de 100 GiB.

As IOPS e a capacidade de processamento padrão são baseadas nas seguintes fórmulas.

  • Capacidade de processamento padrão: MAX (24x, 400) MiB/s, em que x é o tamanho do volume em GiB.
  • IOPS padrão: 16t, em que t é a capacidade de processamento padrão. Não é possível configurar diretamente o nível de IOPS.

Mudar o desempenho provisionado ou o tamanho

É possível mudar o tamanho provisionado a cada 4 horas e a capacidade a cada 6 horas. Para instruções sobre como modificar o tamanho ou o desempenho, consulte Modificar um volume do Hyperdisk.

Limites de desempenho quando anexado a uma instância

Nesta seção, listamos os limites de desempenho do Hyperdisk ML. É possível especificar até 1.200.000 MiB/s de capacidade de processamento para um único volume do Hyperdisk ML. Não é possível provisionar um nível de IOPS, mas cada MiB/s de capacidade de processamento provisionada vem com 16 IOPS, até 19.200.000 IOPS.

Esta seção lista o desempenho máximo que os volumes do Hyperdisk ML podem alcançar para cada instância compatível. O desempenho de um volume do Hyperdisk ML quando ele está anexado a uma instância não pode exceder os limites do tipo de máquina da instância. Os limites de desempenho também são compartilhados entre todos os volumes de ML do Hyperdisk anexados à mesma instância, independente do desempenho provisionado de cada volume.

Cenários que exigem várias instâncias para atingir o desempenho provisionado

A capacidade de processamento provisionada para um volume do Hyperdisk ML é compartilhada entre cada instância a que o volume está conectado, até o limite máximo do tipo de máquina listado na tabela a seguir. Se o desempenho provisionado de um volume do Hyperdisk ML for maior que o limite de desempenho de uma instância, o volume só poderá atingir o desempenho provisionado se estiver conectado a várias instâncias. As instâncias a3-ultragpu-8 têm um limite de capacidade de processamento de 4.000 MiB/s.

Por exemplo, suponha que você tenha um volume do Hyperdisk ML provisionado com 500.000 MiB/s de capacidade de processamento e queira anexar o volume a a3-ultragpu-8 instâncias. Uma única instância a3-ultragpu-8 não pode atingir mais de 4.000 MiB/s de capacidade de processamento. Portanto, para atingir a capacidade de processamento provisionada do volume, é necessário anexá-lo a pelo menos 125 (500.000/4.000) instâncias a3-ultragpu-8. Por outro lado, para o tipo de máquina a2-highgpu-1g, você precisaria de 272 instâncias.

Tipo de máquina da instância IOPS máximas Capacidade máxima (MiB/s)
a2-*-1g 28.800 1.800
a2-*-2g 38.400 2.400
a2-*-4g 38.400 2.400
a2-*-8g 38.400 2.400
a2-megagpu-16g 38.400 2.400
a3-*-1g 28.800 1.800
a3-*-2g 38.400 2.400
a3-*-4g 38.400 2.400
a3-*-8g (no modo somente leitura)1 64.000 4.000
a3-*-8g (no modo leitura-gravação)1 38.400 2.400
c3-*-4 6.400 400
c3-*-8 12.800 800
c3-*-22 28.800 1.800
c3-*-44 38.400 2.400
c3-*-88 38.400 2.400
c3-*-176 38.400 2.400
c3-*-192 38.400 2.400
c3d-*-4 6.400 400
c3d-*-8 12.800 800
c3d-*-16 19.200 1.200
c3d-*-30 19.200 1.200
c3d-*-60 38.400 2.400
c3d-*-90 38.400 2.400
c3d-*-180 38.400 2.400
c3d-*-360 38.400 2.400
ct6e-standard-1t 19.200 1.200
ct6e-standard-4t 28.800 1.800
ct6e-standard-8t 28.800 1.800
g2-standard-4 12.800 800
g2-standard-8 19.200 1.200
g2-standard-12 28.800 1.800
g2-standard-16 38.400 2.400
g2-standard-24 38.400 2.400
g2-standard-32 38.400 2.400
g2-standard-48 38.400 2.400
g2-standard-96 38.400 2.400

1 Para instâncias a3-*-8g, o desempenho depende de o volume do Hyperdisk ML estar anexado à instância no modo somente leitura ou leitura-gravação.

Disponibilidade regional do Hyperdisk ML

O Hyperdisk ML está disponível nas seguintes regiões e zonas:

Região Zonas disponíveis
Changhua County, Taiwan—asia-east1 asia-east1-a
asia-east1-b
asia-east1-c
Tóquio, Japão—asia-northeast1 asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
Seul, Coreia do Sul—asia-northeast3 asia-northeast3-a
asia-northeast3-b
Jurong West, Singapura—asia-southeast1 asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
Mumbai, Índia—asia-south1 asia-south1-b
asia-south1-c
St. Ghislain, Bélgica—europe-west1 europe-west1-b
europe-west1-c
Londres, Inglaterra—europe-west2 europe-west2-a
europe-west2-b
europe-west3-b
Eemshaven, Países Baixos—europe-west4 europe-west4-a
europe-west4-b
europe-west4-c
Zurique, Suíça—europe-west6 europe-west6-b
europe-west6-c
Tel Aviv, Israel—me-west1 me-west1-b
me-west1-c
Council Bluffs, Iowa—us-central1 us-central1-a
us-central1-b
us-central1-c
us-central1-f
Moncks Corner, Carolina do Sul—us-east1 us-east1-b
us-east1-c
us-east1-d
Ashburn, Virgínia—us-east4 us-east4-a
us-east4-b
us-east4-c
Columbus, Ohio—us-east5 us-east5-a
us-east5-b
us-east5-c
Dallas, Texas—us-south1 us-south1-a
The Dalles, Oregon—us-west1 us-west1-a
us-west1-b
us-west1-c
Salt Lake City, Utah—us-west3 us-west3-b
Las Vegas, Nevada—us-west4 us-west4-a
us-west4-b
us-west4-c

Proteção contra desastres para volumes do Hyperdisk ML

É possível fazer backup de um volume do Hyperdisk ML com snapshots padrão. Os snapshots fazem backup dos dados em um volume do Hyperdisk ML em um momento específico.

Replicação entre zonas

Não é possível replicar volumes do Hyperdisk ML para outra zona. Para replicar dados em outra zona na mesma região, use volumes do Hyperdisk Balanced High Availability.

Compartilhar um volume do Hyperdisk ML entre VMs

Para cargas de trabalho de machine learning otimizadas para aceleradores, é possível anexar o mesmo volume do Hyperdisk ML a várias instâncias. Isso permite o acesso simultâneo e somente leitura a um único volume em várias VMs. Isso é mais econômico do que ter vários discos com os mesmos dados.

Não há custos adicionais associados ao compartilhamento de um disco entre VMs. Anexar um disco no modo somente leitura a várias VMs não afeta o desempenho do disco. Cada VM ainda pode alcançar o desempenho máximo de disco possível para a série de máquinas da VM.

Limitações para compartilhar o Hyperdisk ML entre instâncias

  • Os volumes do Hyperdisk ML não são compatíveis com o modo de vários gravadores. É possível compartilhar um volume do Hyperdisk ML entre várias instâncias se ele estiver no modo somente leitura.
  • Não é possível anexar volumes do Hyperdisk ML a uma única instância no modo somente leitura.
  • Se você compartilhar um volume do Hyperdisk ML no modo somente leitura, não será possível reativar o acesso de gravação ao disco.
  • É possível anexar um volume do Hyperdisk ML a até 100 instâncias durante cada intervalo de 30 segundos.
  • Para volumes do Hyperdisk ML, o número máximo de instâncias depende de
    • o tamanho provisionado, da seguinte forma:
    • Volumes com até 256 GiB de capacidade: 2.500 instâncias
    • Volumes com capacidade entre 257 GiB e 1 TiB: 600 instâncias
    • Volumes com capacidade entre 1.001 TiB e 2 TiB: 300 instâncias
    • Volumes com capacidade entre 2,001 TiB e 16 TiB: 128 instâncias
    • Volumes com capacidade de 16.001 TiB ou mais: 30 instâncias

Se o volume estiver anexado a mais de 20 VMs, será necessário provisionar pelo menos 100 MiB/s de capacidade de processamento para cada VM. Por exemplo, se você anexar um disco a 500 VMs, provisione o volume com pelo menos 50.000 MiB/s de capacidade de processamento.

Para saber mais, consulte Modo somente leitura para Hyperdisk.

Preços

O tamanho total provisionado e a capacidade de processamento dos volumes de ML do Hyperdisk serão cobrados até que você os exclua. As cobranças são feitas mesmo que o volume não esteja anexado a nenhuma instância ou se a instância estiver suspensa ou interrompida. Para mais informações, consulte Preços de disco.

Limitações

  • Os volumes do Hyperdisk ML são zonais e só podem ser acessados na zona em que foram criados.
  • Não é possível criar uma imagem de máquina em um volume do Hyperdisk.
  • Não é possível criar um instant snapshot de um volume do Hyperdisk ML.
  • Não é possível usar o Hyperdisk ML como disco de inicialização.
  • Não é possível criar um disco Hyperdisk ML no modo de leitura-gravação única com base em um snapshot ou uma imagem do disco. É necessário criar o disco no modo somente leitura para vários.
  • É possível mudar o tamanho de um volume do Hyperdisk ML a cada 4 horas e a capacidade de processamento a cada 6 horas.

A seguir

Adicionar um volume do Hyperdisk ML à VM