Sobre pools de armazenamento de hiperdisco

Os pools de armazenamento de hiperdisco podem ser usados com o Compute Engine para armazenamento em grande escala. Um pool de armazenamento de hiperdisco é um conjunto pré-comprado de capacidade, capacidade e IOPS que pode ser provisionado para os aplicativos conforme necessário. É possível usar pools de armazenamento de hiperdisco para criar e gerenciar discos em pools e usá-los em várias cargas de trabalho. Ao gerenciar discos de maneira agregada, você economiza custos e alcança o crescimento esperado de capacidade e desempenho. Ao usar apenas o armazenamento necessário nos pools de armazenamento de hiperdisco, você reduz a complexidade da previsão da capacidade e o trabalho de gerenciamento, ao gerenciar centenas de discos para gerenciar um único pool de armazenamento.

Os pools de armazenamento incluem os seguintes benefícios:

  • Menor custo total de propriedade (TCO): os pools de armazenamento de hiperdisco usam provisionamento fino e redução de dados para armazenar seus dados com eficiência e ajudar você a alcançar o melhor TCO da categoria.
  • Maior eficiência: os pools de armazenamento de hiperdisco usam o provisionamento fino e a redução de dados para ajudar você a alcançar maior utilização de recursos e um TCO menor.
  • Menos sobrecarga de gerenciamento com maior flexibilidade: os discos em pools de armazenamento de hiperdisco podem ser provisionados para tamanhos maiores e usam apenas o que precisam. Assim, os proprietários de cargas de trabalho não precisam se preocupar com previsões de desempenho e capacidade maçantes, além de inatividade relacionada ao redimensionamento.
  • Transparente para cargas de trabalho: não há mudança na forma como as cargas de trabalho individuais usam volumes de hiperdisco ao utilizar pools de armazenamento. Não é necessário passar por inatividade ou ter qualquer outro impacto nas cargas de trabalho.

Os dados em discos individuais em um pool de armazenamento mantêm o mesmo isolamento que teriam se os discos não fossem criados em um pool de armazenamento.

Quando usar pools de armazenamento

Os pools de armazenamento podem ser usados para resolver estes problemas:

  • Dificuldade em planejar os requisitos de recursos ao migrar cargas de trabalho de cargas de trabalho locais que usam SAN para o Google Cloud

    Estimar as necessidades de desempenho e capacidade de cada aplicativo é demorado e propenso a erros. Além disso, pode adicionar semanas à migração para a nuvem ou ao lançamento de um aplicativo.

    Com os pools de armazenamento de hiperdisco, é possível criar discos no pool de armazenamento usando uma sobreestimação da capacidade necessária e consumir do pool de armazenamento apenas a quantidade de espaço em disco onde os dados são gravados.

  • Subutilização de recursos

    Garantir que seus volumes sejam bem utilizados pode ser complexo e complicado. O armazenamento em blocos é frequentemente subutilizado porque você provisiona capacidade de pico e necessidades de desempenho para evitar interrupções ou lentidão no desempenho. No entanto, muitos aplicativos raramente alcançam esses picos.

    Ao usar pools de armazenamento de hiperdisco, você cria o pool de armazenamento para lidar com os prováveis requisitos de capacidade das cargas de trabalho. Se o pool de armazenamento atingir 80% da capacidade usada, o pool de armazenamento de hiperdisco tentará adicionar automaticamente mais capacidade para manter a taxa de utilização abaixo de 80%.

  • Gerenciamento complexo do armazenamento em blocos usado pelas cargas de trabalho

    Gerenciar centenas ou até milhares de volumes de disco é demorado e retira recursos de proporcionar inovações.

    Ao criar discos para suas VMs em um pool de armazenamento, você pode especificar um tamanho muito maior do que espera que a carga de trabalho use. À medida que as cargas de trabalho gravam nos discos, o espaço é tomado da capacidade do pool de armazenamento. Somente a quantidade de armazenamento em blocos usada é subtraída da capacidade do pool de armazenamento, não da quantidade provisionada ao criar os discos. O tamanho do disco especificado atua como um limite máximo de capacidade. Você só vai precisar modificar o tamanho do disco se esse limite for atingido.

    Se você criar discos no pool de armazenamento e a carga de trabalho exceder o planejamento de capacidade em vários discos, será possível adicionar mais capacidade ao pool de armazenamento. A capacidade extra pode ser usada por todos os discos criados no pool de armazenamento.

Recursos do pool de armazenamento de hiperdisco

Os pools de armazenamento têm os seguintes recursos:

  • Capacidade de provisionamento reduzido: os blocos são alocados conforme necessário, em vez de alocar todos eles com antecipação. Isso ajuda a evitar baixas taxas de utilização do armazenamento, em que grandes quantidades de espaço em disco são alocadas, mas não usadas.
  • Redução de dados: os pools de armazenamento usam várias tecnologias de redução de dados para aumentar a eficiência do armazenamento. A redução de dados depende muito do tipo de dados armazenados. Os dados que já estão compactados ou criptografados antes de serem armazenados em um disco em um pool de armazenamento de hiperdisco não geram redução adicional.
  • Aumento automático da capacidade: se a utilização do pool de armazenamento atingir 80% da capacidade provisionada, os pools de armazenamento de hiperdisco vão tentar adicionar capacidade automaticamente ao pool de armazenamento para evitar erros relacionados à capacidade insuficiente ,

Como funcionam os pools de armazenamento de hiperdisco

Crie um pool de armazenamento com a capacidade agregada e o desempenho necessários para suas cargas de trabalho e, em seguida, crie discos no pool de armazenamento. Depois, você pode anexar os discos às suas VMs. Ao criar os discos, é possível criá-los com um tamanho muito maior do que o necessário. Isso proporciona espaço para crescimento posterior, sem a necessidade de uma operação de redimensionamento do disco.

Se o disco foi criado em um pool de armazenamento de capacidade avançada, apenas a quantidade de espaço em disco usada pelas cargas de trabalho, após a redução de dados, será deduzida da capacidade do pool de armazenamento disponível.

Se os discos precisarem de mais capacidade, é possível aumentar a capacidade provisionada do pool de armazenamento. A quantidade de espaço em disco usada pelos discos individuais pode aumentar até o tamanho especificado quando você criou o disco. Ao criar os discos em um pool de armazenamento de capacidade avançada com um tamanho muito maior inicialmente e alocar mais espaço por meio do pool de armazenamento, você consolida o gerenciamento de armazenamento em disco e reduz custos.

A capacidade é gerenciada no nível do pool de armazenamento. Para ajustar a quantidade de capacidade disponível para discos em um pool de armazenamento, aumente ou reduza a capacidade provisionada desse pool. Um pool de armazenamento de capacidade avançada tenta adicionar automaticamente mais capacidade ao pool de armazenamento se a capacidade usada do pool de armazenamento, ou a capacidade agregada de todos os discos no pool de armazenamento, exceder 80% de capacidade provisionada do pool de armazenamento. Se a operação de aumento automático falhar, será possível adicionar manualmente capacidade a um pool de armazenamento até o limite de 1 PiB.

Se um pool de armazenamento atingir 100% de utilização e não houver espaço livre restante no pool de armazenamento, as gravações em todos os discos no pool de armazenamento vão falhar até que você reduza o espaço usado no pool de armazenamento excluindo dados ou discos. A maior parte dos softwares comerciais interpreta os erros retornados em gravações em discos completos, de maneira semelhante às falhas de hardware.

É importante gerenciar e monitorar ativamente seu pool de armazenamento para evitar erros de espaço. Também é preciso entender como a carga de trabalho responderá se encontrar um erro de falta de espaço em um disco em um pool de armazenamento.

Tipos de provisionamento para pools de armazenamento com hiperdisco

Ao criar um pool de armazenamento de hiperdisco, é possível configurá-lo com o provisionamento de capacidade padrão ou avançado.

Pools de armazenamento de capacidade padrão

Com o provisionamento de capacidade padrão, você cria discos no pool de armazenamento até que a capacidade provisionada total de todos os discos no pool de armazenamento atinja a capacidade provisionada. Os discos em um pool de armazenamento de capacidade padrão consomem capacidade de maneira semelhante aos discos de pool que não são de armazenamento.

Pools de armazenamento de capacidade avançados

Os pools de armazenamento de capacidade avançados oferecem provisionamento fino e redução de dados para capacidade, permitindo que você provisione discos com mais capacidade do que você comprou. Como os pools de armazenamento de capacidade avançados consomem capacidade apenas com base no número de bytes gravados nos discos após a redução de dados, é possível provisionar mais capacidade para seus usuários finais e aplicativos do que você comprou no pool de armazenamento. ,

Com a capacidade avançada, você cria discos no pool de armazenamento em que o tamanho cumulativo de todos os discos pode exceder a capacidade provisionada do pool de armazenamento em até 500%. A capacidade usada do pool de armazenamento é definida pela quantidade de dados gravados, e não pela capacidade de disco provisionada. Os discos em um pool de armazenamento de capacidade avançada consomem capacidade de maneira diferente do que os discos em um pool de armazenamento de capacidade padrão e os discos em pools que não são de armazenamento.

É possível preencher discos em um pool de armazenamento de capacidade avançada até o tamanho provisionado, desde que os dados gravados em todos os discos no pool de armazenamento não excedam a capacidade do pool. Se a utilização do pool de armazenamento atingir 80% da capacidade provisionada do pool, o recurso de crescimento automático tentará adicionar capacidade ao pool de armazenamento automaticamente. Se a capacidade do pool de armazenamento for totalmente usada, as gravações em todos os discos do pool de armazenamento vão falhar até que você exclua dados ou discos para reduzir a capacidade usada do pool de armazenamento.. A maioria dos aplicativos de software interpreta os erros retornados em gravações em discos completos como semelhantes a uma falha de hardware, por isso é importante ambos:

  • Monitore seu pool de armazenamento para evitar a falta de espaço em disco
  • Entenda como sua carga de trabalho responde caso isso aconteça

Os pools de armazenamento não têm visibilidade do sistema de arquivos. Os dados excluídos são considerados como ainda em uso até que o sistema operacional (SO) os marque como não utilizados com um comando DISCARD ou TRIM. Todas as imagens do SO fornecidas pelo Google são configuradas para fazer isso por padrão, assim como as imagens de SO de terceiros mais comuns, mas confirme isso se você não estiver usando uma imagem do SO fornecida pelo Google. Mais informações sobre como verificar ou configurar esse recurso estão disponíveis em Desativar a inicialização lenta e ativar comandos DISCARD.

Tipos de pools de armazenamento de hiperdisco

O tipo de pool de armazenamento de hiperdisco criado determina o tipo de discos que é possível criar no pool de armazenamento.

  • Pool de armazenamento de capacidade de processamento de hiperdisco: ao criar o pool de armazenamento, você especifica a capacidade e a capacidade de provisionamento para o pool de armazenamento. Cada disco de capacidade de processamento de hiperdisco criado no pool de armazenamento usa parte da capacidade e capacidade provisionada.
  • Pool de armazenamento equilibrado de hiperdisco: ao criar o pool de armazenamento, você especifica a capacidade, a capacidade e as IOPS a serem provisionados para o pool de armazenamento. Cada disco equilibrado de hiperdisco criado no pool de armazenamento com capacidade provisionada e desempenho acima dos valores de referência usa parte da capacidade e desempenho provisionados do pool de armazenamento.

Pools de armazenamento de capacidade de processamento de hiperdisco

Você pode usar pools de armazenamento de capacidade de processamento de hiperdisco para gerenciar o uso desse disco.

Limites para pools de armazenamento de capacidade de processamento do hiperdisco

Os limites a seguir se aplicam aos pools de armazenamento de capacidade de processamento do hiperdisco.

Limite Valor
Capacidade máxima provisionada do pool de armazenamento 1 PiB
Capacidade mínima provisionada do pool de armazenamento 10 TiB
Aumentos de capacidade de armazenamento: mínimo 1 TiB
(somente incrementos inteiros do TiB)
Número máximo de pools de armazenamento de hiperdisco por projeto 10
Capacidade máxima 18 GBps
Capacidade máxima por TiB 18 MBps por TiB de capacidade
Capacidade mínima por TiB 10 MBps por TiB de capacidade
Aumentos de capacidade 10 MBps
Número máximo de discos em um pool de armazenamento 1.000

Compatibilidade com tipos de máquina

Os pools de armazenamento de capacidade de processamento de hiperdisco são compatíveis com a mesma série de máquinas que oferece suporte à capacidade de processamento do Hyperdisk. Para uma lista da série de máquinas compatíveis, consulte Suporte ao tipo de máquina do Hyperdisk.

Disponibilidade regional do pool de armazenamento de capacidade de hiperdisco

Os pools de armazenamento de capacidade de processamento de hiperdisco podem ser usados nas zonas a seguir:

  • asia-southeast1-c
  • europe-west4-b
  • us-central1-a
  • us-east1-a
  • us-east4-a, us-east4-b, us-east4-c

Para verificar as atualizações mais recentes das regiões e zonas disponíveis, use o seguinte comando:

gcloud compute storage-pool-types list --filter="name=hyperdisk-throughput"

Pools de armazenamento equilibrado de hiperdisco

É possível usar pools de armazenamento balanceado por hiperdisco para gerenciar o uso desse disco.

Nos pools de armazenamento equilibrado de hiperdisco, esses discos consomem apenas IOPS e capacidade que excedem os valores de referência de 3.000 IOPS e 140 MBps de capacidade por disco. Exemplo:

  • Se você provisionar um disco balanceado de hiperdisco com 3.000 IOPS e 140 MBps de capacidade em um pool de armazenamento, o disco não vai consumir IOPS nem capacidade do pool de armazenamento.
  • Se você provisionar um disco balanceado de hiperdisco com 4.000 IOPS e 180 MBps de capacidade em um pool de armazenamento, o disco consumirá 1.000 IOPS e 40 MBps de capacidade do pool de armazenamento.

Limites para pools de armazenamento balanceado por hiperdisco

Os limites a seguir se aplicam a pools de armazenamento equilibrados do hiperdisco.

Limite Valor
Capacidade máxima provisionada do pool de armazenamento 1 PiB
Capacidade mínima provisionada do pool de armazenamento 10 TiB
Aumentos de capacidade de armazenamento: mínimo 1 TiB
(somente incrementos inteiros do TiB)
Número máximo de pools de armazenamento de hiperdisco por projeto 10
IOPS máximas 4.194.304 (4 * 2^20)
IOPS máximo por GiB 4 por GiB
IOPS mínimo por GiB 0
Aumentos de IOPS 10.000
(e apenas múltiplos de 10 mil IOPS)
Capacidade máxima 1 TBps
Capacidade máxima por GiB 1 MBps por GiB de capacidade
Capacidade de processamento mínima por GiB 0 MBps
Aumentos de capacidade 1 GBps
Número máximo de discos em um pool de armazenamento de hiperdisco 1.000

Compatibilidade com tipos de máquina

Os pools de armazenamento equilibrado de hiperdisco são compatíveis com a mesma série de máquinas que oferece suporte ao Hyperdisk Balanceado. Para uma lista da série de máquinas compatíveis, consulte Suporte ao tipo de máquina do Hyperdisk.

Disponibilidade regional do pool de armazenamento equilibrado de hiperdisco

Os pools de armazenamento equilibrado de hiperdisco podem ser usados nas zonas a seguir:

  • asia-south1-b
  • asia-southeast1-c
  • europe-west1-b
  • europe-west4-b
  • us-central1-a
  • us-east4-a, us-east4-b, us-east4-c

Para verificar as atualizações mais recentes das regiões e zonas disponíveis, use o seguinte comando:

gcloud compute storage-pool-types list  --filter="name=hyperdisk-balanced"

Desempenho

O desempenho dos discos em um pool de armazenamento é igual ao dos discos que não foram criados em um pool de armazenamento.

Limitações dos pools de armazenamento

Os pools de armazenamento de hiperdisco têm as seguintes limitações:

Limites de recursos:

  • É possível criar um pool de armazenamento de hiperdisco com até 1 PiB de capacidade provisionada.
  • É possível criar até cinco pools de armazenamento por hora.
  • É possível criar até 10 pools de armazenamento por dia.
  • É possível criar no máximo 10 pools de armazenamento por projeto.
  • Não é possível alterar o modelo de provisionamento de um pool. Não é possível alterar um pool de armazenamento de capacidade Standard para Avançado.
  • Os pools de armazenamento são um recurso zonal.
  • É possível criar até 1.000 discos em um pool de armazenamento.
  • É possível usar pools de armazenamento de hiperdisco apenas com o Compute Engine. As instâncias do Cloud SQL não podem usar pools de armazenamento de hiperdisco.
  • É possível alterar a capacidade provisionada de um pool de armazenamento no máximo duas vezes em 24 horas.

Limites de discos em um pool de armazenamento:

  • Somente novos discos no mesmo projeto e zona podem ser criados em um pool de armazenamento.
  • Não é permitido mover discos para dentro ou fora de um pool de armazenamento. Para mover um disco para dentro ou fora de um pool de armazenamento, é necessário recriar o disco com base em um snapshot. Para mais informações, consulte Alterar o tipo de disco.
  • Para criar discos de inicialização em um pool de armazenamento, use um pool de armazenamento balanceado por hiperdisco.
  • Não é possível criar discos regionais em um pool de armazenamento.
  • Não é possível clonar, criar Instant Snapshots ou configurar a replicação assíncrona do Persistent Disk para discos em um pool de armazenamento.

Preços

Os pools de armazenamento de hiperdisco são cobrados com base na capacidade do pool de armazenamento provisionado, na capacidade e nas IOPS.

Em um pool de armazenamento de capacidade padrão, a capacidade tem o mesmo preço do disco. Por exemplo, o preço da capacidade padrão de um pool de armazenamento equilibrado de hiperdisco é o mesmo que a capacidade independente equilibrada.

A capacidade avançada tem um preço mais alto para refletir o custo extra para fornecer provisionamento superficial e redução de dados. Mesmo com esse premium, a economia com o provisionamento superficial e a redução de dados ainda pode reduzir os custos totais de armazenamento em blocos com o aumento da eficiência e da utilização.

Para ver mais informações sobre preços, consulte Preços de disco.

Descontos por compromisso de uso com pools de armazenamento de hiperdisco

Os pools de armazenamento de hiperdisco não estão qualificados para:

  • Descontos por uso contínuo (CUDs) baseados em recursos
  • Descontos por uso prolongado (SUDs)

A seguir