Este guia ajuda a avaliar os requisitos de armazenamento da sua carga de trabalho na nuvem, a compreender as opções de armazenamento disponíveis no Google Cloude a criar uma estratégia de armazenamento que ofereça um valor empresarial ideal.
Para um resumo visual das principais recomendações de design, consulte o diagrama de árvore de decisão.
Para obter informações sobre a seleção de serviços de armazenamento para cargas de trabalho de IA e ML, consulte o artigo Conceba armazenamento para cargas de trabalho de IA e ML no Google Cloud.
Vista geral do processo de design
Como arquiteto de nuvem, quando planeia o armazenamento para uma carga de trabalho na nuvem, tem de considerar primeiro as caraterísticas funcionais da carga de trabalho, as restrições de segurança, os requisitos de resiliência, as expetativas de desempenho e os objetivos de custo. Em seguida, tem de rever os serviços e as funcionalidades de armazenamento disponíveis no Google Cloud. Em seguida, com base nos seus requisitos e nas opções disponíveis, selecione os serviços e as funcionalidades de armazenamento de que precisa. O diagrama seguinte mostra este processo de design de três fases:
Defina os seus requisitos
Use os questionários nesta secção para definir os principais requisitos de armazenamento da carga de trabalho que quer implementar no Google Cloud.
Diretrizes para definir requisitos de armazenamento
Ao responder aos questionários, tenha em atenção as seguintes diretrizes:
Defina requisitos detalhados
Por exemplo, se a sua aplicação precisar de armazenamento de ficheiros baseado no sistema de ficheiros de rede (NFS), identifique a versão do NFS necessária.
Considere os requisitos futuros
Por exemplo, a sua implementação atual pode publicar anúncios para utilizadores em países da Ásia, mas pode planear expandir a empresa para outros continentes. Neste caso, considere todos os requisitos regulamentares relacionados com o armazenamento dos novos territórios empresariais.
Considere as oportunidades e os requisitos específicos da nuvem
Tire partido das oportunidades específicas da nuvem.
Por exemplo, para otimizar o custo de armazenamento dos dados armazenados no Cloud Storage, pode controlar a duração do armazenamento através de políticas de retenção de dados e configurações do ciclo de vida.
Considere os requisitos específicos da nuvem.
Por exemplo, os dados no local podem existir num único centro de dados e pode ter de replicar os dados migrados em duasGoogle Cloud localizações para redundância.
Questionários
Os questionários que se seguem não são listas de verificação exaustivas para o planeamento. Use-os como ponto de partida para analisar sistematicamente todos os requisitos de armazenamento da carga de trabalho que quer implementar no Google Cloud.
Avalie as caraterísticas da sua carga de trabalho
Que tipo de dados precisa de armazenar?
Exemplos
- Conteúdo de Website estático
- Cópias de segurança e arquivos para recuperação de desastres
- Registos de auditoria para conformidade
- Objetos de dados grandes que os utilizadores transferem diretamente
- Dados transacionais
- Dados não estruturados e heterogéneos
De quanta capacidade precisa? Considere os seus requisitos atuais e futuros.
A capacidade deve ser dimensionada automaticamente com a utilização?
Quais são os requisitos de acesso? Por exemplo, os dados devem estar acessíveis a partir do exterior Google Cloud?
Quais são os padrões de leitura/escrita esperados?
Exemplos
- Escritas e leituras frequentes
- Gravações frequentes, mas leituras ocasionais
- Escritas e leituras ocasionais
- Escritas ocasionais, mas leituras frequentes
A carga de trabalho precisa de acesso baseado em ficheiros, por exemplo, através do NFS?
Vários clientes devem poder ler ou escrever dados em simultâneo?
Identifique restrições de segurança
Quais são os seus requisitos de encriptação de dados? Por exemplo, precisa de usar chaves que controla?
Existem requisitos de residência dos dados?
Defina os requisitos de resiliência dos dados
- A sua carga de trabalho precisa de armazenamento em cache de baixa latência ou espaço de trabalho?
- Precisa de replicar os dados na nuvem para redundância?
- Precisa de uma consistência de leitura/escrita rigorosa para conjuntos de dados replicados?
Defina expetativas de desempenho
Qual é a taxa de E/S necessária?
Que níveis de débito de leitura e escrita a sua aplicação precisa?
Para que ambientes precisa de armazenamento? Para uma determinada carga de trabalho, pode precisar de armazenamento de alto desempenho para o ambiente de produção, mas pode escolher uma opção de desempenho inferior para os ambientes de não produção.
Reveja as opções de armazenamento
Google Cloud oferece serviços de armazenamento para todos os formatos de armazenamento principais: em bloco, de ficheiros e de objetos. Reveja e avalie as funcionalidades, as opções de design e as vantagens relativas dos serviços disponíveis para cada formato de armazenamento.
Vista geral
Armazenamento em bloco
Os dados que armazena no armazenamento em blocos são divididos em partes, cada uma armazenada como um bloco separado com um endereço único. As aplicações acedem aos dados referenciando as moradas de blocos adequadas. O armazenamento em blocos está otimizado para cargas de trabalho de IOPS elevadas, como o processamento de transações. É semelhante à rede de área de armazenamento (SAN) no local e aos sistemas de armazenamento associado diretamente (DAS).
As opções de armazenamento em blocos no Google Cloud fazem parte do serviço Compute Engine.
| Opção | Vista geral |
|---|---|
| Disco persistente | Unidades de disco rígido (HDD) e unidades de estado sólido (SSD) dedicadas para aplicações empresariais e de base de dados implementadas em VMs do Compute Engine e clusters do Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | Armazenamento de rede rápido e redundante para VMs do Compute Engine e clusters do GKE, com desempenho configurável e volumes cujo tamanho pode ser alterado dinamicamente. |
| SSD local | Armazenamento em bloco efémero associado localmente para aplicações de elevado desempenho. |
Armazenamento de ficheiros
Os dados são organizados e representados numa hierarquia de ficheiros que são armazenados em pastas, de forma semelhante ao armazenamento associado à rede (NAS) no local. Os sistemas de ficheiros podem ser montados em clientes através de protocolos como o NFS e o Server Message Block (SMB). As aplicações acedem aos dados através do nome de ficheiro e do caminho do diretório relevantes.
OGoogle Cloud oferece uma variedade de soluções totalmente geridas e de terceiros para o armazenamento de ficheiros.
| Solução | Vista geral |
|---|---|
| Filestore |
Armazenamento baseado em ficheiros através de servidores de ficheiros NFS para VMs do Compute Engine e clusters do Google Kubernetes Engine. Pode escolher um nível de serviço (Básico, Zonal ou Regional) adequado ao seu exemplo de utilização. |
| Google Cloud Managed Lustre |
Sistema de ficheiros paralelos de baixa latência para IA, computação de alto desempenho (HPC) e aplicações com grande volume de dados. |
| NetApp Volumes | Armazenamento baseado em ficheiros através de NFS ou SMB. Pode escolher um nível de serviço (Flex, Standard, Premium ou Extreme) adequado ao seu exemplo de utilização. |
| Mais opções | Consulte o Resumo das opções do servidor de ficheiros. |
Armazenamento de objetos
Os dados são armazenados como objetos numa hierarquia simples de contentores. É atribuído a cada objeto um ID globalmente exclusivo. Os objetos podem ter metadados atribuídos pelo sistema e definidos pelo utilizador para ajudar a organizar e gerir os dados. As aplicações acedem aos dados referenciando os IDs dos objetos, através de APIs REST ou bibliotecas cliente.
O Cloud Storage oferece armazenamento de objetos de baixo custo, altamente duradouro e sem limites para diversos tipos de dados. Pode aceder aos dados que armazena no Cloud Storage a partir de qualquer lugar, dentro e fora Google Cloud. A redundância opcional em várias regiões oferece a máxima fiabilidade. Pode selecionar uma classe de armazenamento adequada aos seus requisitos de retenção de dados e frequência de acesso.
Análise comparativa
A tabela seguinte indica as principais capacidades dos serviços de armazenamento no Google Cloud.
| Persistent Disk | Hyperdisk | SSD local | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| Capacidade |
10 GiB a 64 TiB por disco Até 257 TiB por VM |
4 GiB a 64 TiB por disco Até 512 TiB por VM 10 TiB a 1 PiB por conjunto de armazenamento |
375 GiB por disco Até 12 TiB por VM O SSD de titânio é uma opção de SSD local de maior capacidade. |
1 a 100 TiB por instância | 18 TiB a 8 PiB | 1 TiB a 10 PiB por conjunto de armazenamento 1 GiB a 1 PiB por volume |
Sem limite inferior nem superior |
|
Dimensionamento |
|
Aumente a escala | Não escalável |
|
Escalável | Aumente e diminua a escala | Escala automaticamente com base na utilização |
| Partilhar |
Suportado | Suportado | Não partilhável | Montável em várias VMs do Compute Engine, clientes remotos e clusters do GKE | Montável em vários clusters do GKE e VMs do Compute Engine. | Montável em várias VMs do Compute Engine e clusters do GKE |
|
| Opções de chaves de encriptação |
|
|
Google-owned and Google-managed encryption keys |
|
Google-owned and Google-managed encryption keys |
|
|
| Persistência |
Tempo de vida do disco | Tempo de vida do disco | Efémero (os dados são perdidos quando a VM é parada ou eliminada) | Duração da instância do Filestore | Duração da instância do Managed Lustre | Duração do volume | Duração do grupo |
| Disponibilidade |
|
|
Zonal |
|
Zonal |
|
|
| Desempenho |
Escalamento linear com o tamanho do disco e a quantidade de CPUs | Armazenamento persistente com dimensionamento dinâmico | Armazenamento temporário de elevado desempenho |
|
Escalabilidade linear com capacidade aprovisionada e várias opções de nível de desempenho | Desempenho escalável As expetativas dependem do nível de serviço |
|
| Gestão |
Formate e monte manualmente | Formate e monte manualmente | Formate, divida em faixas e monte manualmente | Totalmente gerido | Totalmente gerido | Totalmente gerido | Totalmente gerido |
A tabela seguinte lista os tipos de carga de trabalho para os quais cada Google Cloud opção de armazenamento é adequada:
| Opção de armazenamento | Tipos de carga de trabalho |
|---|---|
| Persistent Disk |
|
| Hyperdisk |
|
| SSD local |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
Escolha uma opção de armazenamento
A seleção de uma opção de armazenamento tem duas partes:
- Decidir de que serviços de armazenamento precisa.
- Escolher as funcionalidades e as opções de design necessárias num determinado serviço.
Exemplos de funcionalidades específicas do serviço e opções de design
Persistent Disk
- Região e zona de implementação
- Replicação regional
- Tipo, tamanho e IOPS do disco (para disco persistente extremo)
- Chaves de encriptação: propriedade e gestão da Google, geridas pelo cliente ou fornecidas pelo cliente
- Programação de instantâneos
Hyperdisk
- Zona de implementação
- Tipo de disco, tamanho, débito (para o débito do Hyperdisk) e IOPS (para o Hyperdisk Extreme)
- Chaves de encriptação: propriedade e gestão da Google, geridas pelo cliente ou fornecidas pelo cliente
- Programação de instantâneos
Filestore
- Região e zona de implementação
- Nível da instância
- Capacidade
- Intervalo de IPs: atribuído automaticamente ou personalizado
- Controlo de acesso
NetApp Volumes
- Região de implementação
- Nível de serviço para o conjunto de armazenamento
- Capacidade de volume e piscina
- Protocolo de volume
- Regras de exportação de volume
Cloud Storage
- Localização: multirregião, duas regiões, região única
- Classe de armazenamento: Standard, Nearline, Coldline, Archive
- Controlo de acesso: uniforme ou detalhado
- Chaves de encriptação: propriedade e gestão da Google, geridas pelo cliente ou fornecidas pelo cliente
- Política de retenção
Recomendações de armazenamento
Use as seguintes recomendações como ponto de partida para escolher os serviços e as funcionalidades de armazenamento que cumprem os seus requisitos. Para orientações específicas para cargas de trabalho de IA e ML, consulte o artigo Conceba armazenamento para cargas de trabalho de IA e ML no Google Cloud.
As recomendações gerais de armazenamento também são apresentadas como uma árvore de decisão mais adiante neste documento.
Para aplicações que precisam de um sistema de ficheiros paralelo, use o Lustre gerido.
Para aplicações que precisam de acesso baseado em ficheiros, escolha um serviço de armazenamento de ficheiros adequado com base nos seus requisitos de protocolo de acesso, disponibilidade e desempenho.
Protocolo de acesso Recomendação NFS - Se precisar de disponibilidade regional e elevado desempenho que seja dimensionável com a capacidade, use o Filestore Regional.
- Se a disponibilidade zonal for suficiente, mas precisar de um desempenho elevado que seja dimensionado com a capacidade, use o Filestore Zonal ou os volumes NetApp Premium ou Extreme.
- Caso contrário, use o Filestore Basic ou os volumes NetApp.
Para ver informações sobre as diferenças entre os níveis de serviço do Filestore, consulte os Níveis de serviço.
SMB Use volumes NetApp. Para cargas de trabalho que precisam de armazenamento principal com elevado desempenho, use o Hyperdisk, o SSD local ou o disco persistente, consoante os seus requisitos.
Requisito Recomendação Disco de memória temporária ou cache rápidos Use discos SSD locais (efémeros). Armazenamento de blocos com desempenho e capacidade escaláveis de forma independente Use o Hyperdisk. Escolha um tipo de disco adequado com base nos seus requisitos:
- Cargas de trabalho de uso geral:
hyperdisk-balanced - Cargas de trabalho de E/S elevadas, como bases de dados de alto desempenho:
hyperdisk-extreme - Análise detalhada, unidades de dados para apps sensíveis a custos e armazenamento a frio:
hyperdisk-throughput - Cargas de trabalho de ML que precisam de um elevado débito para várias VMs no modo de leitura:
hyperdisk-mlno modo de leitura - Várias VMs numa região com acesso de escrita simultâneo ao mesmo disco:
hyperdisk-balanced-high-availabilityno modo de vários escritores
Para mais informações, consulte o artigo Acerca do Google Cloud Hyperdisk.
Armazenamento em blocos com capacidade escalável Use o Persistent Disk. Escolha um tipo de disco adequado com base nos seus requisitos:
- IOPS sequenciais:
pd-standard - Cargas de trabalho com utilização intensiva de IOPS:
pd-extremeoupd-ssd - Equilíbrio entre desempenho e custo:
pd-balanced
Para mais informações, consulte o artigo Acerca do Persistent Disk.
- Consoante os seus requisitos de redundância, escolha entre discos zonais e regionais.
Requisito Recomendação Redundância numa única zona numa região Use um Hyperdisk ou um disco persistente zonal. Redundância em várias zonas numa região Use o Hyperdisk de alta disponibilidade ou o disco persistente regional.
- Cargas de trabalho de uso geral:
Para um armazenamento de escala ilimitada e disponível globalmente, use o Cloud Storage.
Consoante a frequência de acesso aos dados e a duração do armazenamento, escolha uma classe do Cloud Storage adequada.
Requisito Recomendação> A frequência de acesso varia ou o período de retenção de dados é desconhecido ou não é previsível. Use a funcionalidade Autoclass para fazer a transição automática de objetos num contentor para as classes de armazenamento adequadas com base no padrão de acesso de cada objeto. Armazenamento de dados acedidos com frequência, incluindo para análise de alto débito, data lakes, Websites, streaming de vídeos e apps para dispositivos móveis. Use a classe de armazenamento Standard.
Para colocar em cache dados acedidos com frequência e disponibilizá-los a partir de localizações próximas dos clientes, use o Cloud CDN.
Para cargas de trabalho com muitas leituras, alterações de dados pouco frequentes e leituras frequentes (como preparação, inferência e estatísticas de ML), pode melhorar o desempenho de leitura e reduzir os custos de transferência de dados através da cache em qualquer lugar.
Armazenamento de baixo custo para dados acedidos com pouca frequência que podem ser armazenados durante, pelo menos, 30 dias (por exemplo, cópias de segurança e conteúdo multimédia de cauda longa). Use a classe de armazenamento Nearline. Armazenamento de baixo custo para dados acedidos com pouca frequência que podem ser armazenados durante, pelo menos, 90 dias (por exemplo, recuperação de desastres). Use a classe de armazenamento Coldline. Armazenamento de custo mais baixo para dados acedidos com pouca frequência que podem ser armazenados durante, pelo menos, 365 dias, incluindo arquivos regulamentares. Use a classe de armazenamento Arquivo. Para uma análise comparativa detalhada, consulte as classes de armazenamento na nuvem.
Opções de transferência de dados
Depois de escolher os Google Cloud serviços de armazenamento adequados, para implementar e executar cargas de trabalho, tem de transferir os seus dados para Google Cloud. Os dados que tem de transferir podem existir nas instalações ou noutras plataformas de nuvem.
Pode usar os seguintes métodos para transferir dados para o Google Cloud:
- Transfira dados online através do Serviço de transferência de armazenamento: Automatize a transferência de grandes quantidades de dados entre sistemas de armazenamento de objetos e ficheiros, incluindo o Cloud Storage, o Amazon S3, os serviços de armazenamento do Azure e origens de dados no local.
- Transfira dados offline através do Transfer Appliance: transfira e carregue grandes quantidades de dados offline em Google Cloud situações em que a conetividade de rede e a largura de banda estão indisponíveis, são limitadas ou são caras.
- Carregue dados para o Cloud Storage: carregue dados online para contentores do Cloud Storage através da Google Cloud consola, da CLI gcloud, das APIs Cloud Storage ou das bibliotecas de cliente.
Quando escolher um método de transferência de dados, considere fatores como o tamanho dos dados, as restrições de tempo, a disponibilidade de largura de banda, os objetivos de custos e os requisitos de segurança e conformidade. Para obter informações sobre o planeamento e a implementação de transferências de dados para o Google Cloud, consulte o artigo Migre para o Google Cloud: transfira os seus grandes conjuntos de dados.
Árvore de decisões das opções de armazenamento
O diagrama de árvore de decisões seguinte explica as Google Cloud recomendações de armazenamento abordadas anteriormente. Para orientações específicas para cargas de trabalho de IA e ML, consulte o artigo Conceba armazenamento para cargas de trabalho de IA e ML no Google Cloud.
O que se segue?
- Estime o custo de armazenamento com a Google Cloud calculadora de preços.
- Saiba mais sobre as práticas recomendadas para criar uma topologia de nuvem otimizada para segurança, resiliência, custo e desempenho.
- Saiba quando usar sistemas de ficheiros paralelos, como o Lustre, para cargas de trabalho de HPC.
Colaboradores
Autor: Kumar Dhanagopal | Cross-Product Solution Developer
Outros colaboradores:
- Brennan Doyle | Solutions Architect
- Dean Hildebrand | Technical Director, Office of the CTO
- Geoffrey Noer | Group Product Manager
- Jack Zhou | Redator técnico
- Jason Wu | Director, Product Management
- Jeff Allen | Arquiteto de soluções
- Samantha He | Redatora técnica
- Sean Derrington | Group Product Manager, Storage