Servidores de arquivos no Compute Engine

Um servidor de arquivos, também conhecido como arquivador de armazenamento, é uma maneira que os aplicativos têm de ler e atualizar arquivos compartilhados nas máquinas. Algumas soluções de arquivos são ampliadas e consistem em armazenamento anexado a uma VM. Algumas soluções são escalonadas horizontalmente e consistem em um cluster de VMs com armazenamento anexado que apresenta um único namespace de sistema de arquivos para aplicativos.

Um cliente POSIX nativo é usado em alguns sistemas de arquivos, mas em muitos servidores de arquivos é usado um protocolo que permite às máquinas clientes a ativação de um sistema de arquivos e o acesso aos arquivos como se eles estivessem hospedados localmente. Os protocolos mais comuns para exportar compartilhamentos de arquivos são o NFS (Network File System) para Linux e o CIFS (Common Internet File System) ou o SMB (Server Message Block) para Windows.

Esta solução descreve as opções a seguir para compartilhar arquivos:

Discos permanentes e SSDs locais do Compute Engine

Soluções de arquivador gerenciado:

Soluções de arquivador com suporte no Cloud Marketplace

Um fator básico no desempenho e previsibilidade de todos os serviços do Google Cloud é a pilha de rede que o Google desenvolveu ao longo de muitos anos. Com o Jupiter Fabric, o Google criou uma pilha de rede potente, escalonável e estável que pode continuar a evoluir sem afetar suas cargas de trabalho. À medida que o Google aprimora e melhora internamente as capacidades da rede, sua solução de compartilhamento de arquivos se beneficia do desempenho agregado. Para mais detalhes sobre o Jupiter Fabric, consulte o documento de 2015 (em inglês) que descreve essa evolução.

Um recurso do Google Cloud que ajuda você a aproveitar ao máximo seu investimento é a capacidade de especificar tipos de VM personalizados. Ao selecionar o tamanho do servidor, escolha exatamente a combinação ideal de memória e CPU. Assim, a operação do servidor terá o desempenho máximo, sem que haja inscrições em excesso.

Além disso, é importante escolher a capacidade correta de disco permanente do Compute Engine e o número de vCPUs para garantir que os dispositivos de armazenamento do servidor de arquivos recebam a largura de banda de armazenamento e as IOPs necessárias, além da largura de banda da rede. Uma VM recebe 2 Gb/s de taxa de transferência de rede para cada vCPU (até o máximo). Para ajustar o disco permanente, consulte Como otimizar o disco permanente e o desempenho do SSD local.

O Cloud Storage também é uma ótima maneira de armazenar petabytes de dados com altos níveis de redundância a um baixo custo. No entanto, essa solução tem um perfil de desempenho e uma API diferentes dos servidores de arquivos discutidos nesta página.

Resumo das opções de servidor de arquivos

A tabela a seguir resume os recursos dos discos permanentes e as opções de arquivador:

Solução de arquivador Conjunto de dados ideal Capacidade Suporte gerenciado Protocolos de exportação
Filestore 1 TB a 64 TB Até 1,2 GB/s Serviço totalmente gerenciado pelo Google NFSv3
Cloud Volumes da NetApp 1 TB a 100 TB Até 4,5 GB/s Serviço totalmente gerenciado do Google e da NetApp NFSv3, NFSv4, SMB2, SMB3
Elastifile (comprado pelo Google Cloud) Dezenas de TB a 1 PB ou mais Até dezenas de GB/s Elastifile (comprado pelo Google Cloud) NFSv3
PowerScale De 108 TiB a 50 PiB Até 97 MB/s por TiB Serviço totalmente gerenciado pelo Google e pela Dell Technologies NFSv3, NFSv4, SMB1, SMB2, SMB3, HDFS (mediante solicitação)
Panzura Dezenas de TB a 1 PB ou mais Até vários GB/s Panzura NFSv3, NFSv4, SMB1, SMB2, SMB3
PD somente leitura Até 64 TB 240 a 1.200 MB/s Não Anexo direto

Discos permanentes e SSDs locais do Compute Engine

Se houver dados que precisem ser acessados por apenas uma VM ou que não sejam alterados com o tempo, será possível usar os discos permanentes do Compute Engine e evitar um servidor de arquivos. Com discos permanentes, é possível formatá-los com um sistema de arquivos como Ext4 ou XFS e anexar volumes nos modos de leitura/gravação ou somente leitura. Isso significa que é possível, primeiro, anexar um volume a uma instância, carregá-lo com os dados necessários e, por fim, anexá-lo a um disco somente leitura para centenas de máquinas virtuais simultaneamente. O uso de discos permanentes somente leitura não funciona para todos os casos, mas pode reduzir muito a complexidade se comparado ao uso de um servidor de arquivos.

Os discos permanentes oferecem um desempenho consistente. Todos os discos do mesmo tamanho (e para discos permanentes de SSD, o mesmo número de vCPUs) que você anexa à sua instância têm as mesmas características de desempenho. Não é necessário fazer testes nos discos permanentes antes de usá-los na produção.

O custo dos discos permanentes é fácil de determinar porque não há custos de E/S a serem considerados após o provisionamento do volume. Os discos permanentes também podem ser redimensionados rapidamente, o que permite que você comece com custo e volume menores, sem a necessidade de instâncias ou discos extras para ampliar a capacidade.

Se a capacidade total de armazenamento for o principal requisito, use discos permanentes padrão de baixo custo. Para o melhor desempenho com a manutenção da durabilidade, é possível usar os discos permanentes SSD.

Se os dados forem temporários e precisarem de latência de menos de 1 milissegundo e alto número de operações de E/S por segundo (IOPS, na sigla em inglês), será possível usar até 9 TB de SSDs locais para dispor de desempenho excepcional. Os SSDs locais fornecem GB/s de largura de banda e milhões de IOPS, sem usar toda a largura de banda de rede estabelecida das instâncias. No entanto, é importante lembrar que os SSDs locais têm determinadas compensações de disponibilidade, durabilidade e flexibilidade.

Para ver uma comparação dos vários tipos de disco disponíveis para instâncias do Compute Engine, consulte a documentação para armazenamento em blocos.

Considerações ao escolher uma solução de arquivador

Para escolher uma solução de arquivador, é preciso analisar a relação entre custos, gerenciamento, desempenho e escalonabilidade. Tomar a decisão será mais fácil se você tiver uma carga de trabalho bem definida, o que geralmente não é o caso. Nos casos em que as cargas de trabalho aumentam ao longo do tempo ou são muito variáveis, é prudente deixar de lado o fator custo e se concentrar em flexibilidade e elasticidade para que você possa ampliar a solução. Por outro lado, se você tiver uma carga de trabalho temporal e bem conhecida, poderá criar uma arquitetura de arquivador personalizada que poderá facilmente desativar e recriar para atender às suas necessidades imediatas de armazenamento.

Uma das primeiras decisões a tomar é se você quer pagar por um serviço de arquivador gerenciado, um que inclua serviço de suporte ao produto ou ainda um que não inclua serviço de suporte ao produto.

  • Os serviços de arquivador gerenciado são os mais fáceis de operar, porque o Google ou um parceiro está lidando com todas as operações. Esses serviços de arquivador podem também fornecer um SLA para disponibilidade como a maioria dos outros serviços do Google Cloud.
  • Soluções não gerenciadas e com serviço de suporte oferecem flexibilidade extra. Os parceiros podem ajudar com qualquer problema, mas a operação diária do arquivador é deixada para o usuário.
  • Soluções sem serviço de suporte exigem o máximo de esforço para serem implantadas e mantidas, deixando todos os problemas para o usuário resolver. Essas soluções não são abordadas neste documento.

A próxima decisão envolve a descoberta dos requisitos de durabilidade e disponibilidade do arquivador. A maioria das soluções é zonal e, por padrão, não oferece proteção se a zona falhar. Portanto, é importante considerar se é necessária uma solução de recuperação de desastre que proteja contra falhas zonais. Além disso, é importante entender os requisitos de durabilidade e disponibilidade do seu aplicativo. Por exemplo, a escolha de SSDs locais ou discos permanentes na sua implantação tem um grande impacto, assim como a configuração do software de soluções do arquivador. Cada solução requer um planejamento cuidadoso para gerar alta durabilidade, disponibilidade e até mesmo proteção contra falhas zonais e regionais.

Por fim, analise os locais (isto é, zonas, regiões e data centers no local) em que você precisa acessar os dados. Os locais das torres de servidores que acessam seus dados influenciarão sua escolha da solução de arquivador, porque apenas algumas soluções permitem acesso híbrido no local e na nuvem.

Soluções de arquivador gerenciado

Filestore

Filestore é a solução NAS (Network Attached Storage) totalmente gerenciada do Google.

É possível ativar facilmente o compartilhamento de arquivos do Filestore em VMs do Compute Engine. O Filestore também é totalmente integrado ao Google Kubernetes Engine para que seus contêineres possam fazer referência aos mesmos dados compartilhados.

O Filestore oferece dois níveis de desempenho, Standard e Premium. Ambos oferecem desempenho consistente e custos previsíveis.

Para mais informações, acesse estes links:

Cloud Volumes da NetApp

O NetApp Cloud Volumes Service para Google Cloud é um serviço de armazenamento totalmente gerenciado nativo da nuvem integrado no console do Google Cloud, com faturamento e suporte contínuos do Google.

O serviço permite que você ative rapidamente o armazenamento compartilhado persistente para suas instâncias de computação. Esse armazenamento oferece alta taxa de transferência para seus aplicativos em baixa latência, com recursos robustos de proteção de dados (instantâneos e cópias). Com arquitetura de nível empresarial, o serviço oferece alto desempenho para cargas de trabalho sequenciais e aleatórias, que podem ser escalonadas em centenas ou milhares de instâncias de computação do Compute Engine. Em segundos, os volumes que variam em tamanho de 1 TB a 100 TB podem ser provisionados e protegidos com instantâneos eficientes em termos de espaço. Os comandos para ativar os volumes criados para instâncias de computação estão disponíveis no Console do Cloud, aprimorando ainda mais a experiência do usuário.

Arquitetura do Cloud Volumes Services da NetApp.

Não é necessário reescrever os aplicativos, já que o Cloud Volumes oferece compartilhamentos de conformidade com POSIX exigidos por uma ampla gama de cargas de trabalho baseadas em arquivos, incluindo conteúdo da Web e rich media, usados em vários setores, entre eles: automatização de design eletrônico (EDA, na sigla em inglês), mídia e entretenimento.

Com três níveis de serviço (Standard, Premium e Extreme) que é possível mudar on demand, o Cloud Volumes Service para Google Cloud oferece o desempenho certo para sua carga de trabalho, sem afetar a disponibilidade de suas cargas de trabalho. A NetApp também sincroniza seus dados entre o On-Premises e o Cloud Volumes Service para Google Cloud.

Para mais informações, acesse estes links:

Elastifile (comprado pelo Google Cloud)

O Elastifile (comprado pelo Google Cloud) simplifica o armazenamento corporativo e o gerenciamento de dados no Google Cloud e entre nuvens híbridas. O Elastifile fornece acesso paralelo econômico e de alto desempenho a dados globais, mantendo uma consistência rigorosa, alimentada por um sistema de arquivos distribuído e dinamicamente escalonável. Com o Elastifile, os aplicativos de NFS e os fluxos de trabalho NAS podem ser executados na nuvem sem exigir refatoração, mantendo os benefícios dos serviços de dados corporativos, que são alta disponibilidade, compactação, eliminação de duplicação, replicação, entre outros. A integração nativa com o Kubernetes Engine permite persistência, portabilidade e compartilhamento de dados sem interrupções para cargas de trabalho em contêiner.

O Elastifile é muito fácil de implementar e escalonar. Ele permite criar e expandir a infraestrutura do sistema de arquivos com facilidade e sob demanda, garantindo que o desempenho e a capacidade de armazenamento sempre se alinhem aos seus requisitos dinâmicos de fluxo de trabalho. À medida que um cluster do Elastifile se expande, os metadados e o desempenho de E/S são escalonados linearmente. Esse dimensionamento permite aprimorar e acelerar uma ampla variedade de fluxos de trabalho com muitos dados, incluindo computação de alto desempenho, análises, agregação de dados entre sites, DevOps e muito mais. Como resultado, o Elastifile é ideal para uso em setores centrados em dados, como ciências da vida, automação de design eletrônico (EDA), serviços financeiros e mídia e entretenimento.

O recurso CloudConnect do Elastifile permite a transferência de dados granular e bidirecional entre qualquer sistema de arquivos POSIX e o Cloud Storage. Para otimizar o desempenho e minimizar os custos, o CloudConnect garante que os dados sejam compactados e tenham a duplicação eliminada antes da transferência e envia as alterações somente após a sincronização inicial de dados. Quando usado para implantações de nuvem híbrida, o CloudConnect permite carregar dados de modo eficiente no Cloud Storage a partir de qualquer sistema de arquivos NFS local, oferecendo uma maneira econômica de levar dados para o Google Cloud. Quando usado no Google Cloud, o CloudConnect permite o nivelamento de dados com custo otimizado entre um sistema de arquivos do Elastifile e o Cloud Storage.

Diagrama de armazenamento e gerenciamento de dados do Elastifile

Para mais informações, acesse estes links:

Dell Technologies Cloud PowerScale para Google Cloud

O Dell Technologies Cloud PowerScale para Google Cloud é um serviço de arquivo nativo da nuvem integrado para usuários do Google Cloud com a família Dell EMC PowerScale, que inclui nós PowerScale e Isilon, o principalsistema de armazenamento NAS de escalonamento horizontal. Esta oferta pronta para uso, gerenciada pela Dell Technologies, combina o desempenho e a capacidade em escala do PowerScale OneFS e a flexibilidade e economia do Google Cloud.

O PowerScale para Google Cloud é um serviço simples e fácil de usar, com assinaturas anuais e preços garantidos e previsíveis. Basta que os clientes façam o pedido no Cloud Marketplace e, depois de provisionados, podem configurar e gerenciar os clusters OneFS diretamente no Console do Google Cloud. O Google envia uma única fatura mensal, e o suporte vem do Google, enquanto os especialistas da Dell Technologies fornecem gerenciamento completo do ciclo de vida do ambiente.

O PowerScale para Google Cloud permite que as organizações possam implantar uma instância dedicada segura do PowerScale com acesso de latência em submilissegundos aos serviços de análise e computação sob demanda do Google Cloud, mantendo o valor pagam com o PowerScale sem que tenham fazer alterações nos aplicativos. O PowerScale para Google Cloud oferece acesso a vários protocolos e escalonamento horizontal de até 50 PB em um único namespace, além de outros recursos de nível empresarial, como acesso a vários protocolos, replicação nativa e snapshots. Ao contarem com apoio do tempo de atividade de nível empresarial e dos SLAs de desempenho, os clientes podem expandir e adicionar novos recursos de armazenamento de arquivos, sem precisar de investir ainda mais no data center, nas instalações, na equipe, no hardware, na engenharia ou na integração.

O Google Cloud oferece uma ampla gama de serviços de computação e análise para processamento e análise econômico e sob demanda de cargas de trabalho baseadas em arquivos e com alta capacidade. Juntos, o PowerScale para Google Cloud permite que as empresas executem as cargas de trabalho baseadas em arquivos mais exigentes na nuvem, desde análise de Big Data, inteligência artificial e machine learning até análise de genoma, mídia e entretenimento. vantagem dos modelos flexíveis de consumo de nuvem e da economia na nuvem.

Arquitetura do Dell Technologies Cloud PowerScale para Google Cloud.

Para mais informações, acesse estes links:

Soluções do arquivador compatíveis no Cloud Marketplace

As soluções a seguir estão disponíveis no Cloud Marketplace.

Panzura

A Panzura é líder no gerenciamento de dados não estruturados na nuvem. Empresas da área de mídia e entretenimento, genoma, ciências da vida, saúde, serviços financeiros, entre outras, escolhem o Panzura Freedom NAS para consolidar suas ilhas de dados em uma única fonte de confiança no Google Cloud sem sacrificar o desempenho ou as reescritas de aplicativos. Ao consolidar dados não estruturados (NFS, SMB e Object) no Google Cloud, é possível conseguir acesso a todos os seus dados, colaborar com eles e analisá-los e controlá-los para garantir a conformidade.

O Panzura CloudFS sustenta a família Freedom e é um sistema de arquivos distribuído em escala para a nuvem. Ele incorpora serviços de arquivos inteligentes com o apoio de 26 patentes. A família de produtos Freedom permite que você aborde os casos de uso a seguir de maneira mais econômica: migração na nuvem, colaboração global e pesquisa e análise.

Juntos, o Panzura Freedom e o Google Cloud permitem aos líderes de TI:

  • Migrar milhares de aplicativos legados para o Google Cloud sem reescrita, alteração de fluxos de trabalho ou sacrifício de desempenho.
  • Eliminar a dispersão de dados de cópia para backup e armazenamento secundário, consolidando dados em uma única fonte de confiança.
  • Colaborar globalmente em projetos de grande escala para melhorar a produtividade e o tempo de lançamento.
  • Modernizar seu NAS legado ao mesmo tempo que economiza 70% do custo e reduz a infraestrutura de arquivos em seu data center em 90%.
  • Reidratar dados de fita legados para análise avançada e machine learning.

Saiba mais: