Opções de armazenamento para dados da Cloud TPU

Neste documento, descrevemos as opções de armazenamento de dados que podem ser usadas ao treinar modelos no Cloud TPU.

Introdução

A Cloud TPU requer armazenamento de dados para o seguinte:

  • download e pré-processamento do conjunto de dados
  • processamento do pipeline de entrada do host
  • entrada de treinamento de modelo
  • saída de treinamento de modelo

Há quatro opções de armazenamento para os dados do aplicativo do Cloud TPU e para os conjuntos de dados de treinamento:

Para detalhes de custo e desempenho do armazenamento, consulte Opções de armazenamento.

O disco de inicialização para uma VM de TPU ou nó de TPU

Por padrão, cada VM do Cloud TPU tem um disco permanente de 100 GB de inicialização que contém o sistema operacional. O disco de inicialização também pode ser usado para armazenar conjuntos de dados transferidos por download para pré-processamento e dados de entrada e saída do modelo, desde que a quantidade total não exceda o espaço disponível no disco de inicialização.

Se o aplicativo de treinamento exigir espaço de armazenamento extra além do padrão do disco de inicialização, será possível adicionar um ou mais discos permanentes à instância de VM da VM ou da TPU. Há procedimentos diferentes para adicionar um disco permanente a um nó de TPU (uma VM do Compute Engine) ou a uma VM de TPU.

um disco permanente anexado a uma VM de TPU ou a um nó de TPU;

Discos permanentes são dispositivos de armazenamento de rede duráveis que podem ser acessados por suas instâncias de VM, como discos físicos em um computador ou em um servidor. Os dados em cada disco permanente são distribuídos em vários discos físicos. O Compute Engine gerencia os discos físicos e a distribuição de dados para garantir a redundância e otimizar o desempenho.

Os discos permanentes são criados independentemente das instâncias de máquina virtual (VM, na sigla em inglês) para que você mantenha os dados mesmo depois de excluir as instâncias de VM. Como o desempenho do disco permanente é dimensionado automaticamente de acordo com o tamanho, é possível redimensionar os discos permanentes atuais ou adicionar mais deles a uma instância para atender aos requisitos de desempenho e espaço de armazenamento.

Os discos permanentes têm redundância integrada para proteger os dados contra falhas de equipamento e garantir a disponibilidade deles com eventos de manutenção do data center. As somas de verificação são calculadas para todas as operações de discos permanentes para garantir que você leia exatamente aquilo que foi gravado.

Além disso, crie snapshots de discos permanentes para se proteger contra perda de dados devido a erros do usuário. Os snapshots são incrementais e levam apenas alguns minutos para serem criados, mesmo se os discos deles estiverem anexados a instâncias em execução.

Buckets do Cloud Storage

Os buckets do Cloud Storage são a opção de armazenamento mais flexível, escalonável e durável para as instâncias de VM. Se o job de treinamento não exigir latência menor dos discos permanentes, armazene o conjunto de dados em um bucket do Cloud Storage.

O desempenho dos buckets do Cloud Storage depende da classe de armazenamento selecionada e do local do bucket relacionado à instância.

A criação do bucket do Cloud Storage na mesma zona da instância de VM oferece um desempenho comparável ao dos discos permanentes, mas com maior latência e características de capacidade menos consistentes.

Todos os buckets do Cloud Storage têm redundância integrada para proteger os dados contra falhas de equipamento e garantir a disponibilidade deles por meio de eventos de manutenção do data center. As somas de verificação são calculadas para todas as operações do Cloud Storage para garantir que você leia exatamente aquilo que foi gravado.

Ao contrário dos discos permanentes, os buckets do Cloud Storage não estão restritos à zona em que a instância está localizada. Além disso, é possível ler e gravar dados em um bucket a partir de várias instâncias ao mesmo tempo. Por exemplo, você pode configurar instâncias em várias zonas para ler e gravar dados no mesmo bucket em vez de replicar os dados em discos permanentes em várias zonas.

Além disso, você pode ativar um bucket do Cloud Storage para a instância como um sistema de arquivos. Os buckets ativados têm o mesmo funcionamento de um disco permanente quando você lê ou grava arquivos. No entanto, os buckets do Cloud Storage não podem ser usados como discos de inicialização. A instância pode gravar dados em um arquivo e substituir dados críticos de outras instâncias que também estão gravando dados no bucket de armazenamento.

Compartilhamento de arquivos do Filestore

O compartilhamento de arquivos do Filestore é um armazenamento conectado à rede (NAS, na sigla em inglês) totalmente gerenciado para o Compute Engine. O Filestore oferece compatibilidade nativa com aplicativos empresariais atuais e dá suporte a qualquer cliente compatível com NFSv3.

O Filestore oferece baixa latência para operações com arquivos. Para cargas de trabalho sensíveis à latência, o Filestore é compatível com capacidade de até 100 TB e capacidade de 25 GB/s e 720 mil IOPS, com variabilidade mínima de desempenho.

Com o Filestore, você consegue facilmente ativar compartilhamentos de arquivos nas VMs do Compute Engine.

A seguir