Opções de armazenamento para dados do Cloud TPU

Neste documento, descrevemos as opções de armazenamento de dados que podem ser usadas ao treinar modelos no Cloud TPU.

Introdução

O Cloud TPU requer armazenamento de dados para o seguinte:

  • download e pré-processamento do conjunto de dados
  • processamento do pipeline de entrada do host
  • entrada de treinamento de modelo
  • saída de treinamento de modelo

Há cinco opções de armazenamento para os dados do aplicativo Cloud TPU e conjuntos de dados de treinamento:

Para detalhes de custo de armazenamento e desempenho, consulte Opções de armazenamento.

O disco de inicialização de uma VM da TPU

Por padrão, cada VM do Cloud TPU tem um disco permanente de inicialização única de 100 GB que contém o sistema operacional. O disco de inicialização também armazena conjuntos de dados transferidos por download para pré-processamento e dados de entrada e saída de modelos, fornecidos o valor total não excede o espaço disponível no disco de inicialização.

Se o aplicativo de treinamento exigir mais espaço de armazenamento além do tempo de inicialização padrão do disco, é possível adicionar um ou mais discos permanentes à sua VM ou VM da TPU instância. Existem diferentes procedimentos para adicionar um disco permanente a um VM do Compute Engine ou para uma VM da TPU.

Um disco permanente anexado a uma VM de TPU

Os discos permanentes são recursos de rede de armazenamento que as instâncias de VM podem acessar, como discos físicos computador ou servidor. Os dados armazenados em cada um dos discos permanentes são distribuídos em vários discos físicos. O Compute Engine gerencia os discos físicos e a distribuição de dados para você garantir redundância e desempenho ideal.

Os discos permanentes são criados independentemente da máquina virtual (VM) para manter os dados mesmo depois de excluir as instâncias de VM. Como o desempenho dos discos permanentes aumenta ou diminui automaticamente de acordo com o tamanho, é possível redimensionar os discos permanentes atuais ou adicionar mais discos permanentes em uma instância para atender aos seus requisitos de desempenho e espaço de armazenamento.

Os discos permanentes têm redundância integrada para proteger os dados contra equipamentos e garantir a disponibilidade dos dados por meio de eventos de manutenção de data center. As somas de verificação são calculadas para todas as operações de disco permanente. que o que você lê é o que escreveu.

Além disso, é possível criar snapshots de discos permanentes para proteção contra perda de dados devido a erros do usuário. Instantâneos são incrementais e levam apenas alguns minutos para serem criados, mesmo se você fizer snapshots dos discos são anexadas a instâncias em execução.

Para mais informações sobre o uso de discos permanentes com VMs de TPU, consulte Adicione um disco permanente a uma VM da TPU.

Buckets do Cloud Storage

Os buckets do Cloud Storage são os a opção de armazenamento mais flexível, escalonável e durável para suas instâncias de VM. Se seu job de treinamento não exigir a menor latência de discos permanentes, para armazenar o conjunto de dados em um bucket do Cloud Storage.

O desempenho dos buckets do Cloud Storage depende da classe de armazenamento. selecionada e a localização do bucket em relação à instância.

criar o bucket do Cloud Storage na mesma zona que a A VM da TPU oferece um desempenho comparável em discos permanentes, mas com latência maior e capacidade de processamento menos consistente e as características determinantes.

Todos os buckets do Cloud Storage têm redundância integrada para proteger contra falhas em equipamentos e garantir a disponibilidade de dados de manutenção da infraestrutura. Os checksums são calculados para todas as operações do Cloud Storage para garantir que você consiga ler exatamente aquilo que gravou.

Ao contrário dos discos permanentes, os buckets do Cloud Storage não são restritos na zona em que a instância está localizada. Além disso, você pode ler e gravar dados em um bucket a partir de várias instâncias simultaneamente. Por exemplo, configure instâncias em várias zonas para ler e gravar dados no mesmo bucket em vez de replicar os dados em discos permanentes em várias zonas.

Cloud Storage FUSE

Com o Cloud Storage FUSE, é possível montar e acessar buckets do Cloud Storage como sistemas de arquivos locais. Isso permite que aplicativos leiam e gravem objetos seu bucket usando a semântica padrão de sistemas de arquivos.

Consulte a documentação sobre FUSE do Cloud Storage para mais detalhes. sobre como o Cloud Storage FUSE funciona e uma descrição de como o Cloud Storage As operações do FUSE são mapeadas para as operações do Cloud Storage. Também é possível encontrar informações sobre como usar o Cloud Storage FUSE, por exemplo, como instalar o CLI do Cloud Storage FUSE e buckets de montagem no GitHub.

Compartilhamento de arquivos do Filestore

O compartilhamento de arquivos do Filestore é um armazenamento conectado à rede (NAS, na sigla em inglês) totalmente gerenciado do Compute Engine. Filestore oferece compatibilidade com aplicativos empresariais existentes e suporta Cliente compatível com NFSv3.

O Filestore oferece baixa latência para arquivos as operações. Para cargas de trabalho sensíveis à latência, o Filestore oferece suporte de até 100 TB, capacidade de processamento de 25 GB por segundo e 720 mil IOPS, com com uma variabilidade mínima no desempenho.

Com o Filestore, é possível montar compartilhamentos de arquivos em VMs de TPU.

A seguir