Opções de armazenamento para dados da Cloud TPU

Este documento descreve as opções de armazenamento de dados que podem ser usadas quando prepara modelos na Cloud TPU.

Introdução

O Cloud TPU requer armazenamento de dados para:

  • Transferência e pré-processamento do conjunto de dados
  • Processamento da pipeline de entrada do anfitrião
  • Entrada de preparação do modelo
  • Resultado da preparação do modelo

As opções de armazenamento para os dados de aplicação e os conjuntos de dados de treino da Cloud TPU são:

Para mais informações sobre a gestão do armazenamento, consulte as seguintes páginas:

Armazenamento em bloco duradouro

O armazenamento em bloco duradouro, também conhecido como discos ou volumes, destina-se a dados que quer preservar depois de parar, suspender ou eliminar a sua VM de TPU. O armazenamento em bloco duradouro continua disponível mesmo que a VM de TPU falhe ou avarie. Pode usar o disco de arranque da VM de TPU ou anexar armazenamento em blocos adicional à TPU.

Pode querer anexar um disco adicional nos seguintes cenários:

  • O tamanho do conjunto de dados de preparação excede o tamanho do disco de arranque da TPU.
  • Tem dados só de leitura e quer um acesso de leitura mais rápido através de um volume de ML do Hyperdisk.

Pode anexar dois tipos de armazenamento em bloco duradouro a uma TPU do Google Cloud: Google Cloud Hyperdisk e Persistent Disk. O disco persistente não é suportado para a série de máquinas mais recente, incluindo o Cloud TPU v6e. A Google recomenda a utilização do Google Cloud Hyperdisk para o desempenho mais elevado e funcionalidades avançadas.

Disco de arranque da VM da TPU

Por predefinição, cada VM da Cloud TPU tem um único disco de arranque de 100 GiB que contém o sistema operativo. O disco de arranque também pode ser usado para o armazenamento temporário de conjuntos de dados transferidos para pré-processamento e dados de entrada e saída do modelo, desde que a quantidade total não exceda o espaço disponível no disco de arranque.

Não é possível redimensionar o disco de arranque numa TPU do Google Cloud. Se a sua aplicação precisar de espaço de armazenamento adicional além da predefinição do disco de arranque, pode adicionar um ou mais discos persistentes à sua instância de VM de TPU. Para mais informações, consulte o artigo Anexe armazenamento em bloco duradouro a uma VM de TPU.

Armazenamento ligado

O Hyperdisk e o disco persistente são dispositivos duradouros de armazenamento de rede aos quais as suas instâncias de VM podem aceder, como os discos físicos de um computador ou um servidor. Ambos os tipos de discos são criados independentemente das instâncias de máquinas virtuais (VM), pelo que pode manter os seus dados mesmo depois de eliminar as instâncias de VM.

As vantagens da utilização do Hyperdisk em relação ao Persistent Disk incluem desempenho personalizável, IOPS mais elevados e limites de débito. Para mais informações sobre o Hyperdisk e o Persistent Disk, consulte o artigo Escolha um tipo de disco.

Para mais informações sobre a utilização do armazenamento em bloco duradouro com VMs de TPU, consulte o artigo Anexe armazenamento em bloco duradouro a uma VM de TPU.

Cópias de segurança de discos

Pode ser difícil obter os dados do disco de arranque se a VM de TPU ficar bloqueada num estado "desconhecido" ou recuperar dados eliminados. Certifique-se de que faz uma cópia de segurança dos seus dados através de outra opção de armazenamento, como contentores do Cloud Storage.

Se armazenar dados num disco anexado, pode usar instantâneos de disco, que fazem uma cópia de segurança incremental dos dados num disco. As capturas instantâneas de disco não são suportadas para o disco de arranque da TPU. Para mais informações, consulte o artigo Acerca das cópias instantâneas de disco.

Contentores do Cloud Storage

Os contentores do Cloud Storage são a opção de armazenamento mais flexível, escalável e duradoura para as suas instâncias de VM. Se o seu trabalho de preparação não exigir a latência mais baixa do armazenamento de blocos duradouro, pode armazenar o conjunto de dados num contentor do Cloud Storage.

O desempenho dos contentores do Cloud Storage depende da classe de armazenamento que selecionar e da localização do contentor relativamente à sua instância.

A criação do seu contentor do Cloud Storage na mesma zona que a VM de TPU oferece um desempenho comparável ao do armazenamento de blocos duradouro, mas com uma latência mais elevada e características de débito menos consistentes.

Todos os contentores do Cloud Storage têm redundância incorporada para proteger os seus dados contra falhas de equipamento e garantir a disponibilidade dos dados através de eventos de manutenção do centro de dados. As somas de verificação são calculadas para todas as operações do Cloud Storage para ajudar a garantir que o que lê é o que escreveu.

Ao contrário do armazenamento de blocos duradouro, os contentores do Cloud Storage não estão restritos à zona onde a sua instância está localizada. Além disso, pode ler e escrever dados num contentor a partir de várias instâncias em simultâneo. Por exemplo, pode configurar instâncias em várias zonas para ler e escrever dados no mesmo contentor, em vez de replicar os dados para o armazenamento de blocos duradouro em várias zonas.

Para mais informações sobre como associar a VM de TPU a um contentor do Cloud Storage, consulte o artigo Associar a contentores do Cloud Storage.

Cloud Storage FUSE

O Cloud Storage FUSE permite-lhe montar e aceder a contentores do Cloud Storage como sistemas de ficheiros locais. Isto permite que as aplicações leiam e escrevam objetos no seu contentor através da semântica padrão do sistema de ficheiros.

Consulte a documentação do FUSE do Cloud Storage para ver detalhes sobre o funcionamento do FUSE do Cloud Storage e uma descrição de como as operações do FUSE do Cloud Storage são mapeadas para as operações do Cloud Storage. Pode encontrar informações adicionais sobre como usar o Cloud Storage FUSE, como instalar a CLI do Cloud Storage FUSE e montar contentores no GitHub.

Partilha de ficheiros do Filestore

A partilha de ficheiros do Filestore é um armazenamento associado à rede (NAS) totalmente gerido para o Compute Engine. O Filestore oferece compatibilidade com aplicações empresariais existentes e suporta qualquer cliente compatível com NFSv3.

O Filestore oferece baixa latência para operações de ficheiros. Para cargas de trabalho sensíveis à latência, o Filestore suporta uma capacidade de até 100 TiB e um débito de 25 GiB por segundo e 720 mil IOPS, com uma variabilidade mínima no desempenho.

Com o Filestore, pode montar partilhas de ficheiros em VMs de TPU.

O que se segue?