O Parallelstore é um sistema de arquivos distribuído de baixa latência e totalmente gerenciado, projetado para atender às demandas de treinamento de IA/ML e cargas de trabalho de computação de alto desempenho (HPC) que precisam de latência extremamente baixa (submilissegundos), semântica POSIX completa e alta capacidade de operação de metadados. O Parallelstore é escalonado para velocidades de leitura de 1 TB/s e milhões de IOPS.
Para conectar um cluster do Google Kubernetes Engine (GKE) a uma instância do Parallelstore, use o driver da interface de armazenamento do contêiner (CSI, na sigla em inglês) do Parallelstore. O driver CSI do Parallelstore permite usar a API GKE para consumir instâncias do Parallelstore como volumes para cargas de trabalho com estado (por exemplo, pods e jobs). Ele é otimizado para cargas de trabalho de treinamento de IA/ML, principalmente aquelas que envolvem tamanhos de arquivo menores e leituras aleatórias.
O GKE ativa o driver CSI por padrão quando você cria um novo cluster do GKE Autopilot. Em clusters novos e atualizados do GKE Standard, é necessário ativar o driver CSI.
Benefícios
É possível usar o driver CSI do Parallelstore para aproveitar o armazenamento de alto desempenho. Com o driver CSI do Parallelstore, você pode acelerar as cargas de trabalho de treinamento de IA/ML e computação de alto desempenho, com acesso rápido e consistente a dados compartilhados para processamento e análise eficientes.
- Você tem acesso a sistemas de arquivos paralelos totalmente gerenciados como armazenamento pelas APIs do Kubernetes.
- O driver CSI do Parallelstore do Google Kubernetes Engine oferece suporte aos modos de acesso ReadWriteMany, ReadOnlyMany e ReadWriteOnce.
- É possível usar o driver CSI do Parallelstore do Google Kubernetes Engine para provisionar dinamicamente os PersistentVolumes.
- É possível acessar instâncias atuais do Parallelstore em cargas de trabalho do Kubernetes. Também é possível criar instâncias do Parallelstore de forma dinâmica e usá-las em cargas de trabalho do Kubernetes com um StatefulSet ou uma Deployment.
Limitações
- Persistência de dados: o Parallelstore é um sistema de arquivos "scratch plus". Ele é apoiado pelo SSD local com codificação de apagamento 2+1, e o tempo médio para perda de dados é de dois meses. O Parallelstore não é armazenamento de longo prazo e deve ser considerado um sistema de arquivos extremamente rápido para cargas de trabalho específicas.
- Limitação por pod: o GKE oferece suporte à montagem de apenas uma instância do Parallelstore por pod.
- Transferências de dados: a API GKE não oferece suporte à transferência de dados do Cloud Storage para o Parallelstore. Para realizar a transferência, use a API Parallelstore.
- Capacidade utilizável: é possível configurar a capacidade de armazenamento de 12.000 GiB a 100.000 GiB.
- Zonas com suporte: o Parallelstore tem suporte nessas zonas. Se a região do cluster for diferente da instância do Parallelstore, haverá uma queda perceptível no desempenho de E/S.
- Limitações do VPC-SC para Parallelstore: se você usa a VPC compartilhada e o VPC Service Controls, é necessário que o projeto host que fornece a rede e o projeto de serviço que contém a instância do Parallelstore estejam no mesmo perímetro para que a instância do Parallelstore funcione corretamente. Separar o projeto de host e o projeto de serviço com um perímetro pode fazer com que as instâncias fiquem indisponíveis e impedir a criação de novas instâncias.
Requisitos
Para usar o driver CSI do Parallelstore, os clusters precisam atender aos seguintes requisitos:
- Verifique se você instalou a versão mais recente da CLI do Google Cloud. A versão mínima da gcloud CLI compatível com esse recurso é a 469.0.0 ou mais recente.
- Use a versão 1.29 ou mais recente do cluster do Google Kubernetes Engine.
A seguir
- Crie e use um volume com suporte de uma instância do Parallelstore no Google Kubernetes Engine.
- Acesse uma instância existente do Parallelstore no Google Kubernetes Engine.