Google Cloud Managed Lustre

"Nossa capacidade de ajudar as empresas a identificar e bloquear áudios, vídeos e imagens deepfake depende da qualidade dos nossos modelos. O Lustre gerenciado é essencial para o treinamento bem-sucedido do nosso modelo com os conjuntos de dados dinâmicos. Ele satura totalmente nossas GPUs e é 6 vezes mais rápido do que as outras soluções de armazenamento que avaliamos."

Assista a história de sucesso aqui.

^{—Zohaib Ahmed, CEO da Resemble AI}

"O Managed Lustre nos permite escalonar em 3 vezes o treinamento de modelo de IA para o AFEELA Intelligent Drive em comparação com outras soluções do Google Cloud."

^{—Motoi Kataoka, gerente sênior da plataforma de análise de dados e IA da Sony Honda Mobility Inc.}

"Ao integrar o Managed Lustre aos VTC (agora Managed Training Clusters na plataforma de agentes do Gemini Enterprise), a Salesforce AI Research eliminou os gargalos típicos de onboarding, o que nos permitiu começar a trabalhar imediatamente com a carga de trabalho de inferência. Esse armazenamento de alta capacidade e baixa latência mantém nossas GPUs B200 totalmente saturadas, gerando um ganho de desempenho substancial na inferência de modelos de linguagem grandes em comparação com a H200. Para nossos clientes, isso se traduz diretamente em agentes de IA mais rápidos e responsivos que podem lidar com raciocínios complexos com uma fração da latência anterior."

^{—Lavanya Karanam, engenheira-chefe de software da Salesforce}

"A migração para o Google Cloud mudou fundamentalmente o ritmo da minha pesquisa. Meu trabalho envolve o treinamento de redes neurais em grande escala com base em conjuntos de dados massivos, incluindo o Common Corpus completo, que a equipe de cluster carregou e tornou acessível diretamente para mim. O conjunto de dados completo simplesmente não seria possível com nenhuma outra infraestrutura que eu tivesse acesso prático. Com o Lustre gerenciado, a ingestão que antes era um gargalo no meu pipeline agora é concluída em segundos, minhas GPUs são usadas de forma consistente e gasto muito menos tempo esperando na fila. O resultado é um tempo de insight mensuravelmente mais rápido em todos os experimentos que realizo."

^{Christopher J. Lynch, Ph.D., Professor assistente de pesquisa, Virginia Modeling, Analysis, & Simulation Center (VMASC), Old Dominion University}

O Managed Lustre eliminou pelo menos 50% das interrupções que enfrentamos ao executar experimentos de treinamento para modelos de raciocínio matemático, permitindo que executemos o dobro de experimentos. Integramos o serviço como um cache regional para checkpoints "quentes" e conseguimos uma inicialização e persistência de checkpoints mais rápidas, confiáveis e convenientes. No nosso fluxo de trabalho, os jobs de treinamento gravam checkpoints que a inferência subsequente ou novos jobs de treinamento consomem em um sistema off-line, resultando em um aumento de até 15 vezes na velocidade de recuperação de dados e uma diminuição de mais de 50% no tempo de inicialização. A capacidade de usar o Lustre como um sistema de arquivos montado confiável com desempenho sólido imediato permitiu que nossa equipe de pesquisa fosse mais autossuficiente na experimentação com novas tecnologias de treinamento, permitindo o dobro de ciclos de iteração, mantendo um desempenho superior em relação à busca dos mesmos dados em outras opções de armazenamento."

^{—Riley Patterson, líder de infraestrutura da Harmonic}

"Ao compartilhar um cluster de GPU entre várias organizações, precisávamos de um armazenamento de alto desempenho que pudesse acompanhar o ritmo sem se tornar um gargalo. O Managed Lustre simplificou a implantação, e os recursos de cota nos permitem compartilhar a capacidade de armazenamento entre as equipes de maneira organizada. Mesmo com picos de E/S simultâneos de nós de GPU em execução ao mesmo tempo, não vimos gargalos na capacidade de processamento."

^{— Jiyeon Jung, engenheiro sênior de infraestrutura de IA, LG AI Research}

O Managed Lustre permitiu que a Atlassian criasse um sistema de treinamento de vários nós eficiente e confiável que usa GPUs preemptivas. O Lustre transformou os eventos de preempção de reexecuções de treinamento caras em restaurações gerenciáveis de 5 minutos. Para nosso treinamento de IA de vários nós no GKE, ter uma única camada de armazenamento compartilhada entre pods é a diferença entre cargas de trabalho que travam nas transferências de dados e cargas de trabalho que escalonam de maneira limpa, oferecendo uma capacidade de processamento quase 5 vezes maior e uma utilização de GPU 70% melhor, em comparação com um sistema baseado em NVMe. Agora, ela é nossa camada de armazenamento padrão para treinamento distribuído na Atlassian."

^{— Vishal Natani, gerente sênior de engenharia de ML, plataforma de ML, Atlassian}