O que é computação de alto desempenho?

A computação de alto desempenho tem três componentes principais:

• Computação
• Rede
• Armazenamento

Em termos básicos, os nós (computação) do sistema HPC são conectados a outros nós para executar algoritmos e software simultaneamente e, em seguida, conectados (rede) aos servidores de dados (armazenamento) para capturar a saída. Como os projetos de HPC tendem a ser grandes e complexos, os nós do sistema geralmente precisam trocar os resultados da computação uns com os outros, o que significa que precisam de discos rápidos, memória de alta velocidade e rede de baixa latência e alta largura de banda entre os nós e sistemas de armazenamento. 

A HPC normalmente pode ser dividida em dois tipos gerais de design: computação em cluster e computação distribuída.

A computação paralela é feita com uma coleção de computadores (clusters) trabalhando juntos, como um grupo conectado de servidores colocados perto uns dos outros fisicamente e na topologia de rede, para minimizar a latência entre nós. 

O modelo de computação distribuída conecta a potência de computação de vários computadores em uma rede que está em um único local (geralmente no local) ou distribuída em vários locais, o que pode incluir hardware local e recursos de nuvem.

Além disso, os clusters HPC podem distinguir entre modelos de hardware homogêneos e heterogêneos. Em clusters homogêneos, todas as máquinas têm desempenho e configuração semelhantes e geralmente são tratadas como iguais e intercambiáveis. Em clusters heterogêneos, há uma coleção de hardware com características diferentes (contagem alta de núcleos de CPU, acelerada por GPU e muito mais), e o sistema é melhor usado quando os nós recebem as tarefas para aproveitar as vantagens distintas.

As cargas de trabalho em um ambiente de HPC geralmente vêm em dois tipos diferentes: acoplada com flexibilidade e rigidamente acoplada.

Cargas de trabalho acopladas com flexibilidade (muitas vezes chamadas de jobs paralelos ou de alta capacidade de processamento) consistem em tarefas independentes que podem ser executadas ao mesmo tempo em todo o sistema. As tarefas podem compartilhar armazenamento comum, mas não dependem de contexto e, portanto, não precisam comunicar resultados entre si à medida que são concluídas. Um exemplo de carga de trabalho acoplada com flexibilidade seria renderizar imagens geradas por computador (CGI, na sigla em inglês) em um longa-metragem, em que cada frame do vídeo é renderizado independentemente dos outros frames, mesmo que eles compartilhem dados de entrada iguais, como planos de fundo e modelos 3D.

Cargas de trabalho rigidamente acopladas consistem em muitos processos pequenos, cada um manipulado por nós diferentes em um cluster, que dependem uns dos outros para concluir a tarefa geral. Cargas de trabalho rigidamente acopladas geralmente exigem rede de baixa latência entre nós e acesso rápido à memória e ao armazenamento compartilhados. A comunicação entre processos para essas cargas de trabalho é processada por uma Message Passing Interface (MPI), usando softwares como o OpenMPI e o Intel MPI. Um exemplo de carga de trabalho rigidamente acoplada seria a previsão do tempo, que envolve simulação baseada em física de sistemas dinâmicos e interdependentes que envolvem temperatura, vento, pressão, precipitação e muito mais. Aqui, cada nó do cluster pode calcular soluções parciais para diferentes fatores climáticos, contribuindo para a previsão geral.

A HPC pode ser realizada no local com equipamentos dedicados, na nuvem ou um híbrido de cada um.

A HPC na nuvem oferece o benefício de flexibilidade e escalonabilidade sem a necessidade de comprar e manter supercomputadores caros e dedicados. A HPC na nuvem fornece toda a infraestrutura necessária para executar tarefas grandes e complexas, como armazenamento de dados, soluções de rede, recursos de computação especializados, segurança e aplicativos de inteligência artificial. As cargas de trabalho podem ser executadas sob demanda, o que significa que as organizações podem economizar dinheiro em equipamentos e tempo em ciclos de computação, usando apenas os recursos necessários, quando precisarem. 

Algumas considerações comuns ao optar por executar a HPC na nuvem incluem:

Latência e largura de banda: com a quantidade de dados em execução nas cargas de trabalho de HPC, os provedores de nuvem precisam fornecer recursos de rede robustos (mais de 100 GB/s) com baixa latência.

Desempenho: a HPC na nuvem funciona melhor com provedores que atualizam constantemente os sistemas para otimizar o desempenho, especialmente em processadores de computador, soluções de armazenamento e recursos de rede.

Sustentabilidade: a HPC é uma forma de computação que consome muitos recursos, exigindo muito mais eletricidade do que as cargas de trabalho normais. Os computadores locais de alto desempenho podem custar milhões de dólares por ano em energia. As nuvens públicas que priorizam energia renovável, como o Google Cloud, podem reduzir os impactos da energia na HPC. 

Armazenamento: devido ao tamanho da maioria das tarefas de HPC, o armazenamento de dados escalonável é uma consideração importante ao executar cargas de trabalho de HPC. Provedores de nuvem que podem armazenar e gerenciar facilmente grandes quantidades de dados (por exemplo, por meio da Alta escala do Filestore do Cloud Storage ou DDN EXAScaler) têm uma vantagem na HPC.

Segurança: um provedor de nuvem com uma infraestrutura global gerenciada de modo privado garante que os dados e os aplicativos estejam menos expostos à Internet pública. As redes de nuvem privada virtual (VPC) permitem a conectividade entre nós e podem configurar firewalls para aplicativos HPC. Os recursos de computação confidencial permitem a criptografia em uso, bem como criptografia em repouso e em trânsito.

Velocidade e desempenho

A computação de alto desempenho pode processar dados e tarefas muito mais rápido do que um único servidor ou computador. Tarefas que podem levar semanas ou meses em um sistema de computação regular podem levar horas na HPC.

Flexibilidade e eficiência

Com o HPC na nuvem, as cargas de trabalho podem ser aumentadas ou reduzidas, dependendo da necessidade. Com uma conexão de Internet robusta, a HPC pode ser acessada de qualquer lugar do mundo. 

Economias de custo

Devido à velocidade, flexibilidade e eficiência da HPC na nuvem, as organizações podem economizar tempo e dinheiro em recursos de computação e horas de trabalho.

Tolerância a falhas

Se um nó de um cluster de HPC falhar, o sistema será resiliente o suficiente para que o restante do sistema não falhe. Considerando as tarefas grandes e complexas executadas pela HPC, a tolerância a falhas é uma grande vantagem. 

P&D acelerado

A HPC oferece uma vantagem para empresas que realizam pesquisas e desenvolvimento, acelerando os resultados de projetos com uso intensivo de dados, como modelagem farmacêutica, projetando novas máquinas e peças ou simulando experimentos para reduzir a quantidade de testes.

Custo inicial

Os clusters e supercomputadores de HPC no local têm altos custos iniciais. A HPC local estaria fora de alcance para a maioria das organizações depois de levar em conta os custos de equipamentos, mão de obra, software e configuração.

Consumo de energia

Os custos de energia das instalações de supercomputadores locais podem ser altos. Para empresas ecologicamente corretas e econômicas, o consumo de energia de HPC pode ser sustentável executando a HPC na nuvem mais limpa do mundo. 

Manutenção 

A HPC funciona melhor na última geração de hardware e software otimizado. Manter um cluster de HPC no local ou um supercomputador atualizado para garantir o desempenho ideal pode rapidamente se tornar uma despesa grande e contínua.

O ecossistema moderno é repleto de dados e ferramentas de computação intensiva para analisá-los. A HPC permite que empresas e organizações processem todos esses dados em tempo hábil, alimentando novos insights, inovações e descobertas científicas. Isso permite que as empresas prevejam cenários de negócios, flutuações de mercado e façam recomendações. O campo médico, por sua vez, está sendo transformado com fácil acesso ao HPC na nuvem, ajudando a modelar possíveis surtos, decodificar o genoma de células cancerígenas e entender como as doenças evoluem.

Em resumo, a HPC está acelerando a taxa em que avanços científicos, tecnológicos e comerciais se fazem, ajudando a humanidade a criar um futuro mais próspero.