O que é computação de alto desempenho?
A computação de alto desempenho (HPC) é a prática de agregar recursos de computação para conseguir um desempenho maior do que o de uma única estação de trabalho, servidor ou computador. A HPC pode assumir a forma de supercomputadores personalizados ou grupos de computadores individuais chamados clusters. A HPC pode ser executada no local, na nuvem ou como um híbrido de ambos. Cada computador em um cluster é geralmente chamado de nó, e cada nó é responsável por uma tarefa diferente. Os nós do controlador executam serviços essenciais e coordenam o trabalho entre nós, nós interativos ou nós de login atuam como os hosts em que os usuários fazem login, seja por interface gráfica do usuário ou linha de comando, e calculam ou os nós de trabalho executam os cálculos. Os algoritmos e o software são executados em paralelo em cada nó do cluster para ajudar a executar a tarefa determinada. A HPC normalmente tem três componentes principais: computação, armazenamento e rede
A HPC permite que empresas e pesquisadores agreguem recursos de computação para resolver problemas que sejam grandes demais para os computadores padrão lidarem individualmente ou que levariam muito tempo para serem processados. Por esse motivo, às vezes ele também é chamado de supercomputação.
A HPC é usada para resolver problemas na pesquisa acadêmica, ciência, design, simulação e Business Intelligence. A capacidade da HPC de processar rapidamente grandes quantidades de dados alimenta alguns dos aspectos mais fundamentais da sociedade atual, como a capacidade dos bancos de verificar fraudes em milhões de transações de cartões de crédito de uma só vez, para testar as configurações do carro com segurança de falhas ou saber como estará o tempo amanhã.
Saiba mais sobre a HPC no Google.
Tipos de clusters de HPC
A computação de alto desempenho tem três componentes principais:
- Computação
- Rede
- Armazenamento
Em termos básicos, os nós (computação) do sistema HPC são conectados a outros nós para executar algoritmos e software simultaneamente e, em seguida, conectados (rede) aos servidores de dados (armazenamento) para capturar os saída. Como os projetos de HPC tendem a ser grandes e complexos, os nós do sistema geralmente precisam trocar os resultados da computação uns com os outros, o que significa que precisam de discos rápidos, alta velocidade memória e baixa largura de banda entre os nós e sistemas de armazenamento.
A HPC normalmente pode ser dividida em dois tipos gerais de design: computação em cluster e computação distribuída.
Computação em cluster
A computação paralela é feita com uma coleção de computadores (clusters) trabalhando juntos, como um grupo conectado de servidores colocados uns aos outros fisicamente e na topologia de rede, para minimizar a latência entre nós.
Computação distribuída
O modelo de computação distribuída conecta a potência de computação de vários computadores em uma rede que está em um único local (geralmente no local) ou distribuída em vários locais, o que pode incluir hardware local e recursos de nuvem.
Além disso, os clusters HPC podem distinguir entre modelos de hardware homogêneos e heterogêneos. Em clusters homogêneos, todas as máquinas têm desempenho e configuração semelhantes e geralmente são tratadas como iguais e intercambiáveis. Em clusters heterogêneos, há uma coleção de hardware com características diferentes (contagem alta de núcleos, CPU acelerada e muito mais), e o sistema é melhor usado quando os nós recebem as tarefas da melhor forma. aproveitar as vantagens distintas.
Como funcionam os jobs de HPC?
As cargas de trabalho em um ambiente de HPC geralmente vêm em dois tipos diferentes: acoplado com flexibilidade e fortemente acoplado.
Cargas de trabalho levemente acopladas (muitas vezes chamadas de jobs paralelos ou de alta capacidade) consistem em tarefas independentes que podem ser executadas ao mesmo tempo em todo o sistema. As tarefas podem compartilhar armazenamento comum, mas não dependem de contexto e, portanto, não precisam comunicar resultados entre si à medida que são concluídas. Um exemplo de carga de trabalho acoplada com flexibilidade seria renderizar imagens geradas por computador (CGI, na sigla em inglês) em um longa-metragem, em que cada frame do vídeo é renderizado independentemente dos outros frames, mesmo que eles compartilhem o dados de entrada iguais, como planos de fundo e modelos 3D.
Cargas de trabalho bem agrupadas consistem em muitos processos pequenos, cada um manipulado por nós diferentes em um cluster, que dependem uns dos outros para concluir a tarefa geral. Cargas de trabalho acopladas com frequência geralmente exigem rede de baixa latência entre nós e acesso rápido à memória e ao armazenamento compartilhados. A comunicação entre processos para essas cargas de trabalho é processada por uma Message Passing Interface (MPI), usando software como o OpenMPI e o Intel MPI. Um exemplo de carga de trabalho altamente associada seria a previsão do tempo, que envolve simulação baseada em física de sistemas dinâmicos e interdependentes que envolvem temperatura, vento, pressão, precipitação e muito mais. Aqui, cada nó do cluster pode calcular soluções parciais para diferentes fatores climáticos, contribuindo para a previsão geral.
HPC na nuvem
A HPC pode ser realizada no local com equipamentos dedicados, na nuvem ou um híbrido de cada um.
A HPC na nuvem oferece o benefício de flexibilidade e escalonabilidade sem a necessidade de comprar e manter supercomputadores caros e dedicados. A HPC na nuvem fornece toda a infraestrutura necessária para executar tarefas grandes e complexas, como armazenamento de dados, soluções de rede, recursos de computação especializados, segurança e aplicativos de inteligência artificial. As cargas de trabalho podem ser executadas sob demanda, o que significa que as organizações podem economizar dinheiro em equipamentos e tempo em ciclos de computação, usando apenas os recursos necessários, quando precisarem.
Algumas considerações comuns ao optar por executar a HPC na nuvem incluem:
Latência e largura de banda: com a quantidade de dados em execução nas cargas de trabalho de HPC, os provedores de nuvem precisam fornecer recursos de rede robustos (mais de 100 GB/s) com baixa latência.
Desempenho: a HPC na nuvem funciona melhor com provedores que atualizam constantemente os sistemas para otimizar o desempenho, especialmente em processadores de computador, soluções de armazenamento e recursos de rede.
Sustentabilidade: a HPC é uma forma de computação que consome muitos recursos, exigindo muito mais eletricidade do que as cargas de trabalho normais. Os computadores locais de alto desempenho podem custar milhões de dólares por ano em energia. As nuvens públicas que priorizam energia renovável, como o Google Cloud, podem reduzir os impactos da energia na HPC.
Armazenamento: devido ao tamanho da maioria das tarefas de HPC, o armazenamento de dados escalonável é uma consideração importante ao executar cargas de trabalho de HPC. Provedores de nuvem que podem armazenar e gerenciar facilmente grandes quantidades de dados (por exemplo, por meio do Cloud Storage)Alta escala do Filestore , ou DDN EXAScaler têm uma vantagem na HPC.
Segurança: um provedor de nuvem com uma infraestrutura global gerenciada de modo privado garante que os dados e os aplicativos estejam menos expostos à Internet pública. As redes de nuvem privada virtual (VPC) permitem a conectividade entre nós e podem configurar firewalls para aplicativos HPC. Os recursos de computação confidencial permitem a criptografia em uso, bem como criptografia em repouso e em trânsito.
Benefícios da HPC na nuvem
Velocidade e desempenho
A computação de alto desempenho pode processar dados e tarefas muito mais rápido do que um único servidor ou computador. Tarefas que podem levar semanas ou meses em um sistema de computação regular podem levar horas na HPC.
Flexibilidade e eficiência
Com o HPC na nuvem, as cargas de trabalho podem ser aumentadas ou reduzidas, dependendo da necessidade. Com uma conexão de Internet robusta, a HPC pode ser acessada de qualquer lugar do mundo.
Economias de custo
Devido à velocidade, flexibilidade e eficiência da HPC na nuvem, as organizações podem economizar tempo e dinheiro em recursos de computação e horas de trabalho.
Tolerância a falhas
Se um nó de um cluster HPC falhar, o sistema será resiliente o suficiente para que o restante do sistema não falhe. Considerando as tarefas grandes e complexas executadas pela HPC, a tolerância a falhas é uma grande vantagem.
P&D acelerado
A HPC oferece uma vantagem para empresas que realizam pesquisas e desenvolvimento, acelerando os resultados de projetos com uso intensivo de dados, como modelagem farmacêutica, projetando novas máquinas e peças ou simulando experimentos para reduzir a quantidade de testes.
Custo inicial
Os clusters e supercomputadores de HPC no local têm altos custos iniciais. A HPC local estaria fora de alcance para a maioria das organizações depois de levar em conta os custos de equipamentos, mão de obra, software e configuração.
Consumo de energia
Os custos de energia das instalações de supercomputadores locais podem ser altos. Para empresas ecologicamente corretas e econômicas, o consumo de energia de HPC pode ser sustentável executando a HPC na nuvem mais limpa do mundo.
Manutenção
A HPC funciona melhor na última geração de hardware e software otimizado. Manter um cluster de HPC no local ou um supercomputador atualizado para garantir o desempenho ideal pode rapidamente se tornar uma despesa grande e contínua.
Por que a HPC é importante?
O ecossistema moderno é repleto de dados e ferramentas de computação intensiva para analisá-los. A HPC permite que empresas e organizações processem todos esses dados em tempo hábil, alimentando novos insights, inovações e descobertas científicas. Isso permite que as empresas prevejam cenários de negócios, flutuações de mercado e façam recomendações. O campo médico, por sua vez, está sendo transformado com fácil acesso ao HPC na nuvem, ajudando a modelar possíveis surtos, decodificar o genoma de células cancerígenas e entender como as doenças evoluem.
Em resumo, a HPC está acelerando a taxa em que avanços científicos, tecnológicos e comerciais se fazem, ajudando a humanidade a criar um futuro mais próspero.
Resolva seus desafios mais difíceis com o Google Cloud
Usos para HPC
Research
O HPC é usado em pesquisas acadêmicas e científicas para realizar análises e cálculos de grandes conjuntos de dados, como dados astronômicos de satélites e telescópios, criar novos materiais, descobrir novos medicamentos ou modelar proteínas.
Simulação
A HPC é usada para simular cenários físicos, como colisões de automóveis, fluxo de ar sobre asas de avião ou dentro de mecanismos, ou como novos medicamentos em potencial interagem com células humanas.
Design
Os fabricantes costumam usar HPC e inteligência artificial para projetar novas máquinas, como aviões e automóveis, em software antes de construir protótipos físicos. Sem o poder de computação da HPC, projetar e renderizar modelos em potencial levaria muito mais tempo e atrasaria o processo de fabricação. Os fabricantes de chips para computador usam a HPC para modelar novos designs de chip antes de prototipá-los no Foundry.
Otimização
A HPC pode ajudar a otimizar conjuntos de dados grandes e difíceis, como portfólios financeiros ou as rotas mais eficientes para frete e logística.
Previsão
A HPC pode usar conjuntos de dados grandes e complexos e fazer previsões em tempo hábil. Muitas empresas aeroespaciais usam a HPC para prever quando as máquinas precisarão de manutenção. A maioria das estimativas climáticas é executada com computação de alto desempenho, permitindo que os meteorologistas prevejam os caminhos das tempestades ou modelem a mudança climática.
Análise de dados
A HPC pode analisar o maior conjunto de dados. Quando aplicada com aplicativos de machine learning e inteligência artificial, a HPC pode ajudar a fazer recomendações ou executar a detecção de fraudes para cartões de crédito. A HPC aumentou muito a velocidade com que os genomas podem ser sequenciados.
Produtos e serviços relacionados
O Google Cloud oferece uma variedade de produtos e serviços para ajudar as organizações a aproveitar ao máximo da HPC na nuvem.
