As TPUs são circuitos integrados de aplicação específica (ASICs, na sigla em inglês) personalizados e desenvolvidos pelo Google. Elas foram criadas do zero para acelerar cargas de trabalho de machine learning e inteligência artificial. As TPUs são otimizadas especificamente para as operações pesadas de multiplicação de matrizes e tensores que atuam como os blocos de construção fundamentais das redes neurais, alimentando tudo, desde modelos de linguagem grandes até agentes de raciocínio complexos.

No coração de uma TPU está uma Unidade Multiplicadora de Matriz (MXU, na sigla em inglês) especializada que processa grandes quantidades de operações de matriz simultaneamente. As TPUs utilizam uma arquitetura de "matriz sistólica" que lê os dados uma vez e os transmite continuamente por milhares de unidades lógicas aritméticas (ALUs, na sigla em inglês), acumulando resultados sem precisar ler e gravar constantemente na memória. Elas também oferecem suporte a aritmética de precisão reduzida (como pontos flutuantes de 16 ou 8 bits), permitindo milhões de computações por segundo sem sacrificar a acurácia necessária para modelos de IA.

As Cloud TPUs oferecem suporte nativo e de alto desempenho para os principais frameworks de machine learning, principalmente TensorFlow, PyTorch e JAX. O código escrito nesses frameworks é compilado pelo compilador de álgebra linear acelerada (XLA, na sigla em inglês), que otimiza automaticamente o gráfico computacional para ser executado com eficiência no hardware de TPU.

As TPUs são excelentes em tarefas de aprendizado profundo que exigem operações de matriz paralelas em massa. Elas são altamente recomendados para:

• modelos com preponderância de computações matriciais
• execuções de treinamento que levam semanas ou meses para convergir
• modelos de fundação grandes e modelos de linguagem grandes (LLMs)
• cargas de trabalho com embeddings ultragrandes, como mecanismos de recomendação avançados
• aprendizado por reforço contínuo e inferência de alto volume e baixa latência

Um Pod de TPU é um grande cluster físico de chips de TPU conectados por uma rede especializada de alta velocidade (como a Optical Circuit Switching ou a rede Virgo do Google). Um único superpod pode conter milhares de chips interconectados. Uma fração é um subconjunto menor e dedicado de um pod que você pode alugar. Essa arquitetura de rede permite que os desenvolvedores escalonem as cargas de trabalho de IA em grandes quantidades de computação com pouca ou nenhuma mudança de código, operando efetivamente toda a fração como uma única máquina unificada. 

Goodput é o tempo real e produtivo que sua infraestrutura gasta treinando ativamente o modelo, em vez de ficar inativa. O treinamento de modelos de fundação massivos envolve uma orquestração complexa em milhares de chips, o que significa que os ciclos de computação podem ser facilmente desperdiçados em atrasos na transferência de dados, redefinições de hardware ou checkpoints. As Cloud TPUs foram projetadas para maximizar o Goodput com interconexões de alta largura de banda e armazenamento em cache de memória otimizado, garantindo que os ciclos de computação pagos contribuam diretamente para o avanço do modelo.

Os usuários podem oferecer confiabilidade, monitoramento abrangente e gerenciamento usando o Google Kubernetes Engine (GKE) e o Cluster Director. Ao usar o GKE para TPU, os clientes operam em um ecossistema nativo da nuvem com o Inference Gateway para balanceamento de carga e a capacidade de escalonar implantações para até 130.000 nós do GKE.