TPU adalah sirkuit terintegrasi khusus aplikasi (ASIC) yang dirancang khusus dan dikembangkan oleh Google. TPU dibuat khusus dari awal untuk mempercepat workload machine learning dan kecerdasan buatan. TPU dioptimalkan secara khusus untuk operasi tensor dan perkalian matriks berat yang bertindak sebagai elemen penyusun dasar jaringan neural, yang mendukung segalanya mulai dari model bahasa besar hingga agen penalaran yang kompleks.

Inti dari TPU adalah Matrix Multiplier Unit (MXU) khusus yang memproses operasi matriks dalam jumlah besar secara bersamaan. TPU menggunakan arsitektur "array sistolik" yang membaca data sekali dan mengalirkan data tersebut secara terus-menerus melalui ribuan unit logika aritmetika (ALU), sehingga mengakumulasi hasil tanpa perlu terus-menerus membaca dan menulis ke memori. TPU juga mendukung aritmetika presisi rendah (seperti floating point 16-bit atau 8-bit), sehingga memungkinkan jutaan komputasi per detik tanpa mengorbankan akurasi yang diperlukan untuk model AI.

Cloud TPU menawarkan dukungan native dan berperforma tinggi untuk framework machine learning terkemuka, terutama TensorFlow, PyTorch, dan JAX. Kode yang ditulis dalam framework ini dikompilasi oleh compiler Accelerated Linear Algebra (XLA), yang secara otomatis mengoptimalkan graf komputasi agar berjalan efisien pada hardware TPU yang mendasarinya.

TPU unggul dalam tugas deep learning yang memerlukan operasi matriks paralel yang masif. TPU sangat direkomendasikan untuk:

• Model yang didominasi oleh komputasi matriks
• Menjalankan pelatihan yang memerlukan waktu berminggu-minggu atau berbulan-bulan untuk konvergensi
• Model dasar besar dan model bahasa besar (LLM)
• Workload dengan embedding yang sangat besar, seperti mesin rekomendasi canggih
• Reinforcement learning berkelanjutan dan inferensi volume tinggi dengan latensi rendah

Pod TPU adalah cluster fisik besar chip TPU yang terhubung bersama melalui jaringan khusus berkecepatan tinggi (seperti Optical Circuit Switching atau jaringan Virgo Google). Satu superpod dapat berisi ribuan chip yang saling terhubung. "Slice" adalah subset pod yang lebih kecil dan khusus yang dapat Anda sewa. Arsitektur jaringan ini memungkinkan developer menskalakan workload AI mereka di sejumlah besar komputasi dengan sedikit atau tanpa perubahan kode, sehingga secara efektif mengoperasikan seluruh slice sebagai satu mesin terpadu. 

Goodput merujuk pada waktu produktif aktual yang digunakan infrastruktur Anda untuk melatih model secara aktif, bukan waktu idle. Pelatihan model dasar yang besar melibatkan orkestrasi kompleks di ribuan chip, yang berarti siklus komputasi dapat dengan mudah terbuang karena penundaan transfer data, reset hardware, atau pembuatan checkpoint. Cloud TPU dirancang untuk memaksimalkan Goodput melalui interkoneksi bandwidth tinggi dan cache memori yang dioptimalkan, sehingga memastikan bahwa siklus komputasi berbayar berkontribusi langsung pada kemajuan model.

Pengguna dapat mendukung keandalan, pemantauan komprehensif, serta pengelolaan menggunakan Google Kubernetes Engine (GKE) dan Cluster Director. Dengan memanfaatkan GKE untuk TPU, pelanggan beroperasi dalam ekosistem berbasis cloud yang dilengkapi Inference Gateway untuk load balancing dan kemampuan untuk menskalakan deployment hingga 130.000 node GKE.