Halaman ini diterjemahkan oleh Cloud Translation API.

Mengelola resource TPU

Halaman ini menjelaskan cara membuat, mencantumkan, menghentikan, memulai, menghapus, dan terhubung ke Cloud TPU menggunakan Create Node API. Create Node API dipanggil saat Anda menjalankan perintah gcloud compute tpus tpu-vm create menggunakan Google Cloud CLI dan saat Anda membuat TPU menggunakan Konsol Google Cloud. Saat Anda menggunakan Create Node API, permintaan Anda akan segera diproses. Jika kapasitas tidak memadai untuk memenuhi permintaan Anda, permintaan akan gagal.

Praktik terbaiknya adalah membuat TPU menggunakan resource yang diantrekan, bukan Create Node API. Saat Anda meminta resource yang diantrekan, permintaan akan ditambahkan ke antrean yang dikelola oleh layanan Cloud TPU. Saat tersedia, resource yang diminta akan disertakan ke project Google Cloud Anda untuk penggunaan eksklusif langsung. Untuk mengetahui informasi selengkapnya, lihat Mengelola resource dalam antrean.

Saat menggunakan Multislice, Anda harus menggunakan resource yang diantrekan. Untuk informasi selengkapnya, lihat Pengantar multislice.

Jika ingin menggunakan Google Kubernetes Engine (GKE) untuk mengelola resource TPU, Anda harus membuat cluster GKE terlebih dahulu. Kemudian, Anda menambahkan node pool yang berisi slice TPU ke cluster. Untuk mengetahui informasi selengkapnya, lihat Tentang TPU di GKE.

Prasyarat

Sebelum menjalankan prosedur ini, Anda harus menginstal Google Cloud CLI, membuat project Google Cloud, dan mengaktifkan Cloud TPU API. Untuk mengetahui petunjuknya, lihat Menyiapkan lingkungan Cloud TPU.

Jika menggunakan Google Cloud CLI, Anda dapat menjalankan perintah menggunakan Cloud Shell, VM Compute Engine, atau komputer lokal. Cloud Shell memungkinkan Anda berinteraksi dengan Cloud TPU tanpa perlu menginstal software apa pun. Cloud Shell akan terputus setelah periode tidak aktif. Jika Anda menjalankan perintah yang berjalan lama, sebaiknya instal Google Cloud CLI di komputer lokal Anda. Untuk mengetahui informasi selengkapnya tentang Google Cloud CLI, lihat Referensi gcloud.

Membuat Cloud TPU menggunakan Create Node API

Anda dapat membuat Cloud TPU menggunakan gcloud, konsol Google Cloud, atau Cloud TPU API.

Saat membuat Cloud TPU, Anda harus menentukan image VM TPU (juga disebut versi software TPU). Untuk menentukan image VM yang harus Anda gunakan, lihat image VM TPU.

Anda juga perlu menentukan konfigurasi TPU dalam hal chip TensorCores atau TPU. Untuk informasi selengkapnya, lihat bagian untuk versi TPU yang Anda gunakan di Arsitektur sistem.

gcloud

Untuk membuat TPU menggunakan Create Node API, gunakan perintah gcloud compute tpus tpu-vm create. Untuk mengonfigurasi alamat IP internal atau eksternal tertentu, lihat petunjuk di Alamat IP internal dan eksternal.

Perintah berikut menggunakan konfigurasi TPU v4-8:

$ gcloud compute tpus tpu-vm create tpu-name \
  --zone=us-central2-b \
  --accelerator-type=v4-8 \
  --version=tpu-software-version

Deskripsi flag perintah

zone: Zona tempat Anda berencana membuat Cloud TPU.
accelerator-type: Jenis akselerator menentukan versi dan ukuran Cloud TPU yang ingin Anda buat. Untuk mengetahui informasi selengkapnya tentang jenis akselerator yang didukung untuk setiap versi TPU, lihat versi TPU.
version: Versi software TPU.
shielded-secure-boot (opsional): Menentukan bahwa instance TPU dibuat dengan mengaktifkan booting aman. Hal ini secara implisit menjadikannya instance Shielded VM. Lihat Apa itu Shielded VM? untuk mengetahui detail selengkapnya.

Perintah berikut akan membuat TPU dengan topologi tertentu:

$ gcloud compute tpus tpu-vm create tpu-name \
  --zone=us-central2-b \
  --type=v4 \
  --topology=2x2x1 \
  --version=tpu-software-version

Flag yang diperlukan

tpu-name: Nama VM TPU yang Anda buat.
zone: Zona tempat Anda membuat Cloud TPU.
type: Versi TPU yang ingin Anda gunakan. Untuk mengetahui informasi selengkapnya, lihat versi TPU.
topology: Pengaturan fisik chip TPU, yang menentukan jumlah chip dalam setiap dimensi. Untuk mengetahui informasi selengkapnya tentang topologi yang didukung untuk setiap versi TPU, lihat Versi TPU.
version: Versi software TPU yang ingin Anda gunakan. Untuk mengetahui informasi selengkapnya, lihat Versi software TPU.

Konsol

Di konsol Google Cloud, buka halaman TPUs:

Buka TPU
Klik Buat TPU.
Di kolom Nama, masukkan nama untuk TPU Anda.
Di kotak Zona, pilih zona tempat TPU akan dibuat.
Di kotak TPU type, pilih jenis akselerator. Jenis akselerator menentukan versi dan ukuran Cloud TPU yang ingin Anda buat. Untuk mengetahui informasi selengkapnya tentang jenis akselerator yang didukung untuk setiap versi TPU, lihat versi TPU.
Di kotak Versi software TPU, pilih versi software. Saat membuat VM Cloud TPU, versi software TPU menentukan versi runtime TPU yang akan diinstal. Untuk informasi selengkapnya, lihat Gambar VM TPU.
Klik Create untuk membuat resource.

curl

Perintah berikut menggunakan curl untuk membuat TPU.

$ curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" -d "{accelerator_type: 'v4-8', \
runtime_version:'tpu-vm-tf-2.18.0-pjrt', \
network_config: {enable_external_ips: true}, \
shielded_instance_config: { enable_secure_boot: true }}" \
https://tpu.googleapis.com/v2/projects/project-id/locations/us-central2-b/nodes?node_id=node_name

Kolom wajib diisi

runtime_version: Versi runtime Cloud TPU yang ingin Anda gunakan.
project: Nama project Google Cloud yang terdaftar.
zone: Zona tempat Anda membuat Cloud TPU.
node_name: Nama VM TPU yang Anda buat.

Menjalankan skrip startup

Anda dapat menjalankan skrip startup di setiap VM TPU dengan menentukan flag --metadata startup-script saat membuat VM TPU. Perintah berikut membuat VM TPU menggunakan skrip startup.

$ gcloud compute tpus tpu-vm create tpu-name \
    --zone=us-central2-b \
    --accelerator-type=tpu-type \
    --version=tpu-vm-tf-2.18.0-pjrt \
    --metadata startup-script='#! /bin/bash
      pip3 install numpy
      EOF'

Menghubungkan ke Cloud TPU

gcloud

Hubungkan ke Cloud TPU Anda menggunakan SSH:

$ gcloud compute tpus tpu-vm ssh tpu-name --zone=zone

Saat Anda meminta slice yang lebih besar dari satu host, Cloud TPU akan membuat VM TPU untuk setiap host. Jumlah TPU chip per host bergantung pada versi TPU.

Untuk menginstal biner atau menjalankan kode, hubungkan ke setiap VM TPU menggunakan tpu-vm ssh command.

$ gcloud compute tpus tpu-vm ssh tpu-name

Untuk terhubung ke VM TPU tertentu menggunakan SSH, gunakan flag --worker yang mengikuti indeks berbasis 0:

$ gcloud compute tpus tpu-vm ssh tpu-name --worker=1

Untuk menjalankan perintah di semua VM TPU dengan satu perintah, gunakan flag --worker=all dan --command:

$ gcloud compute tpus tpu-vm ssh tpu-name \
  --project=your_project_ID \
  --zone=zone \
  --worker=all \
  --command='pip install "jax[tpu]==0.4.20" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html'

Untuk Multislice, Anda dapat menjalankan perintah di satu VM menggunakan nama TPU yang dihitung, dengan setiap awalan slice dan angka yang ditambahkan ke dalamnya. Untuk menjalankan perintah di semua VM TPU di semua slice, gunakan flag --node=all, --worker=all, dan --command, dengan flag --batch-size opsional.

$ gcloud compute tpus queued-resources ssh ${QUEUED_RESOURCE_ID} \
  --project=project_ID \
  --zone=zone \
  --node=all \
  --worker=all \
  --command='pip install "jax[tpu]==0.4.20" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html' \
  --batch-size=4

Konsol

Untuk terhubung ke TPU di konsol Google Cloud, gunakan SSH-in-browser:

Di konsol Google Cloud, buka halaman TPUs:

Buka TPU
Dalam daftar VM TPU, klik SSH di baris VM TPU yang ingin Anda hubungkan.

Catatan: Saat Anda terhubung ke VM TPU menggunakan konsol Google Cloud, Compute Engine akan membuat kunci SSH sementara untuk Anda.

Mencantumkan resource Cloud TPU

Anda dapat mencantumkan semua Cloud TPU di zona yang ditentukan.

gcloud

$ gcloud compute tpus tpu-vm list --zone=zone

Konsol

Di konsol Google Cloud, buka halaman TPUs:

Buka TPU

Mengambil informasi tentang Cloud TPU Anda

Anda dapat mengambil informasi tentang Cloud TPU yang ditentukan.

gcloud

$ gcloud compute tpus tpu-vm describe tpu-name \
  --zone=zone

Konsol

Di konsol Google Cloud, buka halaman TPUs:

Buka TPU
Klik nama Cloud TPU Anda. Konsol akan menampilkan halaman detail Cloud TPU.

Menghentikan resource Cloud TPU

Anda dapat menghentikan satu Cloud TPU untuk berhenti dikenai biaya tanpa kehilangan konfigurasi dan software VM.

gcloud

$ gcloud compute tpus tpu-vm stop tpu-name \
  --zone=zone

Konsol

Di konsol Google Cloud, buka halaman TPUs:

Buka TPU
Pilih kotak centang di samping Cloud TPU Anda.
Klik Hentikan.

Memulai resource Cloud TPU

Anda dapat memulai Cloud TPU saat dihentikan.

gcloud

$ gcloud compute tpus tpu-vm start tpu-name \
  --zone=zone

Konsol

Di konsol Google Cloud, buka halaman TPUs:

Buka TPU
Pilih kotak centang di samping Cloud TPU Anda.
Klik Start.

Menghapus Cloud TPU

Hapus slice VM TPU Anda di akhir sesi.

gcloud

$ gcloud compute tpus tpu-vm delete tpu-name \
  --project=project-id \
  --zone=zone \
  --quiet

Deskripsi flag perintah

zone: Zona tempat Anda berencana menghapus Cloud TPU.

Konsol

Di konsol Google Cloud, buka halaman TPUs:

Buka TPU
Pilih kotak centang di samping Cloud TPU Anda.
Klik Delete.