Menyajikan 3 model terbuka Llama 3 menggunakan Cloud TPU multi-host di Vertex AI Prediction dengan Saxml

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Llama 3 adalah model bahasa besar (LLM) open source dari Meta. Panduan ini menunjukkan cara menyalurkan LLM Llama 3 menggunakan Tensor Processing Unit (TPU) multi-host di Vertex AI Prediction dengan Saxml.

Dalam panduan ini, Anda akan mendownload tokenizer dan bobot model Llama 3 70B, lalu men-deploy-nya di Vertex AI Prediction yang menjalankan Saxml di TPU.

Catatan: Versi khusus GPU dari Llama 3 tersedia di Model Garden. Untuk mengetahui informasi selengkapnya tentang Model Garden, lihat Menjelajahi model AI di Model Garden.

Sebelum memulai

Sebaiknya gunakan VM yang dioptimalkan untuk memori M1 untuk mendownload model dan mengonversinya ke Saxml. Hal ini karena proses konversi model memerlukan memori yang signifikan dan dapat gagal jika Anda memilih jenis mesin yang tidak memiliki cukup memori.

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Enable the Vertex AI and Artifact Registry APIs.

   Enable the APIs

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

7. Enable the Vertex AI and Artifact Registry APIs.

   Enable the APIs

8. Di konsol Google Cloud, aktifkan Cloud Shell.

   Aktifkan Cloud Shell

   Di bagian bawah Google Cloud Console, Cloud Shell sesi akan terbuka dan menampilkan perintah command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi sesi.

9. Ikuti dokumentasi Artifact Registry untuk Menginstal Docker.
10. Pastikan Anda memiliki kuota yang cukup untuk 16 chip TPU v5e untuk Vertex AI Prediction.

Tutorial ini mengasumsikan bahwa Anda menggunakan Cloud Shell untuk berinteraksi dengan Google Cloud. Jika Anda ingin menggunakan shell lain, bukan Cloud Shell, lakukan konfigurasi tambahan berikut:

1. Menginstal Google Cloud CLI.

2. Untuk initialize gcloud CLI, jalankan perintah berikut:

   gcloud init

Jika Anda menggunakan shell yang berbeda, bukan Cloud Shell untuk deployment model, pastikan versi Google Cloud CLI lebih baru dari 475.0.0. Anda dapat mengupdate Google Cloud CLI dengan menjalankan perintah gcloud components update.

Jika men-deploy model menggunakan Vertex AI SDK, pastikan Anda memiliki versi 1.50.0 atau yang lebih baru.

Dapatkan akses ke model dan download bobot model

Langkah-langkah berikut ditujukan untuk instance Vertex AI Workbench yang memiliki VM yang dioptimalkan untuk memori M1. Untuk mengetahui informasi tentang cara mengubah jenis mesin instance Vertex AI Workbench, lihat Mengubah jenis mesin dari instance Vertex AI Workbench.

1. Buka halaman izin model Llama.

2. Pilih Llama 3, isi formulir izin, lalu setujui persyaratan dan ketentuan.

3. Periksa kotak masuk Anda untuk menemukan email yang berisi URL yang ditandatangani.

4. Download skrip download.sh dari GitHub dengan menjalankan perintah berikut:

   wget https://raw.githubusercontent.com/meta-llama/llama3/main/download.sh
   chmod +x download.sh
   

5. Untuk mendownload bobot model, jalankan skrip download.sh yang telah Anda download dari GitHub.

6. Saat diminta, masukkan URL yang ditandatangani dari email yang Anda terima di bagian sebelumnya.

7. Saat diminta mendownload model, masukkan 70B.

Mengonversi bobot model ke format Saxml

1. Jalankan perintah berikut untuk mendownload Saxml:

   git clone https://github.com/google/saxml.git
   

2. Jalankan perintah berikut untuk mengonfigurasi lingkungan virtual Python:

   python -m venv .
   source bin/activate
   

3. Jalankan perintah berikut untuk menginstal dependensi:

   pip install --upgrade pip
   
   pip install paxml
   
   pip install praxis
   
   pip install torch
   

4. Untuk mengonversi bobot model ke format Saxml, jalankan perintah berikut:

   python3 saxml/saxml/tools/convert_llama_ckpt.py \
       --base PATH_TO_META_LLAMA3 \
       --pax PATH_TO_PAX_LLAMA3 \
       --model-size llama3_70b
   

   Ganti kode berikut:

   • PATH_TO_META_LLAMA3: jalur ke direktori yang berisi bobot model yang didownload
   • PATH_TO_PAX_LLAMA3: jalur ke direktori tempat menyimpan bobot model yang dikonversi
   Catatan: Anda dapat menggunakan perintah ini untuk model Llama 2 atau Llama 3.

   Model yang dikonversi akan dimasukkan ke dalam folder $PATH_TO_PAX_LLAMA3/checkpoint_00000000.

5. Salin file tokenizer dari direktori asli ke subfolder bernama vocabs seperti berikut:

   cp $PATH_TO_META_LLAMA3/tokenizer.model $PATH_TO_PAX_LLAMA3/vocabs/tokenizer.model
   

6. Tambahkan file commit_success.txt kosong di folder $PATH_TO_PAX_LLAMA3 serta subfolder metadata dan state di folder tersebut sebagai berikut:

   touch $PATH_TO_PAX_LLAMA3/checkpoint_00000000/commit_success.txt
   touch $PATH_TO_PAX_LLAMA3/checkpoint_00000000/metadata/commit_success.txt
   touch $PATH_TO_PAX_LLAMA3/checkpoint_00000000/state/commit_success.txt
   

   Folder $PATH_TO_PAX_LLAMA3 sekarang berisi folder dan file berikut:

   $PATH_TO_PAX_LLAMA3/checkpoint_00000000/commit_success.txt
   $PATH_TO_PAX_LLAMA3/checkpoint_00000000/metadata/
   $PATH_TO_PAX_LLAMA3/checkpoint_00000000/metadata/commit_success.txt
   $PATH_TO_PAX_LLAMA3/checkpoint_00000000/state/
   $PATH_TO_PAX_LLAMA3/checkpoint_00000000/state/commit_success.txt
   $PATH_TO_PAX_LLAMA3/vocabs/tokenizer.model
   

Membuat bucket Cloud Storage

Membuat bucket Cloud Storage untuk menyimpan bobot model yang dikonversi.

1. Di Cloud Shell, jalankan perintah berikut, dan ganti PROJECT_ID dengan project ID Anda:

   projectid=PROJECT_ID
   gcloud config set project ${projectid}
   

2. Untuk membuat bucket, jalankan perintah berikut:

   gcloud storage buckets create gs://WEIGHTS_BUCKET_NAME
   

   Ganti WEIGHTS_BUCKET_NAME dengan nama yang ingin Anda gunakan untuk bucket.

Menyalin bobot model ke bucket Cloud Storage

Untuk menyalin bobot model ke bucket, jalankan perintah berikut:

gsutil -m cp -R PATH_TO_PAX_LLAMA3/* gs://WEIGHTS_BUCKET_NAME/llama3/pax_70b/

Upload model

Container Saxml bawaan tersedia di us-docker.pkg.dev/vertex-ai/prediction/sax-tpu:latest.

Untuk mengupload resource Model ke Vertex AI Prediction menggunakan penampung Samxml bawaan, jalankan perintah gcloud ai models upload sebagai berikut:

gcloud ai models upload \
    --region=LOCATION \
    --display-name=MODEL_DISPLAY_NAME \
    --container-image-uri=us-docker.pkg.dev/vertex-ai/prediction/sax-tpu:latest \
    --artifact-uri='gs://WEIGHTS_BUCKET_NAME/llama3/pax_70b' \
    --container-args='--model_path=saxml.server.pax.lm.params.lm_cloud.LLaMA3_70BFP16x16' \
    --container-args='--platform_chip=tpuv5e' \
    --container-args='--platform_topology=4x4' \
    --container-args='--ckpt_path_suffix=checkpoint_00000000' \
    --container-deployment-timeout-seconds=2700 \
    --container-ports=8502 \
    --project=PROJECT_ID

Lakukan penggantian berikut:

• LOCATION: wilayah tempat Anda menggunakan Vertex AI. Perlu diperhatikan bahwa TPU hanya tersedia di us-west1.
• MODEL_DISPLAY_NAME: nama tampilan yang Anda inginkan untuk model Anda
• PROJECT_ID: ID project Google Cloud Anda

Catatan: Anda dapat menggunakan perintah ini untuk model Llama apa pun yang tercantum pada link GitHub berikut: https://github.com/google/saxml/blob/main/saxml/server/pax/lm/params/lm_cloud.py

Membuat endpoint prediksi online

Untuk membuat endpoint, jalankan perintah berikut:

gcloud ai endpoints create \
    --region=LOCATION \
    --display-name=ENDPOINT_DISPLAY_NAME \
    --project=PROJECT_ID

Ganti ENDPOINT_DISPLAY_NAME dengan nama tampilan yang Anda inginkan untuk endpoint.

Men-deploy model ke endpoint

Setelah endpoint siap, deploy model ke endpoint.

Dalam tutorial ini, Anda akan men-deploy model Llama 3 70B yang di-sharding untuk 16 chip Cloud TPU v5e menggunakan topologi 4x4. Namun, Anda dapat menentukan salah satu topologi Cloud TPU multi-host yang didukung berikut ini:

Machine Type	Topologi	Jumlah TPU chip	Jumlah Host
ct5lp-hightpu-4t	4x4	16	2
ct5lp-hightpu-4t	4x8	32	4
ct5lp-hightpu-4t	8x8	64	8
ct5lp-hightpu-4t	8x16	128	16
ct5lp-hightpu-4t	16x16	256	32

Jika Anda men-deploy model Llama lain yang ditentukan di repo GitHub Saxml, pastikan model tersebut dipartisi agar sesuai dengan jumlah perangkat yang Anda targetkan dan Cloud TPU memiliki memori yang cukup untuk memuat model.

Untuk mengetahui informasi tentang cara men-deploy model pada Cloud TPU dengan host tunggal, lihat Men-deploy model.

Untuk mengetahui informasi selengkapnya tentang jenis Cloud TPU v5e, lihat TPU v5e.

1. Dapatkan ID endpoint untuk endpoint prediksi online:

   ENDPOINT_ID=$(gcloud ai endpoints list \
       --region=LOCATION \
       --filter=display_name=ENDPOINT_NAME \
       --format="value(name)")
   

2. Dapatkan ID model untuk model Anda:

   MODEL_ID=$(gcloud ai models list \
       --region=LOCATION \
       --filter=display_name=DEPLOYED_MODEL_NAME \
       --format="value(name)")
   

3. Deploy model ke endpoint:

   gcloud ai endpoints deploy-model $ENDPOINT_ID \
       --region=LOCATION \
       --model=$MODEL_ID \
       --display-name=DEPLOYED_MODEL_NAME \
       --machine-type=ct5lp-hightpu-4t \
       --tpu-topology=4x4 \
       --traffic-split=0=100
   

   Ganti DEPLOYED_MODEL_NAME dengan nama untuk yang di-deploy. Nama ini dapat sama dengan nama tampilan model (MODEL_DISPLAY_NAME).

   Waktu operasi deployment mungkin habis.

   Perintah deploy-model menampilkan ID operasi yang dapat digunakan untuk memeriksa kapan operasi selesai. Anda dapat memeriksa status operasi hingga respons menyertakan "done": true. Gunakan perintah berikut untuk melakukan polling status:

   gcloud ai operations describe \
   --region=LOCATION \
   OPERATION_ID
   

   Ganti OPERATION_ID dengan ID operasi yang ditampilkan oleh perintah sebelumnya.

Mendapatkan prediksi online dari model yang di-deploy

Untuk mendapatkan prediksi online dari endpoint Vertex AI Prediction, jalankan perintah gcloud ai endpoints predict.

1. Jalankan perintah berikut untuk membuat file request.json yang berisi contoh permintaan prediksi:

   cat << EOF > request.json
   {"instances": [{"text_batch": "the distance between Earth and Moon is "}]}
   EOF
   

2. Untuk mengirim permintaan prediksi online ke endpoint, jalankan perintah berikut:

   gcloud ai endpoints predict $ENDPOINT_ID \
       --project=PROJECT_ID \
       --region=LOCATION \
       --json-request=request.json
   

Pembersihan

Agar tidak menimbulkan biaya Vertex AI lebih lanjut, hapus resource Google Cloud yang Anda buat dalam tutorial ini:

1. Untuk membatalkan deployment model dari endpoint dan menghapus endpoint, jalankan perintah berikut:

   ENDPOINT_ID=$(gcloud ai endpoints list \
      --region=LOCATION \
      --filter=display_name=ENDPOINT_NAME \
      --format="value(name)")
   
   DEPLOYED_MODEL_ID=$(gcloud ai endpoints describe $ENDPOINT_ID \
      --region=LOCATION \
      --format="value(deployedModels.id)")
   
   gcloud ai endpoints undeploy-model $ENDPOINT_ID \
     --region=LOCATION \
     --deployed-model-id=$DEPLOYED_MODEL_ID
   
   gcloud ai endpoints delete $ENDPOINT_ID \
      --region=LOCATION \
      --quiet
   

2. Untuk menghapus model, jalankan perintah berikut:

   MODEL_ID=$(gcloud ai models list \
      --region=LOCATION \
      --filter=display_name=DEPLOYED_MODEL_NAME \
      --format="value(name)")
   
   gcloud ai models delete $MODEL_ID \
      --region=LOCATION \
      --quiet