Membuat model teks yang disaring

Penyaring langkah demi langkah menggunakan model pengajar besar untuk melatih model siswa yang lebih kecil guna melakukan tugas tertentu dengan lebih baik dengan kemampuan penalaran yang ditingkatkan. Model yang dilatih dan disaring dapat melakukan hal yang sama seperti yang Anda perlukan dalam model pengajar yang lebih besar dengan biaya yang lebih rendah dan latensi yang lebih rendah.

Saat menyaring model dasar, Anda menggunakan model pengajar dan model siswa:

  • Model pengajar adalah model besar yang dapat melakukan apa yang Anda inginkan. Namun, karena ukurannya yang besar, model pengajar mungkin memerlukan biaya lebih mahal untuk digunakan dan memiliki latensi lebih besar daripada model yang lebih kecil.

  • Model siswa lebih kecil daripada model pengajar. Proses pelatihan dan penyaringan menggunakan contoh dan alasan berlabel yang dihasilkan oleh model pengajar untuk menyesuaikan model siswa. Kemampuan penalaran dan performa model suling yang dihasilkan lebih baik daripada model siswa asli.

Anda menentukan model pengajar dan model siswa saat membuat tugas distilasi.

Model yang didukung

Anda dapat menentukan hal berikut untuk model pengajar:

  • text-unicorn@001

Anda dapat menentukan hal berikut untuk model siswa:

  • text-bison@002

Format set data

Distilasi berfungsi pada set data berlabel atau tidak berlabel. Jika Anda memiliki set data berlabel berkualitas tinggi dengan ratusan contoh, sebaiknya gunakan set data tersebut. Jika tidak, Anda dapat menggunakan set data perintah tidak berlabel. Jika Anda menggunakan set data tidak berlabel, model pengajar akan membuat label dan alasan distilasi. Lebih dari 1.000 contoh direkomendasikan jika Anda menggunakan set data tak berlabel.

Set data distilasi berlabel atau tidak berlabel harus dalam format Baris JSON (JSONL), dengan setiap baris berisi satu contoh penyesuaian. Sebelum menyaring model, upload set data Anda ke bucket Cloud Storage.

Setiap contoh set data berisi kolom input_text dengan perintah model dan kolom output_text opsional yang berisi contoh respons yang diharapkan akan dihasilkan oleh model yang disuling.

Panjang token maksimum untuk input_text adalah 7.168 dan panjang token maksimum untuk output_text adalah 1.024. Jika salah satu kolom melebihi panjang token maksimum, token berlebih akan terpotong.

Jumlah maksimum contoh yang dapat dimuat oleh set data untuk model pembuatan teks adalah 10.000.

Contoh set data

{"input_text": "question: How many people live in Beijing? context:
With over 21 million residents, Beijing is the world's most populous national
capital city and is China's second largest city after Shanghai. It is
located in Northern China, and is governed as a municipality under the direct
administration of the State Council with 16 urban, suburban, and rural
districts.[14] Beijing is mostly surrounded by Hebei Province with the exception
of neighboring Tianjin to the southeast; together, the three divisions form the
Jingjinji megalopolis and the national capital region of China.",
"output_text": "over 21 million people"}


{"input_text": "question: How many parishes are there in Louisiana? context:
The U.S. state of Louisiana is divided into 64 parishes (French: paroisses) in
the same manner that 48 other states of the United States are divided into
counties, and Alaska is divided into boroughs.", "output_text": "64"}

Sertakan petunjuk dalam contoh

Untuk tugas seperti klasifikasi, Anda dapat membuat set data contoh yang tidak berisi instruksi. Namun, mengecualikan petunjuk dari contoh dalam set data akan menyebabkan performa yang lebih buruk setelah distilasi daripada menyertakan petunjuk, terutama untuk set data yang lebih kecil.

Mengecualikan petunjuk:

{"input_text": "5 stocks to buy now",
"output_text": "business"}

Dilengkapi petunjuk:

{"input_text": "Classify the following text into one of the following classes:
[business, entertainment] Text: 5 stocks to buy now",
"output_text": "business"}

Contoh set data

Anda dapat menggunakan {i>dataset <i}sampel untuk memulai penyaringan. Berikut ini adalah set data tugas klasifikasi yang berisi contoh transkripsi medis untuk berbagai spesialisasi medis. Data berasal dari mtsamples.com seperti yang disediakan di Kaggle.

  • Contoh URI set data distilasi:

    gs://cloud-samples-data/vertex-ai/model-evaluation/peft_train_sample.jsonl

  • Sampel URI set data evaluasi:

    gs://cloud-samples-data/vertex-ai/model-evaluation/peft_eval_sample.jsonl

Untuk menggunakan set data ini, tentukan URI dalam parameter yang berlaku saat membuat tugas distilasi model teks.

Contoh:

...
"dataset_uri": "gs://cloud-samples-data/vertex-ai/model-evaluation/peft_train_sample.jsonl",
...
"evaluation_data_uri": "gs://cloud-samples-data/vertex-ai/model-evaluation/peft_eval_sample.jsonl",
...

Menjaga konsistensi dengan data produksi

Contoh dalam set data harus sesuai dengan traffic produksi yang Anda harapkan. Jika set data Anda berisi pemformatan, kata kunci, petunjuk, atau informasi tertentu, data produksi harus diformat dengan cara yang sama dan berisi petunjuk yang sama.

Misalnya, jika contoh di set data Anda menyertakan "question:" dan "context:", traffic produksi juga harus diformat untuk menyertakan "question:" dan "context:" dalam urutan yang sama seperti yang tampak pada contoh set data. Jika Anda mengecualikan konteks, model tidak akan mengenali pola, meskipun pertanyaan yang sama ada dalam contoh dalam set data.

Mengupload set data yang disaring ke Cloud Storage

Untuk menjalankan tugas penyesuaian, Anda perlu mengupload satu atau beberapa set data ke bucket Cloud Storage. Anda dapat membuat bucket Cloud Storage baru atau menggunakan bucket yang sudah ada untuk menyimpan file set data. Region bucket tidak penting, tetapi sebaiknya gunakan bucket yang ada di project Google Cloud yang sama tempat Anda berencana men-tuning model.

Setelah bucket siap, upload file set data Anda ke bucket.

Setelan wilayah penyaring

Anda dapat menentukan tiga setelan region Google Cloud saat mengonfigurasi tugas distilasi. Satu region adalah tempat pipeline yang menyesuaikan model Anda berjalan. Wilayah lainnya adalah tempat bagian penyesuaian model dari proses distilasi dijalankan dan model yang distilasi diupload.

Region tugas pipeline

Region tugas pipeline adalah region tempat tugas pipeline dijalankan. Jika region upload model opsional tidak ditentukan, model akan diupload dan di-deploy ke region tugas pipeline. Data perantara, seperti set data yang ditransformasi, disimpan di region tugas pipeline. Untuk mempelajari region mana yang dapat Anda gunakan untuk region tugas pipeline, lihat Tugas pipeline dan region upload model yang didukung.

Anda harus menentukan region tugas pipeline menggunakan salah satu metode berikut.

  • Jika Anda membuat tugas distilasi dengan mengirimkan permintaan POST menggunakan metode pipelineJobs.create, gunakan URL tersebut untuk menentukan region tempat tugas pipeline dijalankan. Di URL berikut, ganti kedua instance PIPELINE_JOB_REGION dengan region tempat pipeline berjalan:

     https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs

  • Jika Anda menggunakan konsol Google Cloud untuk membuat tugas distilasi, tentukan region tugas pipeline di kontrol Region saat Anda membuat tugas distilasi. Di Konsol Google Cloud, kontrol Region menentukan region tugas pipeline dan region upload model. Saat Anda menggunakan konsol Google Cloud untuk membuat tugas distilasi, kedua region akan selalu sama.

Wilayah upload model

Anda menggunakan parameter tuned_model_location opsional untuk menentukan tempat model suling diupload. Jika wilayah upload model tidak ditentukan, model yang disaring akan diupload ke region tugas pipeline.Anda dapat menggunakan salah satu Tugas pipeline yang didukung dan wilayah upload model untuk wilayah upload model Anda. Anda dapat menentukan region upload model menggunakan salah satu metode berikut:

  • Jika Anda membuat tugas distilasi dengan mengirimkan permintaan POST menggunakan metode pipelineJobs, Anda dapat menggunakan parameter location untuk menentukan wilayah upload model.

  • Jika Anda menggunakan Konsol Google Cloud untuk membuat tugas distilasi, tentukan region upload model dalam kontrol Region saat Anda membuat tugas distilasi. Di Konsol Google Cloud, kontrol Region menentukan region upload model dan region tugas pipeline. Saat Anda menggunakan konsol Google Cloud untuk membuat tugas distilasi, kedua region ini selalu sama.

Region penyesuaian model

Region tuning adalah tempat komputasi untuk bagian tuning tugas distilasi terjadi. Region ini ditentukan oleh jenis akselerator yang Anda pilih. Jika Anda menentukan TPU untuk jenis akselerator, komputasi penyesuaian model akan terjadi di europe-west4. Jika Anda menentukan GPU untuk jenis akselerator, penyesuaian model akan terjadi di us-central1.

Tugas pipeline dan region upload model yang didukung

Anda dapat menggunakan salah satu region berikut untuk menentukan region upload model dan menentukan region tugas pipeline:

  • us-central1
  • europe-west4
  • asia-southeast1
  • us-west1
  • europe-west3
  • europe-west2
  • asia-northeast1
  • us-east4
  • us-west4
  • northamerica-northeast1
  • europe-west9
  • europe-west1
  • asia-northeast3

Membuat tugas penyaringan model teks

Anda dapat membuat tugas penyaringan model teks dengan menggunakan Konsol Google Cloud atau API. Untuk panduan tentang konfigurasi penyaringan model, lihat Konfigurasi yang direkomendasikan.

REST

Untuk membuat tugas distilasi model, kirim permintaan POST menggunakan metode pipelineJobs. Perhatikan bahwa beberapa parameter tidak didukung oleh semua model. Pastikan Anda hanya menyertakan parameter yang berlaku untuk model yang Anda saring.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PIPELINEJOB_DISPLAYNAME: Nama tampilan untuk pipelineJob.
  • OUTPUT_DIR: URI bucket tempat menampung output artefak pipeline.
  • PROJECT_ID: Project ID Anda.
  • MODEL_DISPLAYNAME: Nama tampilan untuk model suling yang diupload oleh pipelineJob.
  • DATASET_URI: URI file set data Anda.
  • PIPELINE_JOB_REGION: Region tempat tugas penyesuaian pipeline dijalankan. Ini juga merupakan region default untuk tempat model yang telah disesuaikan diupload. Jika Anda ingin mengupload model ke region lain, gunakan parameter location untuk menentukan region upload model yang telah disesuaikan. Untuk mengetahui informasi selengkapnya, lihat Wilayah upload model.
  • MODEL_UPLOAD_REGION: (opsional) Wilayah tempat model yang telah disesuaikan diupload. Jika Anda tidak menentukan region upload model, model yang telah disesuaikan akan diupload ke region yang sama tempat tugas pipeline dijalankan. Untuk mengetahui informasi selengkapnya, lihat Wilayah upload model.
  • ACCELERATOR_TYPE: (opsional, GPU default) Jenis akselerator yang akan digunakan untuk penyesuaian model. Opsi yang valid adalah:
    • GPU: Menggunakan delapan GPU A100 80 GB untuk penyesuaian. Pastikan Anda memiliki kuota yang cukup. Jika Anda memilih GPU, VPC‐SC akan didukung. CMEK didukung jika lokasi tuning dan lokasi upload model adalah us-centra1. Untuk informasi selengkapnya, lihat Setelan region penyesuaian yang diawasi. Jika Anda memilih GPU, komputasi penyesuaian model akan terjadi di region us-central1.
    • TPU: Menggunakan 64 core pod TPU v3 untuk tuning. Pastikan Anda memiliki kuota yang cukup. CMEK tidak didukung, tetapi VPC‐SC didukung. Jika Anda memilih TPU, komputasi penyesuaian model Anda akan terjadi di region europe-west4.
  • TEACHER_MODEL_REFERENCE: Nama model pengajar yang akan digunakan untuk menyaring. Model yang didukung adalah text-unicorn@001.
  • STUDENT_MODEL_REFERENCE: Nama model siswa yang akan digunakan untuk penyaringan. Model yang didukung adalah text-bison@002.
  • STEPS: Jumlah langkah yang harus dijalankan untuk penyesuaian model. Nilai defaultnya adalah 300. Ukuran tumpukan bervariasi menurut lokasi penyesuaian dan ukuran model. Untuk model 8k, seperti text-bison@002, chat-bison@002, code-bison@002, dan codechat-bison@002:
    • us-central1 memiliki ukuran tumpukan 8.
    • europe-west4 memiliki ukuran tumpukan 24.
    Untuk model 32 ribu, seperti text-bison-32k, chat-bison-32k, code-bison-32k, dan codechat-bison-32k:
    • us-central1 memiliki ukuran tumpukan 8.
    • europe-west4 memiliki ukuran tumpukan 8.

    Misalnya, jika Anda melatih text-bison@002 dalam europe-west4, ada 240 contoh dalam set data pelatihan, dan Anda menetapkan steps ke 20, jumlah contoh pelatihan adalah hasil dari 20 langkah dan ukuran batch 24, atau 480 langkah pelatihan. Dalam hal ini, ada dua epoch dalam proses pelatihan karena melalui contoh dua kali. Dalam us-central1, jika ada 240 contoh dalam set data pelatihan dan Anda menetapkan steps ke 15, jumlah contoh pelatihan adalah hasil dari 15 langkah dan ukuran batch 8, atau 120 langkah pelatihan. Dalam hal ini, ada 0,5 epoch karena jumlah langkah pelatihannya setengah lebih banyak daripada contoh.

  • LEARNING_RATE_MULTIPLIER: Pengganda untuk diterapkan ke kecepatan pembelajaran yang direkomendasikan. Untuk menggunakan kecepatan pembelajaran yang direkomendasikan, gunakan 1.0.
  • EVAL_DATASET_URI: (opsional) URI file JSONL yang berisi set data evaluasi untuk prediksi dan evaluasi batch. Evaluasi tidak didukung untuk chat-bison. Untuk mengetahui informasi selengkapnya, lihat Format set data untuk menyesuaikan model kode. Set data evaluasi membutuhkan antara sepuluh hingga 250 contoh.
  • EVAL_INTERVAL: (opsional, 20 default) Jumlah langkah penyesuaian di antara setiap evaluasi. Interval evaluasi tidak didukung untuk model chat. Karena evaluasi berjalan di seluruh set data evaluasi, interval evaluasi yang lebih kecil akan menghasilkan waktu penyesuaian yang lebih lama. Misalnya, jika steps adalah 200 dan EVAL_INTERVAL adalah 100, Anda hanya akan mendapatkan dua titik data untuk metrik evaluasi. Parameter ini mengharuskan evaluation_data_uri ditetapkan.
  • ENABLE_EARLY_STOPPING: (opsional, true default) boolean yang, jika ditetapkan ke true, akan menghentikan penyesuaian sebelum menyelesaikan semua langkah penyesuaian jika performa model, yang diukur dengan akurasi token yang diprediksi, tidak cukup meningkat di antara evaluasi yang dijalankan. Jika false, penyesuaian akan berlanjut hingga semua langkah penyesuaian selesai. Parameter ini mengharuskan evaluation_data_uri ditetapkan. Mengaktifkan penghentian awal tidak didukung untuk model chat.
  • TENSORBOARD_RESOURCE_ID: (opsional) ID instance Vertex AI TensorBoard. Instance Vertex AI TensorBoard digunakan untuk membuat eksperimen setelah tugas tuning selesai. Instance Vertex AI TensorBoard harus berada di region yang sama dengan pipeline tuning.
  • ENCRYPTION_KEY_NAME: (opsional) Nama yang sepenuhnya memenuhi syarat dari kunci enkripsi yang dikelola pelanggan (CMEK) yang ingin Anda gunakan untuk enkripsi data. CMEK hanya tersedia dalam us-central1. Jika Anda menggunakan us-central1 dan tidak menentukan CMEK, kunci enkripsi yang dikelola Google akan digunakan. Kunci enkripsi yang dikelola Google digunakan secara default di semua region yang tersedia. Untuk mengetahui informasi selengkapnya, lihat ringkasan CMEK.
  • TEMPLATE_URI: URI untuk template penyaringan, https://us-kfp.pkg.dev/ml-pipeline/distillation/distillation/v1.0.0.
  • SERVICE_ACCOUNT: (opsional) Akun layanan yang digunakan Vertex AI untuk menjalankan tugas pipeline Anda. Secara default, akun layanan default Compute Engine project Anda (PROJECT_NUMBER‑compute@developer.gserviceaccount.com) akan digunakan. Pelajari lebih lanjut cara menambahkan akun layanan kustom.

Metode HTTP dan URL: 

POST https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs

Isi JSON permintaan: 

{
  "displayName": "PIPELINEJOB_DISPLAYNAME",
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://OUTPUT_DIR",
    "parameterValues": {
      "project": "PROJECT_ID",
      "model_display_name": "MODEL_DISPLAYNAME",
      "dataset_uri": "gs://DATASET_URI",
      "location": "MODEL_UPLOAD_REGION",
      "accelerator_type": "ACCELERATOR_TYPE",
      "teacher_model_reference": TEACHER_MODEL_REFERENCE,
      "student_model_reference": STUDENT_MODEL_REFERENCE,
      "train_steps": STEPS,
      "learning_rate_multiplier": LEARNING_RATE_MULTIPLIER,
      "evaluation_data_uri": "gs://EVAL_DATASET_URI",
      "evaluation_interval": EVAL_INTERVAL,
      "enable_early_stopping": ENABLE_EARLY_STOPPING,
      "enable_checkpoint_selection": "ENABLE_CHECKPOINT_SELECTION",
      "tensorboard_resource_id": "TENSORBOARD_ID",
      "encryption_spec_key_name": "ENCRYPTION_KEY_NAME"
    }
  },
  "encryptionSpec": {
    "kmsKeyName": "ENCRYPTION_KEY_NAME"
  },
  "serviceAccount": "SERVICE_ACCOUNT",
  "templateUri": "TEMPLATE_URI"
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs" | Select-Object -Expand Content

Anda akan menerima respons JSON yang mirip dengan yang berikut ini: Perhatikan bahwa pipelineSpec telah dipotong untuk menghemat ruang penyimpanan.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API. 

from __future__ import annotations

from typing import Optional

from google.auth import default
import vertexai
from vertexai.preview.language_models import TextGenerationModel, TuningEvaluationSpec

credentials, _ = default(scopes=["https://www.googleapis.com/auth/cloud-platform"])

def distill_model(
    project_id: str,
    location: str,
    dataset: str,
    teacher_model: str,
    train_steps: int = 300,
    evaluation_dataset: Optional[str] = None,
) -> None:
    """Distill a new model.

    Args:
      project_id: GCP Project ID, used to initialize vertexai
      location: GCP Region, used to initialize vertexai
      dataset: GCS URI of jsonl file.
      teacher_model: Name of the teacher model.
      train_steps: Number of training steps to use when tuning the model.
      evaluation_dataset: GCS URI of jsonl file of evaluation data.
    """
    vertexai.init(project=project_id, location=location, credentials=credentials)

    eval_spec = TuningEvaluationSpec(evaluation_data=evaluation_dataset)

    student_model = TextGenerationModel.from_pretrained("text-bison@002")
    distillation_job = student_model.distill_from(
        teacher_model=teacher_model,
        dataset=dataset,
        # Optional:
        train_steps=train_steps,
        evaluation_spec=eval_spec,
    )

    return distillation_job

Konsol

Untuk menyaring model teks menggunakan Konsol Google Cloud, lakukan langkah-langkah berikut:

  1. Di bagian Vertex AI pada Konsol Google Cloud, buka halaman Vertex AI Studio.

    Buka Vertex AI Studio

  2. Klik tab Tune and distill.
  3. Klik Create distilled model.
  4. Konfigurasi detail model:
    • Nama model: Masukkan nama untuk model yang disaring.
    • Model pengajar: Pilih model yang ingin Anda gunakan untuk model pengajar.
    • Model siswa: Pilih model yang ingin Anda gunakan untuk model siswa.
    • Region: Pilih region tempat tugas penyesuaian pipeline dijalankan dan tempat model yang telah disesuaikan di-deploy.
    • Direktori kerja: Masukkan lokasi Cloud Storage tempat artefak disimpan saat model Anda disesuaikan.
  5. Luaskan Advanced Options untuk mengonfigurasi setelan lanjutan.
    • Langkah-langkah pelatihan: Masukkan jumlah langkah yang akan dijalankan untuk penyesuaian model. Nilai defaultnya adalah 300. Ukuran tumpukan bervariasi menurut lokasi penyesuaian dan ukuran model. Untuk model 8k, seperti text-bison@002, chat-bison@002, code-bison@002, dan codechat-bison@002:
      • us-central1 memiliki ukuran tumpukan 8.
      • europe-west4 memiliki ukuran tumpukan 24.
      Untuk model 32 ribu, seperti text-bison-32k, chat-bison-32k, code-bison-32k, dan codechat-bison-32k:
      • us-central1 memiliki ukuran tumpukan 8.
      • europe-west4 memiliki ukuran tumpukan 8.

      Misalnya, jika Anda melatih text-bison@002 dalam europe-west4, ada 240 contoh dalam set data pelatihan, dan Anda menetapkan steps ke 20, jumlah contoh pelatihan adalah hasil dari 20 langkah dan ukuran batch 24, atau 480 langkah pelatihan. Dalam hal ini, ada dua epoch dalam proses pelatihan karena melalui contoh dua kali. Dalam us-central1, jika ada 240 contoh dalam set data pelatihan dan Anda menetapkan steps ke 15, jumlah contoh pelatihan adalah hasil dari 15 langkah dan ukuran batch 8, atau 120 langkah pelatihan. Dalam hal ini, ada 0,5 epoch karena jumlah langkah pelatihannya setengah lebih banyak daripada contoh.

    • Pengganda kecepatan pembelajaran: Masukkan ukuran langkah di setiap iterasi. Nilai default adalah 1.
    • Accelerator type: (opsional) Masukkan jenis akselerator yang akan digunakan untuk penyesuaian model. Opsi yang valid adalah:
      • GPU: Menggunakan delapan GPU A100 80 GB untuk penyesuaian. Pastikan Anda memiliki kuota yang cukup. Jika Anda memilih GPU, VPC‐SC akan didukung. CMEK didukung jika lokasi tuning dan lokasi upload model adalah us-centra1. Untuk informasi selengkapnya, lihat Setelan region penyesuaian yang diawasi. Jika Anda memilih GPU, komputasi penyesuaian model akan terjadi di region us-central1.
      • TPU: Menggunakan 64 core pod TPU v3 untuk tuning. Pastikan Anda memiliki kuota yang cukup. CMEK tidak didukung, tetapi VPC‐SC didukung. Jika Anda memilih TPU, komputasi penyesuaian model Anda akan terjadi di region europe-west4.
    • Menambahkan instance TensorBoard: (opsional) ID instance Vertex AI TensorBoard. Instance Vertex AI TensorBoard digunakan untuk membuat eksperimen setelah tugas tuning selesai. Instance Vertex AI TensorBoard harus berada di region yang sama dengan pipeline tuning.
    • Enkripsi (opsional) Pilih untuk menggunakan kunci enkripsi yang dikelola Google atau kunci enkripsi yang dikelola pelanggan (CMEK). CMEK hanya tersedia untuk enkripsi di region us-central1. Di semua region yang tersedia lainnya, kunci enkripsi yang dikelola Google akan digunakan. Untuk mengetahui informasi selengkapnya, lihat Ringkasan CMEK.
    • Akun layanan (opsional) Pilih akun layanan yang dikelola pengguna. Akun layanan menentukan resource Google Cloud mana yang dapat diakses oleh kode layanan Anda. Jika Anda tidak memilih akun layanan, akun layanan yang dikelola Google akan digunakan yang menyertakan izin yang sesuai untuk sebagian besar model.
  6. Klik Continue
  7. Jika Anda ingin mengupload file set data distilasi, pilih  Upload JSONL file to Cloud Storage. Jika file set data Anda sudah ada di bucket Cloud Storage, pilih  Existing file JSONL file on Cloud Storage.

    Mengupload file JSONL

    • Di bagian Pilih file JSONL, klik Telusuri, lalu pilih file set data Anda.
    • Di bagian Lokasi set data, klik Telusuri, lalu pilih bucket Cloud Storage tempat Anda ingin menyimpan file set data.

    Menggunakan file JSONL yang ada

    Di Jalur file Cloud Storage, klik Telusuri, lalu pilih bucket Cloud Storage tempat file set data berada.
  8. (Opsional) Untuk mengevaluasi model yang disaring, pilih Aktifkan evaluasi model lalu konfigurasikan evaluasi model:
    • Set data evaluasi: (opsional) URI file JSONL yang berisi set data evaluasi untuk prediksi dan evaluasi batch. Evaluasi tidak didukung untuk codechat-bison. Untuk mengetahui informasi selengkapnya, lihat Format set data untuk menyesuaikan model kode. Set data evaluasi membutuhkan antara sepuluh hingga 250 contoh.
    • Interval evaluasi: (opsional, 20 default) Jumlah langkah penyesuaian di antara setiap evaluasi. Interval evaluasi tidak didukung untuk model chat. Karena evaluasi berjalan di seluruh set data evaluasi, interval evaluasi yang lebih kecil akan menghasilkan waktu penyesuaian yang lebih lama. Misalnya, jika steps adalah 200 dan EVAL_INTERVAL adalah 100, Anda hanya akan mendapatkan dua titik data untuk metrik evaluasi. Parameter ini mengharuskan evaluation_data_uri ditetapkan.
    • Aktifkan penghentian awal: (true default opsional) boolean yang, jika ditetapkan ke true, akan menghentikan penyesuaian sebelum menyelesaikan semua langkah penyesuaian jika peningkatan performa model, sebagaimana diukur dengan akurasi token yang diprediksi, tidak cukup meningkat di antara evaluasi yang dijalankan. Jika false, penyesuaian akan berlanjut hingga semua langkah penyesuaian selesai. Parameter ini mengharuskan evaluation_data_uri ditetapkan. Mengaktifkan penghentian awal tidak didukung untuk model chat.
    • Aktifkan pemilihan checkpoint: Jika diaktifkan, Vertex AI akan memilih dan menampilkan checkpoint dengan performa evaluasi model terbaik dari semua checkpoint yang dibuat selama tugas tuning. Jika dinonaktifkan, checkpoint terakhir yang dibuat selama tugas tuning akan ditampilkan. Setiap checkpoint merujuk pada snapshot model selama tugas tuning.
    • Instance TensorBoard: (opsional) ID instance Vertex AI TensorBoard. Instance Vertex AI TensorBoard digunakan untuk membuat eksperimen setelah tugas tuning selesai. Instance Vertex AI TensorBoard harus berada di region yang sama dengan pipeline tuning.
  9. Klik Mulai distilasi.

Tabel berikut menunjukkan konfigurasi yang direkomendasikan untuk menyaring model dasar berdasarkan tugas:

Tugas Jumlah contoh dalam set data Langkah-langkah pelatihan
Klasifikasi 100+ 200-1000
Perangkuman 100-500+ 1000-1500
UM (Uji Mutu) Ekstraktif 100+ 200-800

Untuk langkah-langkah pelatihan, Anda dapat mencoba lebih dari satu nilai untuk mendapatkan performa terbaik pada set data tertentu, misalnya, 100, 200, 500.

Melihat daftar model yang disaring

Anda dapat melihat daftar model dalam project saat ini, termasuk model yang disaring, menggunakan Konsol Google Cloud atau Vertex AI SDK untuk Python.

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Python Vertex AI.

Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 


import vertexai
from vertexai.language_models import TextGenerationModel

def list_tuned_models(
    project_id: str,
    location: str,
) -> None:
    """List tuned models."""

    vertexai.init(project=project_id, location=location)
    model = TextGenerationModel.from_pretrained("text-bison@002")
    tuned_model_names = model.list_tuned_model_names()
    print(tuned_model_names)

    return tuned_model_names

Konsol

Untuk melihat model yang disaring di Konsol Google Cloud, buka halaman Vertex AI Model Registry.

Buka Vertex AI Model Registry

Memuat model teks yang disaring

Kode contoh berikut menggunakan Vertex AI SDK untuk Python guna memuat model pembuatan teks yang disaring:

import vertexai
from vertexai.preview.language_models import TextGenerationModel

model = TextGenerationModel.get_tuned_model(TUNED_MODEL_NAME)

Ganti TUNED_MODEL_NAME dengan nama resource yang memenuhi syarat dari model yang disaring. Nama ini akan menggunakan format projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID. Anda dapat menemukan ID model dari model yang disaring di Vertex AI Model Registry.

Metrik penyesuaian dan evaluasi

Anda dapat mengonfigurasi tugas penyesuaian model untuk mengumpulkan dan melaporkan penyesuaian model dan metrik evaluasi model, yang kemudian dapat divisualisasikan menggunakan Vertex AI TensorBoard.

Metrik penyesuaian model

Anda dapat mengonfigurasi tugas penyesuaian model guna mengumpulkan metrik penyesuaian berikut untuk chat-bison, code-bison, codechat-bison, dan text-bison:
  • /train_total_loss: Kerugian untuk set data penyesuaian pada langkah pelatihan.
  • /train_fraction_of_correct_next_step_preds: Akurasi token pada langkah pelatihan. Satu prediksi terdiri dari serangkaian token. Metrik ini mengukur akurasi token yang diprediksi jika dibandingkan dengan kebenaran dasar dalam set data tuning.
  • /train_num_predictions: Jumlah token yang diprediksi pada langkah pelatihan.

Metrik validasi model

Metrik evaluasi model

Anda dapat mengonfigurasi tugas penyesuaian model guna mengumpulkan metrik evaluasi berikut untuk code-bison dan text-bison:

  • /eval_total_loss: Kerugian untuk set data evaluasi pada langkah evaluasi.
  • /eval_fraction_of_correct_next_step_preds: Akurasi token pada langkah evaluasi. Satu prediksi terdiri dari serangkaian token. Metrik ini mengukur akurasi token yang diprediksi jika dibandingkan dengan kebenaran dasar dalam set data evaluasi.
  • /eval_num_predictions: Jumlah token yang diprediksi pada langkah evaluasi.

Visualisasi metrik tersedia setelah tugas penyesuaian model selesai. Jika Anda hanya menentukan ID instance Vertex AI TensorBoard, bukan set data evaluasi saat membuat tugas tuning, hanya visualisasi untuk metrik tuning yang tersedia.