Pengoptimal perintah berbasis data

Dokumen ini menjelaskan cara menggunakan pengoptimal berbasis data untuk mengoptimalkan performa perintah secara otomatis dengan meningkatkan kualitas petunjuk sistem untuk serangkaian perintah.

Pengoptimal berbasis data dapat membantu Anda meningkatkan kualitas perintah dengan cepat dalam skala besar, tanpa menulis ulang petunjuk sistem atau perintah satu per satu secara manual. Hal ini sangat berguna saat Anda ingin menggunakan petunjuk dan perintah sistem yang ditulis untuk satu model dengan model yang berbeda.

Contoh pengoptimalan perintah

Misalnya, untuk mengoptimalkan petunjuk sistem untuk serangkaian perintah yang merujuk informasi kontekstual untuk menjawab pertanyaan tentang memasak, Anda dapat menggunakan pengoptimal berbasis data. Untuk menyelesaikan tugas ini, Anda akan menyiapkan input yang mirip dengan berikut:

Petunjuk sistem

You are a professional chef. Your goal is teaching how to cook healthy cooking recipes to your apprentice.

Given a question from your apprentice and some context, provide the correct answer to the question.
Use the context to return a single and correct answer with some explanation.

Template perintah

Question: {input_question}
Facts: {input_context}

Contoh perintah

input_question	input_context
Apa saja teknik memasak daging merah dan daging babi yang dapat memaksimalkan rasa dan kelembutan sekaligus meminimalkan pembentukan senyawa yang tidak sehat?	Daging merah dan daging babi harus dimasak hingga suhu internal 145 derajat Fahrenheit (63 derajat Celsius) untuk memastikan keamanannya. Memarinasi daging dalam bahan-bahan asam seperti jus lemon atau cuka dapat membantu melunakkan daging dengan memecah serat otot yang keras. Metode memasak dengan suhu tinggi seperti memanggang dan menggoreng di wajan dapat menghasilkan kecokelatan dan karamelisasi yang lezat, tetapi penting untuk menghindari gosong, yang dapat menghasilkan senyawa berbahaya.
Apa saja cara kreatif untuk menambahkan rasa dan nutrisi pada minuman protein tanpa menggunakan gula tambahan atau bahan buatan?	Menambahkan sayuran hijau seperti bayam atau kale adalah cara yang bagus untuk meningkatkan nilai gizi minuman Anda tanpa mengubah rasanya secara drastis. Menggunakan susu almond tanpa pemanis atau air kelapa sebagai pengganti susu biasa dapat menambahkan rasa manis yang halus dan meningkatkan lemak sehat atau elektrolit. Tahukah Anda bahwa terlalu lama memblender minuman shake dapat membuatnya menjadi panas? Untuk menjaga suhu tetap dingin dan menyegarkan, blender dengan kecepatan rendah dan istirahatkan blender Anda jika diperlukan.

Petunjuk sistem yang dioptimalkan

As a highly skilled chef with a passion for healthy cooking, you love sharing your knowledge with
aspiring chefs. Today, a culinary intern approaches you with a question about healthy cooking. Given
the intern's question and some facts, provide a clear, concise, and informative answer that will help
the intern excel in their culinary journey.

Cara kerja pengoptimalan

Pengoptimal berbasis data menggunakan parameter berikut:

• Mode pengoptimalan: menentukan apakah pengoptimal berbasis data mengoptimalkan petunjuk sistem, memilih contoh prompt untuk ditambahkan ke petunjuk sistem sebagai contoh few-shot, atau keduanya.
• Metrik evaluasi: metrik yang digunakan pengoptimal berbasis data untuk mengoptimalkan petunjuk sistem dan/atau memilih contoh perintah.
• Model target: Model Google yang dioptimalkan oleh pengoptimal berbasis data untuk petunjuk sistem dan memilih perintah contoh.

Saat Anda menjalankan pengoptimal berbasis data, pengoptimal ini akan mengoptimalkan petunjuk sistem berdasarkan pilihan Anda dengan menjalankan tugas pelatihan kustom yang secara berulang mengevaluasi perintah contoh Anda dan menulis ulang petunjuk sistem untuk menemukan versi yang menghasilkan skor evaluasi terbaik untuk model target.

Di akhir tugas, pengoptimal berbasis data akan menghasilkan petunjuk sistem yang dioptimalkan beserta skor evaluasinya.

Metrik evaluasi

Pengoptimal berbasis data menggunakan metrik evaluasi untuk mengoptimalkan petunjuk sistem dan memilih contoh perintah. Anda dapat menggunakan metrik evaluasi standar atau menentukan metrik evaluasi kustom Anda sendiri. Catatan: Semua metrik evaluasi HARUS memiliki properti bahwa skor yang lebih tinggi menunjukkan performa yang lebih baik.

Anda dapat menggunakan beberapa metrik sekaligus. Namun, metrik kustom hanya dapat digunakan satu per satu. Jika Anda menggunakan metrik standar dan kustom secara bersamaan, hanya satu metrik yang dapat berupa metrik kustom. Metrik lainnya harus berupa metrik standar.

Untuk mempelajari cara menentukan metrik satu per satu atau secara bersamaan, lihat EVALUATION_METRIC_PARAMETERS di tab SDK dalam Membuat template perintah dan petunjuk sistem.

Metrik evaluasi kustom

Metrik kustom berguna jika metrik standar tidak sesuai dengan aplikasi Anda. Perhatikan bahwa pengoptimal berbasis data hanya mendukung satu metrik kustom dalam satu waktu.

Untuk mempelajari cara membuat metrik kustom, lihat Membuat metrik kustom.

Metrik evaluasi standar

Pengoptimal berbasis data mendukung metrik evaluasi kustom, dan juga mendukung metrik evaluasi berikut:

Jenis metrik	Kasus penggunaan	Metrik	Deskripsi
Berbasis model	Ringkasan	summarization_quality	Mendeskripsikan kemampuan model untuk menjawab pertanyaan berdasarkan sekumpulan teks yang akan dirujuk.
	Question answering	question_answering_correctness^*	Mendeskripsikan kemampuan model untuk menjawab pertanyaan dengan benar.
		question_answering_quality	Mendeskripsikan kemampuan model untuk menjawab pertanyaan berdasarkan sekumpulan teks yang akan dirujuk.
	Coherence	coherence	Mendeskripsikan kemampuan model untuk memberikan respons yang koheren dan mengukur seberapa baik teks yang dihasilkan mengalir secara logis dan masuk akal.
	Keselamatan	safety	Mendeskripsikan tingkat keamanan model, yaitu apakah respons berisi teks yang tidak aman.
	Kefasihan	fluency	Menjelaskan penguasaan bahasa model.
	Perujukan (Groundedness)	groundedness	Mendeskripsikan kemampuan model untuk memberikan atau merujuk informasi yang hanya disertakan dalam teks input.
	Comet	comet**	Mendeskripsikan kemampuan model dalam kualitas terjemahan terhadap referensi.
	MetricX	metricx**	Mendeskripsikan kemampuan model dalam kualitas terjemahan.
Berbasis komputasi	Penggunaan alat dan panggilan fungsi	tool_call_valid^*	Mendeskripsikan kemampuan model untuk memprediksi panggilan alat yang valid.
		tool_name_match^*	Menjelaskan kemampuan model untuk memprediksi panggilan alat dengan nama alat yang benar. Hanya panggilan alat pertama yang diperiksa.
		tool_parameter_key_match^*	Menjelaskan kemampuan model untuk memprediksi panggilan alat dengan nama parameter yang benar.
		tool_parameter_kv_match^*	Menjelaskan kemampuan model untuk memprediksi panggilan alat dengan nama parameter dan nilai kunci yang benar.
	Pembuatan teks umum	bleu^*	Menyimpan hasil algoritma untuk mengevaluasi kualitas prediksi, yang telah diterjemahkan dari satu bahasa alami ke bahasa alami lainnya. Kualitas prediksi dianggap sebagai korespondensi antara parameter prediksi dan parameter referensinya.
		exact_match^*	Menghitung apakah parameter prediksi sama persis dengan parameter rujukan.
		rouge_1^*	Digunakan untuk membandingkan parameter prediksi yang diberikan dengan parameter rujukan.
		rouge_2^*
		rouge_l^*
		rouge_l_sum^*

^* Jika Anda ingin mengoptimalkan perintah menggunakan evaluasi berbasis komputasi atau question_answering_correctness, Anda harus melakukan salah satu hal berikut:

• Tambahkan variabel yang merepresentasikan respons kebenaran dasar untuk perintah Anda ke template perintah Anda.
• Jika Anda tidak memiliki respons kebenaran nyata untuk perintah, tetapi sebelumnya menggunakan perintah dengan model Google dan mencapai hasil yang diinginkan, Anda dapat menambahkan parameter source_model ke konfigurasi, bukan menambahkan respons kebenaran nyata. Jika parameter source_model ditetapkan, pengoptimal berbasis data akan menjalankan perintah sampel Anda pada model sumber untuk menghasilkan respons kebenaran dasar bagi Anda.

^** Jika Anda ingin mengoptimalkan perintah menggunakan comet atau metricx, Anda harus memberikan parameter translation_source_field_name ke konfigurasi yang menentukan nama kolom yang sesuai dari teks sumber dalam data. Selain itu, nilai MetricX telah diubah menjadi antara 0 (terburuk) dan 25 (terbaik) untuk menghormati properti makin besar makin baik.

Sebelum memulai

Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk mengoptimalkan perintah, minta administrator untuk memberikan peran IAM berikut kepada akun layanan default Compute Engine di project:

Penting: Anda harus memberikan peran ini kepada akun layanan default Compute Engine, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke akun utama yang benar dapat menyebabkan error izin.

• Pengguna Vertex AI (roles/aiplatform.user)
• Storage Object Admin (roles/storage.objectAdmin)
• Pembaca Artifact Registry (roles/artifactregistry.reader)
• Jika menggunakan metrik kustom:
  • Cloud Run Developer (roles/run.developer)
  • Cloud Run Invoker (roles/run.invoker)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan default Compute Engine melalui peran khusus atau peran bawaan lainnya.

Mengoptimalkan perintah

Anda dapat mengoptimalkan perintah dengan cara berikut:

• menggunakan pengoptimal perintah Vertex AI di Konsol Vertex AI
• menggunakan Vertex AI API
• menjalankan notebook pengoptimal perintah Vertex AI.

Untuk mengoptimalkan perintah, pilih metode yang ingin Anda gunakan, lalu selesaikan langkah-langkah seperti yang dijelaskan secara mendetail di bagian berikut:

Tips: Sebaiknya jalankan pengoptimal perintah Vertex AI di Konsol Vertex AI untuk pengguna pertama kali. Konsol memberikan pengalaman yang lebih interaktif daripada Vertex AI API.

1. Membuat template perintah dan petunjuk sistem
2. Menyiapkan contoh perintah
3. Opsional: buat metrik kustom
4. Membuat konfigurasi
5. Jalankan tugas pengoptimalan perintah
6. Menganalisis hasil dan melakukan iterasi

Membuat template perintah dan petunjuk sistem

Template perintah menentukan format semua perintah Anda melalui variabel yang dapat diganti. Saat Anda menggunakan template perintah untuk mengoptimalkan perintah, variabel diganti dengan data dalam set data perintah.

Variabel template perintah harus memenuhi persyaratan berikut:

• Variabel harus diapit dalam tanda kurung kurawal
• Nama variabel tidak boleh berisi spasi atau tanda hubung -

• Variabel yang merepresentasikan input multimodal harus menyertakan string MIME_TYPE setelah variabel:

  @@@MIME_TYPE
  

  Ganti MIME_TYPE dengan jenis MIME gambar, video, audio, atau dokumen yang didukung oleh model target.

Buat template perintah dan petunjuk sistem menggunakan salah satu metode berikut:

Notebook

Jika Anda ingin menjalankan pengoptimal berbasis data melalui notebook, buat petunjuk sistem dan template perintah dengan melakukan hal berikut:

1. Di Colab Enterprise, buka notebook pengoptimal perintah Vertex AI.

   Buka notebook pengoptimal perintah Vertex AI

2. Di bagian Buat template perintah dan petunjuk sistem, lakukan hal berikut:

   1. Di kolom SYSTEM_INSTRUCTION, masukkan petunjuk sistem Anda. Contoh:

      Based on the following images and articles respond to the questions.'\n' Be concise,
      and answer \"I don't know\" if the response cannot be found in the provided articles or images.
      

   2. Di kolom PROMPT_TEMPLATE, masukkan template perintah Anda. Misalnya:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}
      

   3. Jika Anda ingin mengoptimalkan perintah menggunakan evaluasi berbasis komputasi atau question_answering_correctness, Anda harus melakukan salah satu hal berikut:

   • Tambahkan variabel {target} ke template perintah, untuk merepresentasikan respons kebenaran dasar perintah. Contoh:

     Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}
     

   • Jika Anda tidak memiliki respons kebenaran dasar untuk perintah, tetapi Anda sebelumnya menggunakan perintah dengan model Google dan mencapai hasil yang diinginkan, Anda dapat menambahkan parameter source_model ke konfigurasi, bukan menambahkan respons kebenaran dasar. Jika parameter source_model ditetapkan, pengoptimal berbasis data akan menjalankan perintah contoh Anda pada model sumber untuk menghasilkan respons kebenaran dasar bagi Anda.

SDK

Jika Anda ingin menjalankan pengoptimal berbasis data melalui SDK tanpa menggunakan notebook, buat file teks untuk template perintah dan petunjuk sistem dengan melakukan hal berikut:

1. Buat file teks untuk petunjuk sistem Anda.

2. Dalam file teks, tentukan petunjuk sistem Anda ke file teks. Misalnya:

   Based on the following images and articles respond to the questions.'\n' Be concise, and answer \"I don't know\" if the response cannot be found in the provided articles or images.
   

3. Buat file teks untuk template perintah Anda.

4. Dalam file teks, tentukan template perintah yang menyertakan satu atau beberapa variabel. Contoh:

   Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}
   

5. Jika Anda ingin mengoptimalkan perintah menggunakan evaluasi berbasis komputasi atau question_answering_correctness, Anda harus melakukan salah satu hal berikut:

   • Tambahkan variabel {target} ke template perintah, untuk merepresentasikan respons kebenaran dasar perintah. Contoh:

     Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}
     

   • Jika Anda tidak memiliki respons kebenaran dasar untuk perintah, tetapi Anda sebelumnya menggunakan perintah dengan model Google dan mencapai hasil yang diinginkan, Anda dapat menambahkan parameter source_model ke konfigurasi, bukan menambahkan respons kebenaran dasar. Jika parameter source_model ditetapkan, pengoptimal berbasis data akan menjalankan perintah contoh Anda pada model sumber untuk menghasilkan respons kebenaran dasar bagi Anda.

Menyiapkan contoh perintah

Untuk mendapatkan hasil terbaik dari pengoptimal berbasis data, gunakan 50-100 perintah sampel.

• Alat ini tetap efektif dengan sedikitnya 5 perintah contoh.
• Contoh terbaik mencakup contoh saat model target berperforma buruk dan contoh saat model target berperforma baik.

Catatan: Performa pengoptimal akan meningkat seiring Anda menambah jumlah perintah contoh. Jika Anda melihat performa yang buruk untuk kumpulan perintah contoh, pertimbangkan untuk menambahkan lebih banyak perintah dan menjalankan kembali alat ini.

Contoh perintah berisi data yang menggantikan variabel dalam template perintah. Anda dapat menggunakan file JSONL atau CSV untuk menyimpan contoh perintah.

File JSONL

1. Buat file JSONL.

2. Dalam file JSONL, tambahkan data perintah yang menggantikan setiap variabel. Misalnya:

   {"article_1": "The marine life …", "image_1": "gs://path_to_image", "Question": "What are some most effective ways to reduce ocean pollution?", "target": "The articles and images don't answer this question."}
   
   {"article_1": "During the year …", "image_1": "gs://path_to_image", "Question": "Who was the president in 2023?", "target": "Joe Biden"}
   

3. Upload file JSONL ke bucket Cloud Storage.

File CSV

1. Buat file CSV.
2. Di baris pertama, tambahkan variabel dari template perintah Anda.
3. Di baris berikut, tambahkan data sampel yang menggantikan setiap variabel.
4. Upload file CSV ke bucket Cloud Storage.

Opsional: Membuat metrik kustom

Catatan: Metrik kustom mengharuskan Anda men-deploy fungsi Cloud Run. Cloud Run adalah produk Google Cloud terpisah dengan harga terpisah.

Buat metrik kustom dengan melakukan langkah berikut:

1. Buat file teks bernama requirements.txt.

2. Dalam file requirements.txt, tentukan library yang diperlukan untuk fungsi metrik evaluasi kustom. Semua fungsi memerlukan paket functions-framework.

   Misalnya, file requirements.txt untuk metrik kustom yang menghitung ROUGE-L akan terlihat mirip dengan berikut ini:

   functions-framework==3.*
   rouge-score
   

3. Buat file Python bernama main.py.

4. Dalam file main.py, tulis fungsi evaluasi kustom Anda. Fungsi harus menerima hal berikut:

   • Permintaan POST HTTP
   • Input JSON yang berisi response, yang merupakan output dari LLM, dan reference, yang merupakan respons kebenaran nyata untuk perintah jika disediakan dalam set data perintah.

   Misalnya, file main.py untuk metrik kustom yang menghitung ROUGE-L akan terlihat mirip dengan berikut ini:

   from typing import Any
   import json
   import functions_framework
   from rouge_score import rouge_scorer
   
   # Register an HTTP function with the Functions Framework
   @functions_framework.http
   def main(request):
      request_json = request.get_json(silent=True)
      if not request_json:
          raise ValueError('Can not find request json.')
   
      """Extract 'response' and 'reference' from the request payload. 'response'
      represents the model's response, while 'reference' represents the ground
      truth response."""
      response = request_json['response']
      reference = request_json['reference']
   
      # Compute ROUGE-L F-measure
      scorer = rouge_scorer.RougeScorer(['rougeL'], use_stemmer=True)
      scores = scorer.score(reference, response)
      final_score = scores['rougeL'].fmeasure
   
      # Return the custom score in the response
      return json.dumps({
          # The following key is the CUSTOM_METRIC_NAME that you pass to the job
          'custom_accuracy': final_score,
          # The following key is optional
          'explanation': 'ROUGE_L F-measure between reference and response',
      })
   

5. Deploy fungsi evaluasi kustom Anda sebagai fungsi Cloud Run dengan menjalankan perintah gcloud functions deploy:

   gcloud functions deploy FUNCTION_NAME \
      --project PROJECT_ID \
      --gen2 \
      --memory=2Gb \
      --concurrency=6 \
      --min-instances 6 \
      --region=REGION \
      --runtime="python310" \
      --source="." \
      --entry-point main \
      --trigger-http \
      --timeout=3600 \
      --quiet
   

   Ganti kode berikut:

   • FUNCTION_NAME: nama untuk metrik evaluasi kustom.
   • PROJECT_ID: project ID Anda.
   • REGION: region tempat Anda ingin men-deploy fungsi. Region ini harus sama dengan region saat menggunakan model target.

Membuat konfigurasi

Konfigurasi pengoptimal berbasis data menentukan parameter yang ingin Anda tetapkan untuk tugas pengoptimalan perintah.

Buat konfigurasi menggunakan salah satu opsi berikut:

Notebook

Jika Anda ingin menjalankan pengoptimal berbasis data melalui notebook, buat konfigurasi dengan melakukan hal berikut:

1. Di Colab Enterprise, buka notebook pengoptimal berbasis data.

   Buka notebook pengoptimal perintah Vertex AI

2. Di bagian Configure project settings, lakukan hal berikut:

   1. Di kolom PROJECT_ID, masukkan project ID Anda.
   2. Di kolom LOCATION, masukkan lokasi tempat Anda ingin menjalankan pengoptimal berbasis data.
   3. Di kolom OUTPUT_PATH, masukkan URI untuk bucket Cloud Storage tempat Anda ingin pengoptimal berbasis data menulis petunjuk sistem yang dioptimalkan dan/atau contoh beberapa cuplikan. Contoh, gs://bucket-name/output-path.
   4. Di kolom INPUT_PATH, masukkan URI untuk contoh perintah di bucket Cloud Storage Anda. Contoh, gs://bucket-name/sample-prompts.jsonl.

3. Di bagian Konfigurasi setelan pengoptimalan, lakukan hal berikut:

   1. Di kolom TARGET_MODEL, masukkan model yang ingin Anda optimalkan prompt-nya.
   2. Di kolom THINKING_BUDGET, masukkan anggaran penalaran untuk model target yang ingin Anda optimalkan perintahnya. Nilai defaultnya adalah -1, yang berarti tidak ada penalaran untuk model non-penalaran dan penalaran otomatis untuk model penalaran seperti Gemini-2.5. Lihat Pertimbangan untuk mempelajari setelan anggaran manual.
   3. Di OPTIMIZATION_MODE, masukkan mode pengoptimalan yang ingin Anda gunakan. Harus salah satu dari instruction, demonstration, atau instruction_and_demo.
   4. Di kolom EVAL_METRIC, masukkan metrik evaluasi yang ingin Anda optimalkan untuk perintah Anda.
   5. Opsional: Di kolom SOURCE_MODEL, masukkan model Google yang sebelumnya digunakan dengan petunjuk dan perintah sistem. Jika parameter source_model ditetapkan, pengoptimal berbasis data akan menjalankan perintah contoh Anda pada model sumber untuk menghasilkan respons kebenaran dasar bagi Anda, untuk metrik evaluasi yang memerlukan respons kebenaran dasar. Jika sebelumnya Anda tidak menjalankan perintah dengan model Google atau Anda tidak mencapai hasil target, tambahkan respons data sebenarnya ke perintah Anda. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat perintah dan petunjuk sistem dalam dokumen ini.

4. Opsional: Di bagian Konfigurasi setelan pengoptimalan lanjutan, Anda juga dapat menambahkan parameter opsional ke konfigurasi.

Melihat parameter opsional
• Di kolom NUM_INST_OPTIMIZATION_STEPS, masukkan jumlah iterasi yang digunakan pengoptimal berbasis data dalam mode pengoptimalan perintah. Durasi meningkat secara linear saat Anda menaikkan nilai ini. Harus berupa bilangan bulat antara 10 dan 20. Jika tidak disetel, defaultnya adalah 10.
• Di kolom NUM_DEMO_OPTIMIZATION_STEPS, masukkan jumlah demonstrasi yang dievaluasi oleh pengoptimal berbasis data. Digunakan dengan mode pengoptimalan demonstration dan instruction_and_demo. Harus berupa bilangan bulat antara 10 dan 30. Jika tidak disetel, defaultnya adalah 10.
• Di kolom NUM_DEMO_PER_PROMPT, masukkan jumlah demonstrasi yang dibuat per perintah. Harus berupa bilangan bulat antara 2 dan dan jumlah total perintah contoh - 1. Jika tidak disetel, defaultnya adalah 3.
• Di kolom TARGET_MODEL_QPS, masukkan kueri per detik (QPS) yang dikirim pengoptimal berbasis data ke model target. Waktu proses menurun secara linear saat Anda meningkatkan nilai ini. Harus berupa float yang 3.0 atau lebih besar, tetapi kurang dari kuota QPS yang Anda miliki pada model target. Jika tidak disetel, defaultnya adalah 3.0.
• Di kolom SOURCE_MODEL_QPS, masukkan kueri per detik (QPS) yang dikirim pengoptimal berbasis data ke model sumber. Harus berupa float yang 3.0 atau lebih besar, tetapi kurang dari kuota QPS yang Anda miliki pada model sumber. Jika tidak disetel, defaultnya adalah 3.0.
• Di kolom EVAL_QPS, masukkan kueri per detik (QPS) yang dikirim pengoptimal berbasis data ke layanan evaluasi AI Generatif atau fungsi Cloud Run.
  • Untuk metrik berbasis model, harus berupa float yang 3.0 atau lebih besar. Jika tidak disetel, defaultnya adalah 3.0.
  • Untuk metrik kustom, harus berupa float yang 3.0 atau lebih besar. Hal ini menentukan kecepatan pemanggilan fungsi Cloud Run metrik kustom Anda oleh pengoptimal berbasis data.
• Jika Anda ingin menggunakan lebih dari satu metrik evaluasi, lakukan hal berikut:
  1. Di kolom EVAL_METRIC_1, masukkan metrik evaluasi yang ingin Anda gunakan.
  2. Di kolom EVAL_METRIC_1_WEIGHT, masukkan bobot yang Anda inginkan agar pengoptimal berbasis data digunakan saat menjalankan pengoptimalan.
  3. Di kolom EVAL_METRIC_2, masukkan metrik evaluasi yang ingin Anda gunakan.
  4. Di kolom EVAL_METRIC_2_WEIGHT, masukkan bobot yang Anda inginkan agar pengoptimal berbasis data digunakan saat menjalankan pengoptimalan.
  5. Di kolom EVAL_METRIC_3, masukkan metrik evaluasi yang ingin Anda gunakan (opsional).
  6. Di kolom EVAL_METRIC_3_WEIGHT, masukkan bobot yang Anda inginkan agar pengoptimal berbasis data menggunakannya saat menjalankan pengoptimalan.
  7. Di kolom METRIC_AGGREGATION_TYPE, masukkan bobot yang Anda inginkan agar pengoptimal berbasis data gunakan saat menjalankan pengoptimalan.
• Di kolom PLACEHOLDER_TO_VALUE, masukkan informasi yang menggantikan variabel apa pun dalam petunjuk sistem. Informasi yang disertakan dalam tanda ini tidak dioptimalkan oleh pengoptimal berbasis data.
• Di kolom RESPONSE_MIME_TYPE, masukkan jenis respons MIME yang digunakan model target. Harus salah satu dari text/plain atau application/json. Jika tidak disetel, defaultnya adalah text/plain.
• Di kolom TARGET_LANGUAGE, masukkan bahasa petunjuk sistem. Jika tidak disetel, defaultnya adalah bahasa Inggris.

SDK

Jika Anda ingin menjalankan pengoptimal berbasis data melalui SDK, buat file JSON dengan parameter yang ingin Anda gunakan untuk mengoptimalkan perintah dengan melakukan hal berikut:

1. Buat file JSON dengan parameter yang ingin Anda gunakan untuk mengoptimalkan perintah. Setiap file konfigurasi memerlukan parameter berikut:

   {
    "project": "PROJECT_ID",
    "system_instruction": "SYSTEM_INSTRUCTION",
    "prompt_template": "PROMPT_TEMPLATE",
    "target_model": "TARGET_MODEL",
    "thinking_budget": "THINKING_BUDGET,
    EVALUATION_METRIC_PARAMETERS,
    "optimization_mode": "OPTIMIZATION_MODE",
    "input_data_path": "SAMPLE_PROMPT_URI",
    "output_path": "OUTPUT_URI"
   }
   

   Ganti kode berikut:

   • PROJECT_ID: project ID Anda.
   • SYSTEM_INSTRUCTION: petunjuk sistem yang ingin Anda optimalkan.
   • PROMPT_TEMPLATE: template perintah.
   • TARGET_MODEL: model yang ingin Anda optimalkan perintahnya.
   • THINKING_BUDGET: anggaran pemikiran untuk model target yang ingin Anda optimalkan perintahnya. Nilai defaultnya adalah -1, yang berarti tidak ada penalaran untuk model non-penalaran dan penalaran otomatis untuk model penalaran seperti Gemini-2.5. Lihat Pertimbangan untuk mempelajari setelan anggaran manual.

   • EVALUATION_METRIC_PARAMETERS: parameter yang Anda tentukan bergantung pada jumlah metrik evaluasi yang Anda gunakan, dan apakah metrik Anda standar atau kustom:

     Metrik standar tunggal

     Jika Anda menggunakan satu metrik evaluasi standar, gunakan parameter berikut:

      "eval_metric": "EVALUATION_METRIC",
      

     Ganti EVALUATION_METRIC dengan metrik yang ingin Anda optimalkan perintahnya.

     Metrik kustom tunggal

     Jika Anda menggunakan satu metrik evaluasi kustom, gunakan parameter berikut:

     "eval_metric": "custom_metric",
     "custom_metric_name": "CUSTOM_METRIC_NAME",
     "custom_metric_cloud_function_name": "FUNCTION_NAME",
     

     Ganti kode berikut:

     • CUSTOM_METRIC_NAME: nama metrik, seperti yang ditentukan oleh kunci yang sesuai dengan final_score. Contohnya, custom_accuracy.
     • FUNCTION_NAME: nama fungsi Cloud Run yang sebelumnya Anda deploy.

     Beberapa metrik standar

     Jika Anda menggunakan beberapa metrik evaluasi standar, gunakan parameter berikut:

     "eval_metrics_types": [EVALUATION_METRIC_LIST],
     "eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
     "aggregation_type": "METRIC_AGGREGATION_TYPE",
     

     Ganti kode berikut:

     • EVALUATION_METRIC_LIST: daftar metrik evaluasi. Harus berupa array. Contoh, "bleu", "summarization_quality".
     • EVAL_METRICS_WEIGHTS: bobot untuk setiap metrik. Harus berupa array dan memiliki panjang yang sama dengan EVALUATION_METRIC_LIST.
     • METRIC_AGGREGATION_TYPE: jenis agregasi yang digunakan untuk metrik evaluasi. Harus salah satu dari weighted_sum atau weighted_average. Jika tidak disetel, defaultnya adalah weighted_sum.

     Beberapa metrik standar & kustom

     Jika Anda menggunakan beberapa metrik evaluasi yang mencakup campuran dari satu metrik kustom dan satu atau beberapa metrik standar, gunakan parameter berikut:

     Catatan: Hanya satu metrik yang Anda gunakan yang dapat menjadi metrik kustom. Metrik lainnya harus berupa metrik standar.

     "eval_metrics_types": ["custom_metric", EVALUATION_METRIC_LIST],
     "eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
     "aggregation_type": "METRIC_AGGREGATION_TYPE",
     "custom_metric_name": "CUSTOM_METRIC_NAME",
     "custom_metric_cloud_function_name": "FUNCTION_NAME",
     

     Ganti kode berikut:

     • EVALUATION_METRIC_LIST: daftar metrik evaluasi standar. Harus berupa array. Contoh, "bleu", "summarization_quality".
     • EVAL_METRICS_WEIGHTS: bobot untuk setiap metrik. Harus berupa array.
     • METRIC_AGGREGATION_TYPE: jenis agregasi yang digunakan untuk metrik evaluasi. Harus salah satu dari weighted_sum atau weighted_average. Jika tidak disetel, defaultnya adalah weighted_sum.
     • CUSTOM_METRIC_NAME: nama metrik, seperti yang ditentukan oleh kunci yang sesuai dengan final_score. Misalnya, custom_accuracy.
     • FUNCTION_NAME: nama fungsi Cloud Run yang sebelumnya Anda deploy.

   • OPTIMIZATION_MODE: mode pengoptimalan. Harus salah satu dari instruction, demonstration, atau instruction_and_demo.

   • SAMPLE_PROMPT_URI: URI untuk contoh perintah di bucket Cloud Storage Anda. Contoh, gs://bucket-name/sample-prompts.jsonl.

   • OUTPUT_URI: URI untuk bucket Cloud Storage tempat Anda ingin pengoptimal berbasis data menulis petunjuk sistem yang dioptimalkan dan/atau contoh sedikit cuplikan. Contoh, gs://bucket-name/output-path.

2. Selain itu, Anda dapat menambahkan parameter opsional ke file konfigurasi.

   Parameter opsional dibagi menjadi 5 kategori:

   • Parameter proses pengoptimalan. Parameter ini mengontrol keseluruhan proses pengoptimalan, termasuk durasinya dan jumlah iterasi pengoptimalan yang dijalankannya, yang secara langsung memengaruhi kualitas pengoptimalan.
   • Pemilihan model dan parameter lokasi. Parameter ini menentukan model mana yang digunakan pengoptimal berbasis data dan lokasi tempat model tersebut digunakan.
   • Parameter latensi (QPS). Parameter ini mengontrol QPS, yang memengaruhi kecepatan proses pengoptimalan.
   • Lainnya. Parameter lain yang mengontrol struktur dan konten perintah.
     Melihat parameter opsional

     "num_steps": NUM_INST_OPTIMIZATION_STEPS,
     "num_demo_set_candidates": "NUM_DEMO_OPTIMIZATION_STEPS,
     "demo_set_size": NUM_DEMO_PER_PROMPT,
     "target_model_location": "TARGET_MODEL_LOCATION",
     "source_model": "SOURCE_MODEL",
     "source_model_location": "SOURCE_MODEL_LOCATION",
     "target_model_qps": TARGET_MODEL_QPS,
     "eval_qps": EVAL_QPS,
     "source_model_qps": SOURCE_MODEL_QPS,
     "response_mime_type": "RESPONSE_MIME_TYPE",
     "language": "TARGET_LANGUAGE",
     "placeholder_to_content": "PLACEHOLDER_TO_CONTENT",
     "data_limit": DATA_LIMIT
     

     Ganti kode berikut:

     • Parameter proses pengoptimalan:

       • NUM_INST_OPTIMIZATION_STEPS: jumlah iterasi yang digunakan pengoptimal berbasis data dalam mode pengoptimalan perintah. Durasi meningkat secara linear saat Anda menaikkan nilai ini. Harus berupa bilangan bulat antara 10 dan 20. Jika dibiarkan tidak disetel, defaultnya adalah 10.
       • NUM_DEMO_OPTIMIZATION_STEPS: jumlah demonstrasi yang dievaluasi pengoptimal berbasis data. Digunakan dengan mode pengoptimalan demonstration dan instruction_and_demo. Harus berupa bilangan bulat antara 2 dan jumlah total perintah contoh - 1. Jika tidak disetel, defaultnya adalah 10.
       • NUM_DEMO_PER_PROMPT: jumlah demonstrasi yang dihasilkan per perintah. Harus berupa bilangan bulat antara 3 dan 6. Jika tidak disetel, defaultnya adalah 3.

     • Pemilihan model dan parameter lokasi:

       • TARGET_MODEL_LOCATION: lokasi tempat Anda ingin menjalankan model target. Jika tidak disetel, defaultnya adalah us-central1.
       • SOURCE_MODEL: model Google yang sebelumnya digunakan dengan petunjuk dan perintah sistem. Jika parameter source_model ditetapkan, pengoptimal berbasis data akan menjalankan perintah sampel pada model sumber untuk menghasilkan respons kebenaran dasar bagi Anda, untuk metrik evaluasi yang memerlukan respons kebenaran dasar. Jika sebelumnya Anda tidak menjalankan perintah dengan model Google atau Anda tidak mencapai hasil target, tambahkan respons kebenaran dasar ke perintah Anda. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat perintah dan petunjuk sistem dalam dokumen ini.
       • SOURCE_MODEL_LOCATION: lokasi tempat Anda ingin menjalankan model sumber. Jika tidak disetel, defaultnya adalah us-central1.

     • Parameter latensi (QPS):

       Catatan: Anda harus menetapkan QPS yang lebih rendah atau sama dengan kuota QPM yang tersedia untuk Anda, atau tugas Anda akan gagal. Untuk mengonversi kuota QPM menjadi QPS, bagi QPM Anda dengan 60. Misalnya, kuota QPM 600 setara dengan QPS 600 (600/10 = 60).
       • TARGET_MODEL_QPS: kueri per detik (QPS) yang dikirim pengoptimal berbasis data ke model target. Waktu proses menurun secara linear saat Anda meningkatkan nilai ini. Harus berupa float yang 3.0 atau lebih besar, tetapi kurang dari kuota QPS yang Anda miliki pada model target. Jika tidak disetel, defaultnya adalah 3.0.
       • EVAL_QPS: kueri per detik (QPS) yang dikirim pengoptimal berbasis data ke layanan evaluasi AI Generatif atau fungsi Cloud Run.
         • Untuk metrik berbasis model, harus berupa float yang 3.0 atau lebih besar. Jika tidak disetel, defaultnya adalah 3.0.
         • Untuk metrik kustom, harus berupa float yang 3.0 atau lebih besar. Hal ini menentukan kecepatan pemanggilan fungsi Cloud Run metrik kustom Anda oleh pengoptimal berbasis data.
       • SOURCE_MODEL_QPS: kueri per detik (QPS) yang dikirim pengoptimal berbasis data ke model sumber. Harus berupa float yang 3.0 atau lebih besar, tetapi kurang dari kuota QPS yang Anda miliki pada model sumber. Jika tidak disetel, defaultnya adalah 3.0.

     • Parameter lainnya:

       • RESPONSE_MIME_TYPE: jenis respons MIME yang digunakan model target. Harus salah satu dari text/plain atau application/json. Jika tidak disetel, defaultnya adalah text/plain.
       • TARGET_LANGUAGE: bahasa petunjuk sistem. Jika tidak disetel, defaultnya adalah bahasa Inggris.
       • PLACEHOLDER_TO_CONTENT: informasi yang menggantikan variabel apa pun dalam petunjuk sistem. Informasi yang disertakan dalam tanda ini tidak dioptimalkan oleh pengoptimal perintah berbasis data.
       • DATA_LIMIT: jumlah data yang digunakan untuk validasi. Waktu proses meningkat secara linear dengan nilai ini. Harus berupa bilangan bulat antara 5 dan 100. Jika tidak disetel, defaultnya adalah 100.

3. Upload file JSON ke bucket Cloud Storage.

Menjalankan pengoptimal perintah

Jalankan pengoptimal berbasis data menggunakan salah satu opsi berikut:

Notebook

Jalankan pengoptimal berbasis data melalui notebook dengan melakukan hal berikut:

1. Di Colab Enterprise, buka notebook pengoptimal perintah Vertex AI.

   Buka notebook pengoptimal berbasis data

2. Di bagian Run prompt optimizer, klik play_circle Run cell.

   Pengoptimal berbasis data berjalan.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• LOCATION: lokasi tempat Anda ingin menjalankan pengoptimal prompt Vertex AI.
• PROJECT_ID: Project ID Anda.
• JOB_NAME: nama untuk tugas pengoptimal perintah Vertex AI.
• PATH_TO_CONFIG: URI file konfigurasi di bucket Cloud Storage Anda. Contoh, gs://bucket-name/configuration.json.

Metode HTTP dan URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

Isi JSON permintaan:

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "n1-standard-4"
        },
        "replicaCount": 1,
        "containerSpec": {
          "imageUri": "us-docker.pkg.dev/vertex-ai-restricted/builtin-algorithm/apd:preview_v1_0",
          "args": ["--config=PATH_TO_CONFIG""]
        }
      }
    ]
  }
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login , atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI . Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

PowerShell

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login . Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

Responsnya akan terlihat mirip dengan berikut ini:

Respons

{
  "name": "projects/PROJECT_ID/locations/LOCATION/customJobs/JOB_ID",
  "displayName": "JOB_NAME",
    "jobSpec": {
      "workerPoolSpecs": [
        {
        "machineSpec": {
              "machineType": "n1-standard-4"
          },
          "replicaCount": "1",
          "diskSpec": {
            "bootDiskType": "pd-ssd",
            "bootDiskSizeGb": 100
          },
          "containerSpec": {
            "imageUri": "us-docker.pkg.dev/vertex-ai-restricted/builtin-algorithm/apd:preview_v1_0"
            "args": [
            "--config=https://storage.mtls.cloud.google.com/testing-apd/testing-config.json"
          ]
          }
        }
      ]
    },
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

SDK

Jalankan pengoptimal berbasis data melalui SDK, dengan menambahkan bagian kode berikut ke Colab atau Notebook Anda.

Lakukan penggantian berikut:

• LOCATION: lokasi tempat Anda ingin menjalankan pengoptimal berbasis data.
• PROJECT_ID: ID project Anda.
• PROJECT_NUMBER: nomor project Anda, tersedia di Konsol Cloud.
• PATH_TO_CONFIG: URI file konfigurasi di Cloud Storage. Misalnya, gs://bucket-name/configuration.json.

# Authenticate
from google.colab import auth
auth.authenticate_user(project_id=PROJECT_ID)

# Set the Service Account
SERVICE_ACCOUNT = f"{PROJECT_NUMBER}[e-mail]"

# Import Vertex AI SDK and Setup
import vertexai
vertexai.init(project=PROJECT_ID, location=LOCATION)

#Create the Vertex AI Client
client = vertexai.Client(project=PROJECT_ID, location=LOCATION)

# Setup the job dictionary
vapo_config = {
  'config_path': PATH_TO_CONFIG,
  'service_account': SERVICE_ACCOUNT,
  'wait_for_completion': True,
}

#Start the Vertex AI Prompt Optimizer
client = client.prompt_optimizer.optimize(method="vapo", config=vapo_config)

Setelah pengoptimalan selesai, periksa artefak output di lokasi output yang ditentukan dalam konfigurasi.

Menganalisis hasil dan melakukan iterasi

Setelah Anda menjalankan pengoptimal berbasis data, tinjau progres tugas menggunakan salah satu opsi berikut:

Notebook

Jika Anda ingin melihat hasil pengoptimal berbasis data melalui notebook, lakukan hal berikut:

1. Buka notebook pengoptimal perintah Vertex AI.

2. Di bagian Periksa hasil, lakukan hal berikut:

   1. Di kolom RESULT_PATH, tambahkan URI bucket Cloud Storage yang Anda konfigurasi untuk pengoptimal berbasis data agar menulis hasil ke bucket tersebut. Contoh, gs://bucket-name/output-path.

   2. Klik play_circle Run cell.

Konsol

1. Di konsol Google Cloud , di bagian Vertex AI, buka halaman Training pipelines.

   Buka Training pipelines

2. Klik tab Custom jobs. Tugas pelatihan kustom pengoptimalan berbasis data akan muncul dalam daftar beserta statusnya.

Setelah tugas selesai, tinjau pengoptimalan dengan melakukan hal berikut:

1. Di Google Cloud konsol, buka halaman Bucket Cloud Storage:

   Buka Buckets

2. Klik nama bucket Cloud Storage Anda.

3. Buka folder yang memiliki nama yang sama dengan mode pengoptimalan yang Anda gunakan untuk mengevaluasi perintah, yaitu instruction atau demonstration. Jika Anda menggunakan mode instruction_and_demo, kedua folder akan muncul. Folder instruction berisi hasil dari pengoptimalan instruksi sistem, sedangkan folder demonstration berisi hasil dari pengoptimalan demonstration dan instruksi sistem yang dioptimalkan.

   Folder ini berisi file berikut:

   • config.json: konfigurasi lengkap yang digunakan pengoptimal prompt Vertex AI.
   • templates.json: setiap set petunjuk sistem dan/atau contoh beberapa shot yang dihasilkan pengoptimal berbasis data dan skor evaluasinya.
   • eval_results.json: respons model target untuk setiap perintah contoh untuk setiap set petunjuk sistem yang dibuat dan/atau contoh beberapa cuplikan dan skor evaluasinya.
   • optimized_results.json: petunjuk sistem dan/atau contoh beberapa shot yang berperforma terbaik serta skor evaluasinya.

4. Untuk melihat petunjuk sistem yang dioptimalkan, lihat file optimized_results.json.

Praktik terbaik

• Model pratinjau hanya didukung melalui region global dan Vertex Custom Job tidak mendukung global sebagai region. Oleh karena itu, jangan gunakan VAPO untuk mengoptimalkan model pratinjau sebagai model target.

• Untuk model GA, pengguna dapat memilih lokasi spesifik per region, seperti us-central1 atau europe-central2, bukan global, untuk mematuhi persyaratan residensi data mereka.

Langkah berikutnya

• Coba notebook SDK pengoptimal perintah Vertex AI.
• Pelajari praktik terbaik responsible AI dan filter keamanan Vertex AI.
• Pelajari lebih lanjut strategi perintah.
• Pelajari contoh perintah di Galeri prompt.