Tutorial: Melakukan evaluasi menggunakan konsol

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Pelajari cara mulai menggunakan layanan evaluasi AI generatif menggunakan konsol Google. Google Cloud

Sebelum memulai

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Buka IAM
2. Pilih project.
3. Klik Grant access.

4. Di kolom New principals, masukkan ID pengguna Anda. Biasanya berupa alamat email untuk Akun Google.

5. Di daftar Select a role, pilih peran.
6. Untuk memberikan peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan.
7. Klik Simpan.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Buka IAM
2. Pilih project.
3. Klik Grant access.

4. Di kolom New principals, masukkan ID pengguna Anda. Biasanya berupa alamat email untuk Akun Google.

5. Di daftar Select a role, pilih peran.
6. Untuk memberikan peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan.
7. Klik Simpan.

Mengevaluasi model Anda

Untuk mengevaluasi model Anda:

1. Di konsol Google Cloud , buka halaman Evaluasi AI Generatif.

   Buka Evaluasi

2. Klik Evaluasi baru untuk membuka halaman evaluasi.

3. Untuk Tentukan set data evaluasi, pilih salah satu opsi:

   • Upload file: Klik Upload untuk mengupload file CSV atau JSONL. Set data harus berisi perintah atau rekaman untuk digunakan dalam template perintah dan secara opsional respons model, dengan maksimum 200 baris.

   • Buat data: Masukkan Template perintah untuk memandu layanan evaluasi AI Generatif dalam membuat set data. Variabel yang Anda tentukan dalam template perintah akan dibuat dan diisi dalam set data. Untuk mengetahui informasi selengkapnya, lihat Menggunakan template perintah.

     1. Tentukan variabel yang akan dibuat: Tentukan variabel yang akan dibuat dan deskripsi variabel untuk memandu pembuatan. Jika perlu, klik Tambahkan deskripsi variabel lain.

     2. Masukkan Jumlah sampel yang akan dibuat.

     3. Klik Buat dan pratinjau set data untuk menampilkan set data yang dibuat berdasarkan template dan variabel perintah Anda. Untuk menyesuaikan set data, Anda dapat menambahkan detail lainnya ke deskripsi variabel dan mengklik Buat ulang.

   • Gunakan log model: Gunakan snapshot perintah dan respons dari traffic yang dicatat dari model yang dipilih. Anda hanya dapat menggunakan opsi ini jika telah mengaktifkan log permintaan-respons pada model yang di-deploy di Vertex AI. Jika Anda baru saja mengaktifkan logging, beri waktu agar sampel yang cukup terkumpul.

     1. Pilih Model dan Region yang ingin Anda catat lalu lintasnya. Anda harus mengaktifkan logging terlebih dahulu pada model dan region yang dipilih.

     2. Masukkan Jumlah pengambilan sampel.

     3. (Opsional) Aktifkan Filter menurut template perintah untuk hanya menggunakan log yang cocok dengan Template perintah Anda. Hal ini dapat berguna jika Anda menggunakan model yang dipilih untuk berbagai kasus penggunaan dan ingin mengevaluasi satu kasus penggunaan tertentu.

4. Untuk Tentukan respons model yang akan dievaluasi, pilih salah satu opsi:

   • Dari set data (hanya tersedia jika Anda memilih Upload file untuk Tentukan set data evaluasi): Jika Anda ingin menggunakan salah satu kolom di set data yang diupload sebagai respons, pilih Kolom respons.

   • Dari model (hanya tersedia jika Anda memilih Gunakan log model untuk Tentukan set data evaluasi): Jika Anda menggunakan log model sebagai set data evaluasi, layanan evaluasi AI Generatif akan menggunakan respons model dari log model.

   • Model panggilan: Pilih model. Layanan evaluasi AI generatif menjalankan perintah pada model yang dipilih dan menggunakan respons untuk evaluasi.

5. (Opsional) Untuk Metrik evaluasi yang dibuat otomatis, Anda dapat Menentukan petunjuk kustom untuk memandu rubrik yang dihasilkan dari setiap perintah. Misalnya, Evaluate the dataset on cultural sensitivity to the countries {name}. Untuk mengetahui informasi selengkapnya, lihat Menentukan metrik evaluasi.

6. Untuk Name and output directory, masukkan yang berikut:

   1. Nama evaluasi: Masukkan nama untuk evaluasi Anda.

   2. Jalur data pribadi output: Masukkan nama bucket Cloud Storage tempat Anda ingin menyimpan evaluasi, atau klik Telusuri untuk memilih bucket.

7. Klik Evaluate.

Melihat hasil evaluasi Anda

Untuk melihat hasil evaluasi:

1. Di konsol Google Cloud , buka halaman Evaluasi AI Generatif.

   Buka Evaluasi

2. Klik nama evaluasi.

3. Untuk setiap perintah dalam set data evaluasi Anda, respons model akan ditampilkan bersama dengan hasil evaluasi.

Langkah berikutnya

• Tentukan metrik evaluasi Anda.