Untuk keperluan logging, gunakan Vertex AI SDK untuk Python.
Metrik dan parameter yang didukung:
- metrik ringkasan
- metrik deret waktu
- parameter
- metrik klasifikasi
Vertex AI SDK untuk Python
Catatan: Jika parameter resume
opsional ditentukan sebagai TRUE
, operasi yang dimulai sebelumnya akan dilanjutkan. Jika tidak ditentukan, resume
ditetapkan secara default ke FALSE
dan operasi baru akan dibuat.
Contoh berikut menggunakan metode init
, dari fungsi aiplatform.
Metrik ringkasan
Metrik ringkasan adalah metrik skalar nilai tunggal yang disimpan di sebelah metrik deret waktu dan merepresentasikan ringkasan akhir dari sebuah operasi eksperimen.
Salah satu contoh kasus penggunaan adalah penghentian awal saat konfigurasi kesabaran memungkinkan pelatihan berkelanjutan, tetapi model kandidat dipulihkan dari langkah sebelumnya dan metrik yang dihitung untuk model pada langkah tersebut akan direpresentasikan sebagai metrik ringkasan karena metrik deret waktu terbaru tidak mewakili model yang dipulihkan. log_metrics
API untuk metrik ringkasan digunakan untuk tujuan ini.
Python
experiment_name
: Berikan nama untuk eksperimen Anda. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.run_name
: Tentukan nama operasi (lihatstart_run
).metric
: Key-value pair metrik. Contoh:{'learning_rate': 0.1}
project
: Project ID Anda. Anda dapat menemukannya di halaman welcome Google Cloud Console.location
: Lihat Daftar lokasi yang tersedia
Metrik deret waktu
Untuk mencatat metrik deret waktu, Vertex AI Experiment memerlukan instance Vertex AI TensorBoard pendukung.
Menetapkan resource Vertex AI TensorBoard pendukung untuk Pencatatan Metrik Deret Waktu
Semua metrik yang dicatat melalui log_time_series_metrics
disimpan sebagai metrik deret waktu.
Vertex AI TensorBoard adalah penyimpanan metrik deret waktu pendukung.
experiment_tensorboard
dapat ditetapkan di tingkat eksperimen dan operasi eksperimen. Menetapkan experiment_tensorboard
di tingkat operasi akan mengabaikan setelan di tingkat eksperimen. Setelah experiment_tensorboard
ditetapkan di sebuah operasi, experiment_tensorboard
operasi tersebut tidak dapat diubah.
- Tetapkan
experiment_tensorboard
di tingkat eksperimen:aiplatform.
init
(experiment='my-experiment', experiment_tensorboard='projects/.../tensorboard/my-tb-resource') - Tetapkan
experiment_tensorboard
di tingkat operasi. Catatan: Mengabaikan setelan di tingkat eksperimen.aiplatform.
start_run
(run_name='my-other-run', tensorboard='projects/.../.../other-resource') aiplatform.log_time_series_metrics(...)
Python
experiment_name
: Masukkan nama eksperimen Anda. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.run_name
: Tentukan nama operasi (lihatstart_run
).metrics
: Kamus yang menentukan kunci sebagai nama metrik dan nilai sebagai nilai metrik.step
: Opsional. Indeks langkah titik data ini dalam operasi tersebut.wall_time
: Opsional. Stempel waktu proses saat titik data ini dibuat oleh pengguna akhir. Jika tidak disediakan,wall_time
akan dibuat berdasarkan nilai dari time.time()project
: Project ID Anda. Anda dapat menemukannya di halaman welcome Google Cloud Console.location
: Lihat Daftar lokasi yang tersedia
Langkah dan waktu proses
API log_time_series_metrics
secara opsional menerima step
dan walltime
.
step
: Opsional. Indeks langkah titik data ini dalam operasi tersebut. Jika tidak disediakan, kenaikan dari langkah terakhir pada semua metrik deret waktu yang sudah dicatat akan digunakan. Jika langkah tersebut ada untuk salah satu kunci metrik yang disediakan, langkah tersebut akan ditimpa.wall_time
: Opsional. Detik setelah epoch metrik yang dicatat. Jika tidak disediakan, default-nya adalahtime.time
Python.
Contoh:
aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})
Mencatat ke langkah tertentu
aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)
Mencakup wall_time
aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)
Parameter
Parameter adalah nilai input dengan kunci yang mengonfigurasi operasi, mengatur perilaku operasi, dan memengaruhi hasil operasi. Contohnya mencakup kecepatan pemelajaran, tingkat batal, dan jumlah langkah pelatihan. Buat log parameter menggunakan metode log_params.
Python
aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})
experiment_name
: Berikan nama untuk eksperimen Anda. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.run_name
: Tentukan nama operasi (lihatstart_run
).params
: Key-value pair parameter. Misalnya:{'accuracy': 0.9}
(lihatlog_params
). halaman sambutan.location
: Lihat Daftar lokasi yang tersedia
Metrik klasifikasi
Selain metrik ringkasan dan metrik deret waktu, matriks konfusi dan kurva ROC merupakan metrik yang umum digunakan. Eksperimen dapat dicatat ke dalam log ke Eksperimen Vertex AI menggunakan
log_classification_metrics
API.
Python
experiment_name
: Berikan nama untuk eksperimen Anda. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.run_name
: Tentukan nama operasi (lihatstart_run
).project
: Project ID Anda. Anda dapat menemukannya di halaman welcome Google Cloud Console.location
: Lihat Daftar lokasi yang tersedia.labels
: Daftar nama label untuk matriks konfusi. Harus ditetapkan jika 'matrix' ditetapkan.matrix
: Nilai untuk matriks konfusi. Harus ditetapkan jika 'label' ditetapkan.fpr
: Daftar rasio positif palsu untuk kurva ROC. Harus ditetapkan jika 'tpr' atau 'thresholds' ditetapkan.tpr
: Daftar rasio positif benar untuk kurva ROC. Harus ditetapkan jika 'fpr' atau 'thresholds' ditetapkan.threshold
: Daftar nilai minimum untuk kurva ROC. Harus ditetapkan jika 'fpr' atau 'tpr' ditetapkan.display_name
: Nama yang ditentukan pengguna untuk artefak metrik klasifikasi.
Melihat daftar eksperimen di Konsol Google Cloud
- Di Konsol Google Cloud, buka halaman Experiments.
<a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3VuS9rwbZOYpOQCXa+v4aZ0dt03w==" target="console" track-name="consoleLink" track-type="tasks" }="">Buka Experiments
Daftar eksperimen akan ditampilkan. </a{:> - Pilih eksperimen yang ingin diperiksa.
Daftar operasi akan ditampilkan.
Untuk detail selengkapnya, lihat Membandingkan dan menganalisis operasi.