Pengantar Vertex AI Experiments

Vertex AI Experiments adalah suatu alat yang membantu Anda melacak dan menganalisis berbagai arsitektur model, hyperparameter, dan lingkungan pelatihan sehingga Anda dapat melacak langkah-langkah, input, dan output dari operasi eksperimen. Vertex AI Experiments juga dapat mengevaluasi performa model Anda secara agregat, terhadap set data pengujian, dan selama operasi pelatihan. Kemudian, Anda dapat menggunakan informasi ini untuk memilih model terbaik bagi kasus penggunaan khusus Anda.

Operasi eksperimen tidak dikenai biaya tambahan. Anda hanya dikenai biaya untuk resource yang digunakan selama eksperimen seperti yang dijelaskan dalam harga Vertex AI.

Apa yang ingin Anda lakukan? Melihat contoh notebook
Melacak metrik dan parameter Membandingkan model
Melacak silsilah eksperimen Pelatihan model
melacak operasi pipeline Membandingkan operasi pipeline

Melacak langkah-langkah, input, dan output

Eksperimen Vertex AI memungkinkan Anda melacak:

  • langkah-langkah operasi eksperimen, misalnya, pra-pemrosesan, pelatihan,
  • input, misalnya algoritma, parameter, set data,
  • output dari langkah-langkah tersebut, misalnya, model, checkpoint, metrik.

Anda kemudian dapat mencari tahu apa yang berhasil dan apa yang tidak, dan mengidentifikasi cara lebih lanjut untuk eksperimen.

Untuk mengetahui contoh perjalanan pengguna, lihat:

Menganalisis performa model

Dengan Vertex AI Experiments, Anda dapat melacak dan mengevaluasi performa model secara agregat, terhadap set data pengujian, dan selama proses pelatihan. Kemampuan ini membantu memahami karakteristik performa model -- seberapa baik model tertentu berfungsi secara keseluruhan, kapan model gagal, dan keunggulan model tersebut.

Untuk mengetahui contoh perjalanan pengguna, lihat:

Membandingkan performa model

Vertex AI Experiments memungkinkan Anda mengelompokkan dan membandingkan beberapa model di proses eksperimen. Setiap model memiliki parameter, teknik pemodelan, arsitektur, dan inputnya sendiri yang ditentukan. Pendekatan ini membantu memilih model terbaik.

Untuk mengetahui contoh perjalanan pengguna, lihat:

Menelusuri eksperimen

Konsol Google Cloud menyediakan tampilan terpusat eksperimen, tampilan melintang operasi eksperimen, dan detail untuk setiap operasi eksperimen. Vertex AI SDK untuk Python menyediakan API untuk menggunakan eksperimen, eksperimen yang dijalankan, parameter run eksperimen, metrik, dan artefak.

Vertex AI Experiments, serta Vertex ML Metadata, menyediakan cara untuk menemukan artefak yang dilacak dalam eksperimen. Metode ini memungkinkan Anda dengan cepat melihat silsilah artefak serta artefak yang digunakan dan dihasilkan oleh langkah-langkah dalam suatu proses.

Cakupan dukungan

Vertex AI Experiments mendukung pengembangan model menggunakan pelatihan kustom Vertex AI, notebook Vertex AI Workbench, Notebooks, dan semua Framework ML Python di sebagian besar Framework ML. Untuk beberapa framework ML, seperti TensorFlow, Vertex AI Experiments memberikan integrasi mendalam ke dalam framework sehingga mampu menghadirkan pengalaman pengguna yang otomatis. Untuk framework ML lainnya, Vertex AI Experiments menyediakan Vertex AI SDK netral framework untuk Python yang dapat Anda gunakan. (lihat: Container bawaan untuk TensorFlow, scikit-learn, PyTorch, XGBoost).

Model dan konsep data

Vertex AI Experiments adalah konteks di Vertex ML Metadata tempat eksperimen dapat berisi n operasi eksperimen selain n operasi pipeline. Eksperimen yang dijalankan terdiri dari parameter, metrik ringkasan, metrik deret waktu, serta resource Vertex AI PipelineJob, Artifact, dan Execution. Vertex AI TensorBoard, versi TensorBoard open source terkelola, digunakan untuk penyimpanan metrik seri waktu. Eksekusi dan artefak operasi pipeline dapat dilihat di Konsol Google Cloud.

Istilah-istilah dalam Vertex AI Experiments

Eksperimen, operasi eksperimen, dan operasi pipeline

eksperimen
  • Eksperimen adalah konteks yang dapat berisi kumpulan n operasi eksperimen selain operasi pipeline tempat pengguna dapat menyelidiki—sebagai suatu grup—berbagai konfigurasi, seperti hyperparameter atau artefak input.
Lihat Membuat eksperimen.

operasi eksperimen
  • Operasi eksperimen dapat berisi metrik, parameter, eksekusi, artefak yang ditentukan pengguna, dan resource Vertex (misalnya, PipelineJob).
Lihat Membuat dan mengelola operasi eksperimen.

operasi pipeline
  • Satu atau beberapa PipelineJob Vertex dapat dikaitkan dengan eksperimen, dengan setiap PipelineJob direpresentasikan sebagai satu operasi. Dalam konteks ini, parameter operasi disimpulkan oleh parameter PipelineJob. Metrik disimpulkan dari artefak system.Metric yang dihasilkan oleh PipelineJob. Artefak proses disimpulkan dari artefak yang dihasilkan oleh PipelineJob tersebut.
Satu atau beberapa resource PipelineJob Vertex AI dapat dikaitkan dengan resource ExperimentRun. Dalam konteks ini, parameter, metrik, dan artefak tidak disimpulkan.

Lihat Mengaitkan pipeline dengan eksperimen.

Parameter dan metrik

parameter
  • Parameter adalah nilai input dengan kunci yang mengonfigurasi operasi, mengatur perilaku operasi, dan memengaruhi hasil operasi. Contohnya termasuk kecepatan pembelajaran, tingkat putus sekolah, dan jumlah langkah pelatihan.

Lihat Parameter log.

metrik ringkasan
  • Metrik ringkasan adalah satu nilai untuk setiap kunci metrik dalam suatu operasi eksperimen. Misalnya, akurasi pengujian eksperimen adalah akurasi yang dihitung terhadap set data pengujian di akhir pelatihan yang dapat dicatat sebagai metrik ringkasan nilai tunggal.

Lihat Metrik ringkasan log.

metrik deret waktu
  • Metrik deret waktu adalah nilai metrik longitudinal dengan setiap nilai mewakili langkah dalam bagian rutinitas pelatihan dari suatu operasi. Metrik deret waktu disimpan di Vertex AI TensorBoard. Vertex AI Experiments menyimpan referensi ke resource Vertex TensorBoard.

Lihat Mencatat metrik deret waktu ke dalam log.

Jenis resource

tugas pipeline
  • Resource di Vertex AI API yang sesuai dengan Tugas Pipeline Vertex. Pengguna membuat PipelineJob saat ingin menjalankan Pipeline ML di Vertex AI.

artefak
  • Artefak adalah entity atau bagian data terpisah yang dihasilkan dan digunakan oleh alur kerja machine learning. Contoh artefak meliputi set data, model, file input, dan log pelatihan.

Dengan Vertex AI Experiments, Anda dapat menggunakan skema untuk menentukan jenis artefak. Misalnya, jenis skema yang didukung mencakup system.Dataset, system.Model, dan system.Artifact. Untuk mengetahui informasi selengkapnya, lihat Skema sistem.

Tutorial notebook

Langkah selanjutnya