Pengantar Vertex AI Experiments

Vertex AI Experiments adalah suatu alat yang membantu Anda melacak dan menganalisis berbagai arsitektur model, hyperparameter, dan lingkungan pelatihan sehingga Anda dapat melacak langkah-langkah, input, dan output dari operasi eksperimen. Vertex AI Experiments juga dapat mengevaluasi performa model Anda secara agregat, terhadap set data pengujian, dan selama operasi pelatihan. Kemudian, Anda dapat menggunakan informasi ini untuk memilih model terbaik bagi kasus penggunaan khusus Anda.

Operasi eksperimen tidak dikenai biaya tambahan. Anda hanya dikenai biaya untuk resource yang digunakan selama eksperimen seperti yang dijelaskan dalam harga Vertex AI.

Apa yang ingin Anda lakukan? Melihat contoh notebook
Melacak metrik dan parameter Membandingkan model
Melacak silsilah eksperimen Pelatihan model
melacak operasi pipeline Membandingkan operasi pipeline

Melacak langkah-langkah, input, dan output

Vertex AI Experiments memungkinkan Anda melacak:

  • langkah-langkah operasi eksperimen, misalnya, pra-pemrosesan, pelatihan,
  • input, misalnya algoritma, parameter, set data,
  • output dari langkah-langkah tersebut, misalnya, model, checkpoint, metrik.

Kemudian, Anda dapat mencari tahu langkah yang berhasil dan langkah yang gagal, serta mengidentifikasi cara lebih lanjut untuk melakukan eksperimen.

Untuk mengetahui contoh perjalanan pengguna, lihat:

Menganalisis performa model

Vertex AI Experiments memungkinkan Anda melacak dan mengevaluasi performa model secara agregat, terhadap set data pengujian, dan selama pelaksanaan pelatihan. Kemampuan ini membantu memahami karakteristik performa model, seperti kualitas performa model tertentu secara keseluruhan, letak kegagalan model, dan letak keunggulan model.

Untuk mengetahui contoh perjalanan pengguna, lihat:

Membandingkan performa model

Dengan Vertex AI Experiments, Anda dapat mengelompokkan dan membandingkan beberapa model di operasi eksperimen. Setiap model memiliki parameter, teknik pemodelan, arsitektur, dan inputnya sendiri yang telah ditetapkan. Pendekatan ini membantu memilih model terbaik.

Untuk mengetahui contoh perjalanan pengguna, lihat:

Menelusuri eksperimen

Konsol Google Cloud menyediakan tampilan terpusat eksperimen, tampilan melintang operasi eksperimen, dan detail untuk setiap operasi eksperimen. Vertex AI SDK untuk Python menyediakan API agar dapat menggunakan eksperimen, operasi eksperimen, parameter, metrik, dan artefak operasi eksperimen.

Vertex AI Experiments, serta Vertex ML Metadata, menyediakan cara untuk menemukan artefak yang dilacak dalam eksperimen. Metode ini memungkinkan Anda dengan cepat melihat silsilah artefak serta artefak yang digunakan dan dihasilkan oleh langkah-langkah dalam suatu proses.

Cakupan dukungan

Vertex AI Experiments mendukung pengembangan model menggunakan pelatihan kustom Vertex AI, notebook Vertex AI Workbench, Notebooks, dan semua Framework ML Python di sebagian besar Framework ML. Untuk beberapa framework ML, seperti TensorFlow, Vertex AI Experiments memberikan integrasi mendalam ke dalam framework sehingga mampu menghadirkan pengalaman pengguna yang otomatis. Untuk framework ML lainnya, Vertex AI Experiments menyediakan Vertex AI SDK netral framework untuk Python yang dapat Anda gunakan. (lihat: Container bawaan untuk TensorFlow, scikit-learn, PyTorch, XGBoost).

Model dan konsep data

Vertex AI Experiments adalah konteks di Vertex ML Metadata tempat eksperimen dapat berisi n operasi eksperimen selain n operasi pipeline. Operasi eksperimen terdiri dari parameter, metrik ringkasan, metrik deret waktu, dan PipelineJob, Artifact, serta resource Vertex AI Execution. Vertex AI TensorBoard, versi TensorBoard open source terkelola, digunakan untuk penyimpanan metrik seri waktu. Eksekusi dan artefak operasi pipeline dapat dilihat di Konsol Google Cloud.

Istilah-istilah dalam Vertex AI Experiments

Eksperimen, operasi eksperimen, dan operasi pipeline

eksperimen
  • Eksperimen adalah konteks yang dapat berisi kumpulan n operasi eksperimen selain proses pipeline tempat pengguna dapat menyelidiki—sebagai suatu grup—berbagai konfigurasi, seperti hyperparameter atau artefak input.
Lihat Membuat eksperimen.

operasi eksperimen
  • Operasi eksperimen dapat berisi metrik, parameter, eksekusi, dan artefak yang ditentukan pengguna, serta resource Vertex (misalnya, PipelineJob).
Lihat Membuat dan mengelola operasi eksperimen.

operasi pipeline
  • Satu atau beberapa PipelineJob Vertex dapat dikaitkan dengan eksperimen, dengan setiap PipelineJob direpresentasikan sebagai satu operasi. Dalam konteks ini, parameter operasi disimpulkan oleh parameter PipelineJob. Metrik disimpulkan dari artefak system.Metric yang dihasilkan oleh PipelineJob. Artefak proses disimpulkan dari artefak yang dihasilkan oleh PipelineJob tersebut.
Satu atau beberapa resource PipelineJob Vertex AI dapat dikaitkan dengan resource ExperimentRun. Dalam konteks ini, parameter, metrik, dan artefak tidak disimpulkan.

Lihat Mengaitkan pipeline dengan eksperimen.

Parameter dan metrik

parameter
  • Parameter adalah nilai input dengan kunci yang mengonfigurasi operasi, mengatur perilaku operasi, dan memengaruhi hasil operasi. Contohnya termasuk kecepatan pembelajaran, tingkat putus sekolah, dan jumlah langkah pelatihan.

Lihat Parameter log.

metrik ringkasan
  • Metrik ringkasan adalah satu nilai untuk setiap kunci metrik dalam suatu operasi eksperimen. Misalnya, akurasi pengujian eksperimen adalah akurasi yang dihitung terhadap set data pengujian di akhir pelatihan yang dapat dicatat sebagai metrik ringkasan nilai tunggal.

Lihat Metrik ringkasan log.

metrik deret waktu
  • Metrik deret waktu adalah nilai metrik longitudinal dengan setiap nilai mewakili langkah dalam bagian rutinitas pelatihan dari suatu operasi. Metrik deret waktu disimpan di Vertex AI TensorBoard. Vertex AI Experiments menyimpan referensi ke resource Vertex TensorBoard.

Lihat Mencatat metrik deret waktu ke dalam log.

Jenis resource

tugas pipeline
  • Resource di Vertex AI API yang sesuai dengan Tugas Pipeline Vertex. Pengguna membuat PipelineJob saat ingin menjalankan Pipeline ML di Vertex AI.

artefak
  • Artefak adalah entity atau bagian data terpisah yang dihasilkan dan digunakan oleh alur kerja machine learning. Contoh artefak meliputi set data, model, file input, dan log pelatihan.

Dengan Vertex AI Experiments, Anda dapat menggunakan skema untuk menentukan jenis artefak. Misalnya, jenis skema yang didukung mencakup system.Dataset, system.Model, dan system.Artifact. Untuk mengetahui informasi selengkapnya, lihat Skema sistem.

Tutorial notebook

Langkah berikutnya