Bagian penting dari metode ilmiah adalah mencatat pengamatan Anda dan parameter eksperimen. Dalam data science, melacak parameter, artefak, dan metrik yang digunakan dalam eksperimen machine learning (ML) juga sangat penting. Metadata ini membantu Anda:
- Menganalisis operasi sistem ML produksi untuk memahami perubahan kualitas prediksi.
- Menganalisis eksperimen ML untuk membandingkan efektivitas berbagai kumpulan hyperparameter.
- Lacak silsilah artefak ML, misalnya set data dan model, untuk memahami faktor yang berkontribusi pada pembuatan artefak atau cara artefak tersebut digunakan untuk membuat artefak turunan.
- Jalankan kembali alur kerja ML dengan artefak dan parameter yang sama.
- Lacak penggunaan downstream artefak ML untuk tujuan tata kelola.
Dengan Vertex ML Metadata, Anda dapat merekam metadata dan artefak yang dihasilkan oleh sistem ML Anda dan membuat kueri metadata tersebut untuk membantu menganalisis, men-debug, dan mengaudit performa sistem ML Anda atau artefak yang dihasilkannya.
Vertex ML Metadata dibuat berdasarkan konsep yang digunakan di library ML Metadata (MLMD) open source yang dikembangkan oleh tim TensorFlow Extended di Google.
Ringkasan Vertex ML Metadata
Vertex ML Metadata menangkap metadata sistem ML Anda sebagai grafik.
Dalam grafik metadata, artefak dan eksekusi adalah node, dan peristiwa adalah edge yang menautkan artefak sebagai input atau output eksekusi. Konteks mewakili subgrafik yang digunakan untuk mengelompokkan kumpulan artefak dan eksekusi secara logis.
Anda dapat menerapkan metadata key-value pair ke artefak, eksekusi, dan konteks. Misalnya, model dapat memiliki metadata yang menjelaskan framework yang digunakan untuk melatih metrik performa dan model, seperti akurasi, presisi, dan perolehan model.
Pelajari lebih lanjut cara melacak metadata sistem ML Anda. Jika Anda tertarik untuk menganalisis metadata dari Vertex AI Pipelines, lihat tutorial langkah demi langkah ini.
Silsilah artefak ML
Untuk memahami perubahan performa sistem ML mesin, Anda harus dapat menganalisis metadata yang dihasilkan oleh alur kerja ML Anda dan silsilah artefaknya. Silsilah artefak mencakup semua faktor yang berkontribusi pada pembuatannya, serta artefak dan metadata yang berasal dari artefak ini.
Misalnya, silsilah model dapat mencakup hal berikut:
- Data pelatihan, pengujian, dan evaluasi yang digunakan untuk membuat model.
- Hyperparameter yang digunakan selama pelatihan model.
- Kode yang digunakan untuk melatih model.
- Metadata yang dikumpulkan dari proses pelatihan dan evaluasi, seperti akurasi model.
- Artefak yang berasal dari model ini, seperti hasil prediksi batch.
Dengan melacak metadata sistem ML menggunakan Vertex ML Metadata, Anda dapat menjawab pertanyaan seperti berikut:
- Set data mana yang digunakan untuk melatih model tertentu?
- Manakah dari model organisasi saya yang telah dilatih menggunakan set data tertentu?
- Operasi mana yang menghasilkan model paling akurat, dan hyperparameter apa yang digunakan untuk melatih model tersebut?
- Target deployment mana yang digunakan untuk deployment model tertentu, dan kapan model tersebut di-deploy?
- Versi model mana yang digunakan untuk membuat prediksi pada waktu tertentu?
Pelajari lebih lanjut cara menganalisis metadata sistem ML Anda.