Dokumen ini dalam Framework Arsitektur: Perspektif AI dan ML memberikan ringkasan prinsip dan rekomendasi untuk mengoptimalkan biaya sistem AI Anda selama siklus proses ML. Dengan mengadopsi pendekatan pengelolaan biaya yang proaktif dan berbasis informasi, organisasi Anda dapat mewujudkan potensi penuh sistem AI dan ML serta mempertahankan disiplin keuangan. Rekomendasi dalam dokumen ini selaras dengan pilar pengoptimalan biaya dari Framework Arsitektur.
Sistem AI dan ML dapat membantu Anda mendapatkan insight berharga dan kemampuan prediktif dari data. Misalnya, Anda dapat mengurangi hambatan dalam proses internal, meningkatkan pengalaman pengguna, dan mendapatkan insight pelanggan yang lebih mendalam. Cloud menawarkan resource dalam jumlah besar dan waktu perolehan nilai yang cepat tanpa investasi awal yang besar untuk workload AI dan ML. Untuk memaksimalkan nilai bisnis dan menyesuaikan pembelanjaan dengan sasaran bisnis, Anda perlu memahami faktor pendorong biaya, mengoptimalkan biaya secara proaktif, menyiapkan kontrol pembelanjaan, dan mengadopsi praktik FinOps.
Menentukan dan mengukur biaya dan hasil
Untuk mengelola biaya AI dan ML di Google Cloud secara efektif, Anda harus menentukan dan mengukur pengeluaran untuk resource cloud dan nilai bisnis inisiatif AI dan ML Anda. Google Cloud menyediakan alat komprehensif untuk penagihan dan pengelolaan biaya guna membantu Anda melacak pengeluaran secara terperinci. Metrik nilai bisnis yang dapat Anda ukur mencakup kepuasan pelanggan, pendapatan, dan biaya operasional. Dengan menetapkan metrik konkret untuk biaya dan nilai bisnis, Anda dapat membuat keputusan yang tepat tentang alokasi dan pengoptimalan resource.
Pertimbangkan rekomendasi berikut:
- Tetapkan tujuan bisnis dan indikator performa utama (KPI) yang jelas untuk project AI dan ML Anda.
- Gunakan informasi penagihan yang disediakan oleh Google Cloud untuk menerapkan proses pelaporan dan pemantauan biaya yang dapat membantu Anda mengatribusikan biaya ke aktivitas AI dan ML tertentu.
- Buat dasbor, pemberitahuan, dan sistem pelaporan untuk melacak biaya dan hasil berdasarkan KPI.
Mengoptimalkan alokasi resource
Untuk mencapai efisiensi biaya untuk workload AI dan ML di Google Cloud, Anda harus mengoptimalkan alokasi resource. Dengan menyelaraskan alokasi resource dengan kebutuhan workload dengan cermat, Anda dapat menghindari pengeluaran yang tidak perlu dan memastikan bahwa sistem AI dan ML Anda memiliki resource yang diperlukan untuk berperforma secara optimal.
Pertimbangkan rekomendasi berikut:
- Gunakan penskalaan otomatis untuk menyesuaikan resource secara dinamis untuk pelatihan dan inferensi.
- Mulailah dengan model dan data yang kecil. Hemat biaya dengan menguji hipotesis dalam skala yang lebih kecil jika memungkinkan.
- Temukan kebutuhan komputasi Anda melalui eksperimen. Sesuaikan resource yang digunakan untuk pelatihan dan penayangan berdasarkan persyaratan ML Anda.
- Terapkan praktik MLOps untuk mengurangi duplikasi, proses manual, dan alokasi resource yang tidak efisien.
Menerapkan praktik tata kelola dan pengelolaan data
Praktik tata kelola dan pengelolaan data yang efektif memainkan peran penting dalam pengoptimalan biaya. Data yang terorganisir dengan baik membantu organisasi Anda menghindari duplikasi yang tidak perlu, mengurangi upaya yang diperlukan untuk mendapatkan data berkualitas tinggi, dan mendorong tim untuk menggunakan kembali set data. Dengan mengelola data secara proaktif, Anda dapat mengurangi biaya penyimpanan, meningkatkan kualitas data, dan memastikan model ML dilatih serta beroperasi pada data yang paling relevan dan berharga.
Pertimbangkan rekomendasi berikut:
- Menetapkan dan mengadopsi framework tata kelola data yang jelas.
- Terapkan label dan metadata yang relevan ke set data pada saat proses penyerapan data.
- Pastikan set data dapat ditemukan dan diakses di seluruh organisasi.
- Buat set data dan fitur Anda dapat digunakan kembali selama siklus proses ML jika memungkinkan.
Mengotomatiskan dan menyederhanakan dengan MLOps
Manfaat utama dari mengadopsi praktik MLOps adalah pengurangan biaya, baik dari perspektif teknologi maupun dalam hal aktivitas personel. Otomatisasi membantu Anda menghindari duplikasi aktivitas ML dan meningkatkan produktivitas data scientist dan engineer ML.
Pertimbangkan rekomendasi berikut:
- Tingkatkan tingkat otomatisasi dan standardisasi dalam teknologi pengumpulan dan pemrosesan data Anda untuk mengurangi upaya dan waktu pengembangan.
- Kembangkan pipeline pelatihan otomatis untuk mengurangi kebutuhan intervensi manual dan meningkatkan produktivitas engineer. Terapkan mekanisme untuk pipeline guna menggunakan kembali aset yang ada seperti set data yang disiapkan dan model yang dilatih.
- Gunakan layanan evaluasi dan penyesuaian model di Google Cloud untuk meningkatkan performa model dengan lebih sedikit iterasi. Hal ini memungkinkan tim AI dan ML Anda mencapai lebih banyak tujuan dalam waktu lebih singkat.
Menggunakan layanan terkelola dan model terlatih atau yang sudah ada
Ada banyak pendekatan untuk mencapai sasaran bisnis menggunakan AI dan ML. Terapkan pendekatan inkremental untuk pemilihan model dan pengembangan model. Hal ini membantu Anda menghindari biaya berlebihan yang terkait dengan memulai dari awal setiap saat. Untuk mengontrol biaya, mulailah dengan pendekatan sederhana: gunakan framework ML, layanan terkelola, dan model terlatih.
Pertimbangkan rekomendasi berikut:
- Mengaktifkan eksperimen ML eksplorasi dan cepat menggunakan lingkungan notebook.
- Gunakan model yang ada dan yang telah dilatih sebelumnya sebagai titik awal untuk mempercepat proses pemilihan dan pengembangan model Anda.
- Gunakan layanan terkelola untuk melatih atau menayangkan model Anda. AutoML dan layanan pelatihan model kustom terkelola dapat membantu mengurangi biaya pelatihan model. Layanan terkelola juga dapat membantu mengurangi biaya infrastruktur penyaluran model Anda.
Membina budaya kesadaran biaya dan pengoptimalan berkelanjutan
Kembangkan lingkungan kolaboratif yang mendorong komunikasi dan peninjauan teratur. Pendekatan ini membantu tim mengidentifikasi dan menerapkan peluang penghematan biaya sepanjang siklus proses ML.
Pertimbangkan rekomendasi berikut:
- Terapkan prinsip FinOps di seluruh siklus proses ML Anda.
- Pastikan semua biaya dan manfaat bisnis dari project AI dan ML telah menetapkan pemilik dengan akuntabilitas yang jelas.
Kontributor
Penulis:
- Isaac Lo | AI Business Development Manager
- Filipe Gracio, PhD | Customer Engineer
Kontributor lainnya:
- Kumar Dhanagopal | Developer Solusi Lintas Produk
- Marwan Al Shawi | Partner Customer Engineer
- Nicolas Pintaux | Customer Engineer, Application Modernization Specialist