Dokumen dalam Framework Arsitektur: perspektif AI dan ML ini memberikan ringkasan tentang prinsip dan rekomendasi untuk membantu Anda membuat dan mengoperasikan sistem AI dan ML yang andal di Google Cloud. Rekomendasi ini membantu Anda menyiapkan elemen dasar seperti kemampuan observasi, otomatisasi, dan skalabilitas. Rekomendasi dalam dokumen ini selaras dengan pilar keunggulan operasional dari Framework Arsitektur.
Keunggulan operasional dalam domain AI dan ML adalah kemampuan untuk men-deploy, mengelola, dan mengatur sistem dan pipeline AI dan ML yang rumit dengan lancar yang mendukung tujuan strategis organisasi Anda. Keunggulan operasional memungkinkan Anda merespons perubahan secara efisien, mengurangi kompleksitas operasional, dan memastikan bahwa operasi tetap selaras dengan sasaran bisnis.
Membangun fondasi yang andal untuk pengembangan model
Buat fondasi yang andal untuk menyederhanakan pengembangan model, mulai dari definisi masalah hingga deployment. Dasar semacam itu memastikan bahwa solusi AI Anda dibuat berdasarkan komponen dan pilihan yang andal dan efisien. Jenis fondasi ini membantu Anda merilis perubahan dan peningkatan dengan cepat dan mudah.
Pertimbangkan rekomendasi berikut:
- Tentukan masalah yang diselesaikan sistem AI dan hasil yang Anda inginkan.
- Identifikasi dan kumpulkan data relevan yang diperlukan untuk melatih dan mengevaluasi model Anda. Kemudian, bersihkan dan praproses data mentah. Terapkan pemeriksaan validasi data untuk memastikan kualitas dan integritas data.
- Pilih pendekatan ML yang sesuai untuk tugas tersebut. Saat Anda mendesain struktur dan parameter model, pertimbangkan kompleksitas model dan persyaratan komputasi.
- Gunakan sistem kontrol versi untuk kode, model, dan data.
Mengotomatiskan siklus proses pengembangan model
Dari persiapan dan pelatihan data hingga deployment dan pemantauan, otomatisasi membantu Anda meningkatkan kualitas dan efisiensi operasi. Otomatisasi memungkinkan pengembangan dan deployment model yang lancar, berulang, dan bebas error. Otomatisasi meminimalkan intervensi manual, mempercepat siklus rilis, dan memastikan konsistensi di seluruh lingkungan.
Pertimbangkan rekomendasi berikut:
- Gunakan sistem orkestrasi pipeline terkelola untuk mengorkestrasi dan mengotomatiskan alur kerja ML. Pipeline harus menangani langkah-langkah utama siklus proses pengembangan Anda: persiapan, pelatihan, deployment, dan evaluasi.
- Mengimplementasikan pipeline CI/CD untuk siklus proses pengembangan model. Pipeline ini harus mengotomatiskan pembuatan, pengujian, dan deployment model. Pipeline juga harus menyertakan pelatihan berkelanjutan untuk melatih ulang model pada data baru sesuai kebutuhan.
- Terapkan pendekatan rilis bertahap seperti deployment canary atau pengujian A/B, untuk rilis model yang aman dan terkontrol.
Menerapkan kemampuan observasi
Saat menerapkan observabilitas, Anda bisa mendapatkan insight mendalam tentang performa model, penyimpangan data, dan kondisi sistem. Terapkan mekanisme pemantauan, pemberitahuan, dan logging berkelanjutan untuk mengidentifikasi masalah secara proaktif, memicu respons tepat waktu, dan memastikan kontinuitas operasional.
Pertimbangkan rekomendasi berikut:
- Terapkan pemantauan performa permanen dan otomatis untuk model Anda. Gunakan metrik dan kriteria keberhasilan untuk evaluasi berkelanjutan terhadap model setelah deployment.
- Pantau endpoint dan infrastruktur deployment Anda untuk memastikan ketersediaan layanan.
- Siapkan pemberitahuan kustom berdasarkan anomali dan nilai minimum khusus bisnis untuk memastikan masalah diidentifikasi dan diselesaikan secara tepat waktu.
- Gunakan teknik Explainable AI untuk memahami dan menafsirkan output model.
Membangun budaya keunggulan operasional
Keunggulan operasional dibangun berdasarkan fondasi orang, budaya, dan praktik profesional. Keberhasilan tim dan bisnis Anda bergantung pada seberapa efektif organisasi Anda menerapkan metodologi yang memungkinkan pengembangan kemampuan AI yang andal dan cepat.
Pertimbangkan rekomendasi berikut:
- Mendukung otomatisasi dan standardisasi sebagai metodologi pengembangan inti. Sederhanakan alur kerja Anda dan kelola siklus proses ML secara efisien menggunakan teknik MLOps. Otomatiskan tugas untuk menghemat waktu bagi inovasi, dan standarkan proses untuk mendukung konsistensi dan pemecahan masalah yang lebih mudah.
- Prioritaskan pembelajaran dan peningkatan berkelanjutan. Promosikan peluang pembelajaran yang dapat digunakan anggota tim untuk meningkatkan keterampilan mereka dan terus mendapatkan informasi terbaru tentang kemajuan AI dan ML. Dorong eksperimen dan lakukan retrospective reguler untuk mengidentifikasi area yang perlu ditingkatkan.
- Kembangkan budaya akuntabilitas dan kepemilikan. Tentukan peran yang jelas sehingga semua orang memahami kontribusi mereka. Berdayakan tim untuk membuat keputusan dalam batas dan melacak progres menggunakan metrik yang transparan.
- Menyematkan etika dan keamanan AI ke dalam budaya. Prioritaskan sistem yang bertanggung jawab dengan mengintegrasikan pertimbangan etika ke dalam setiap tahap siklus proses ML. Tetapkan prinsip etika yang jelas dan dorong diskusi terbuka tentang tantangan terkait etika.
Mendesain untuk skalabilitas
Buat arsitektur solusi AI Anda untuk menangani volume data dan permintaan pengguna yang terus meningkat. Gunakan infrastruktur yang skalabel sehingga model Anda dapat beradaptasi dan berperforma optimal saat project Anda berkembang.
Pertimbangkan rekomendasi berikut:
- Merencanakan kapasitas dan kuota. Antisipasi pertumbuhan di masa mendatang, dan rencanakan kapasitas infrastruktur dan kuota resource Anda dengan sesuai.
- Bersiap menghadapi peristiwa puncak. Pastikan sistem Anda dapat menangani lonjakan traffic atau beban kerja yang tiba-tiba selama peristiwa puncak.
- Menskalakan aplikasi AI untuk produksi. Buat desain untuk penskalaan horizontal guna mengakomodasi peningkatan beban kerja. Gunakan framework seperti Ray di Vertex AI untuk melakukan paralelisasi tugas di beberapa mesin.
- Gunakan layanan terkelola jika perlu. Gunakan layanan yang membantu Anda menskalakan sekaligus meminimalkan overhead operasional dan kompleksitas intervensi manual.
Kontributor
Penulis:
- Sannya Dang | AI Solution Architect
- Filipe Gracio, PhD | Customer Engineer
Kontributor lainnya:
- Kumar Dhanagopal | Developer Solusi Lintas Produk
- Marwan Al Shawi | Partner Customer Engineer
- Ryan Cox | Principal Architect
- Stef Ruinard | Generative AI Field Solutions Architect