Professional Machine Learning Engineer
Panduan ujian sertifikasi GA saat ini
Professional Machine Learning Engineer mendesain, membangun, dan memproduksi model ML guna mengatasi tantangan bisnis menggunakan teknologi dan pengetahuan Google Cloud tentang model dan teknik ML yang telah terbukti. ML Engineer mempertimbangkan responsible AI di seluruh proses pengembangan ML, dan berkolaborasi erat dengan peran pekerjaan lainnya guna memastikan kesuksesan model untuk jangka panjang. ML Engineer harus mahir dalam semua aspek arsitektur model, interaksi data pipeline, dan interpretasi metrik. ML Engineer perlu memahami konsep dasar pengembangan aplikasi, pengelolaan infrastruktur, data engineering, dan tata kelola data. Dengan memahami pelatihan, pelatihan ulang, deployment, penjadwalan, pemantauan, dan peningkatan kualitas model, ML Engineer dapat mendesain dan membuat solusi yang skalabel untuk menghasilkan performa yang optimal.
Ujian beta Professional Machine Learning Engineer yang baru akan segera hadir. Kandidat ujian beta sebaiknya membaca panduan ujian beta.
Yang baru:
Ujian Professional Machine Learning Engineer versi beta mendatang menunjukkan peningkatan besar pada kemampuan AI Google Cloud. Ujian baru ini tidak terlalu berfokus pada perumusan masalah ML, konsep teori, dan tanggung jawab Data Scientist tradisional, serta lebih menekankan pada rangkaian layanan ML Google Cloud dan framework open source yang digunakan ML Engineer saat mengembangkan, melatih, mengevaluasi, men-deploy, memproduksi, dan memantau solusi ML. Ujian baru juga menunjukkan komitmen Google terhadap responsible AI dan explainable AI.
Ujian baru tidak mencakup AI generatif karena alat yang digunakan untuk mengembangkan solusi berbasis AI generatif berkembang dengan cepat. Jika Anda tertarik untuk mempelajari AI generatif, lihat jalur pembelajaran AI Generatif. Jika Anda adalah partner, lihat jalur pembelajaran AI Generatif untuk partner.
Bagian 1: Merumuskan masalah ML
1.1 Menerjemahkan tantangan bisnis menjadi kasus penggunaan ML. Pertimbangannya meliputi:
● Memilih solusi terbaik (ML vs. non-ML, kustom vs. dalam bentuk paket [misalnya AutoML, Vision API]) berdasarkan kebutuhan bisnis
● Menentukan cara output model seharusnya digunakan untuk mengatasi masalah bisnis
● Menentukan cara menangani hasil yang salah
● Mengidentifikasi sumber data (tersedia vs. ideal)
1.2 Menentukan masalah ML. Pertimbangannya meliputi:
● Jenis masalah (misalnya klasifikasi, regresi, pengelompokan)
● Hasil prediksi model
● Input (fitur) dan format output yang diprediksi
1.3 Menentukan kriteria kesuksesan bisnis. Pertimbangannya meliputi:
● Penyelarasan metrik kesuksesan ML dengan masalah bisnis
● Hasil utama
● Menentukan kapan suatu model dianggap gagal
1.4 Mengidentifikasi risiko pada kelayakan solusi ML. Pertimbangannya meliputi:
● Menilai dan menyampaikan dampak bisnis
● Menilai kesiapan solusi ML
● Menilai kesiapan data dan potensi batasan
● Menyelaraskan dengan praktik Responsible AI Google (misalnya berbagai bias)
Bagian 2: Merancang solusi ML
2.1 Mendesain solusi ML yang andal, skalabel, dan sangat tersedia Pertimbangannya meliputi:
● Memilih layanan ML yang tepat untuk kasus penggunaan (misalnya Cloud Build, Kubeflow)
● Jenis komponen (misalnya pengumpulan data, pengelolaan data)
● Eksplorasi/analisis
● Rekayasa fitur
● Pencatatan log/pengelolaan
● Otomatisasi
● Orkestrasi
● Pemantauan
● Inferensi
2.2 Memilih komponen hardware Google Cloud yang tepat. Pertimbangannya meliputi:
● Evaluasi opsi komputasi dan akselerator (misalnya CPU, GPU, TPU, perangkat edge)
2.3 Mendesain arsitektur yang mengatasi masalah keamanan di berbagai sektor/industri.
Pertimbangannya meliputi:
● Membangun sistem ML yang aman (misalnya melindungi dari eksploitasi data/model yang tidak disengaja, peretasan)
● Implikasi privasi pada penggunaan dan/atau pengumpulan data (misalnya penanganan data sensitif seperti Informasi Identitas Pribadi [PII] dan Informasi Kesehatan Terlindungi [PHI])
Bagian 3: Mendesain sistem persiapan dan pemrosesan data
3.1 Mempelajari data (EDA). Pertimbangannya meliputi:
● Visualisasi
● Dasar-dasar statistik dalam skala besar
● Evaluasi kualitas dan kelayakan data
● Menetapkan batasan data (misalnya TFDV)
3.2 Membangun data pipeline Pertimbangannya meliputi:
● Mengatur dan mengoptimalkan set data pelatihan
● Validasi data
● Menangani data yang hilang
● Menangani pencilan
● Kebocoran data
3.3 Membuat fitur input (rekayasa fitur). Pertimbangannya meliputi:
● Memastikan prapemrosesan data yang konsisten antara pelatihan dan inferensi
● Encoding jenis data terstruktur
● Pilihan fitur
● Ketidakseimbangan kelas
● Persilangan fitur
● Transformasi (TensorFlow Transform)
Bagian 4: Mengembangkan model ML
4.1 Membangun model. Pertimbangannya meliputi:
● Pilihan framework dan model
● Teknik pembuatan model dengan mempertimbangkan persyaratan penafsiran
● Pemelajaran transfer
● Pengayaan data
● Semi-supervised learning
● Generalisasi dan strategi model untuk menangani overfitting dan underfitting
4.2 Pelatihan model. Pertimbangannya meliputi:
● Penyerapan berbagai jenis file ke dalam pelatihan (misalnya CSV, JSON, IMG, parquet atau database, Hadoop/Spark)
● Pelatihan model sebagai tugas di lingkungan berbeda
● Penyesuaian hyperparameter
● Pelacakan metrik selama pelatihan
● Evaluasi pelatihan ulang/deployment ulang
4.3 Pengujian model. Pertimbangannya meliputi:
● Pengujian unit untuk pelatihan dan inferensi model
● Performa model terhadap dasar pengukuran, model yang lebih sederhana, dan di dimensi waktu
● Penjelasan model di Vertex AI
4.4 Penskalaan pelatihan dan inferensi model. Pertimbangannya meliputi:
● Pelatihan yang terdistribusi
● Penskalaan layanan prediksi (misalnya Vertex AI Prediction, inferensi dalam container)
Bagian 5: Mengotomatiskan dan mengorkestrasi pipeline ML
5.1 Mendesain dan menerapkan pipeline pelatihan. Pertimbangannya meliputi:
● Identifikasi kebutuhan komponen, parameter, pemicu, dan komputasi (misalnya Cloud Build, Cloud Run)
● Framework orkestrasi (misalnya Kubeflow Pipelines/Vertex AI Pipelines, Cloud Composer/Apache Airflow)
● Strategi hybrid atau multicloud
● Desain sistem dengan komponen TFX/Kubeflow DSL
5.2 Menerapkan pipeline inferensi. Pertimbangannya meliputi:
● Inferensi (online, batch, penyimpanan dalam cache)
● Opsi inferensi Google Cloud
● Pengujian untuk performa target
● Konfigurasi jadwal pemicu dan pipeline
5.3 Pelacakan dan pengauditan metadata. Pertimbangannya meliputi:
● Mengatur dan melacak eksperimen dan operasi pipeline
● Terhubung ke pembuatan versi model dan set data
● Silsilah model/set data
Bagian 6: Memantau, mengoptimalkan, dan memelihara solusi ML
6.1 Memantau dan memecahkan masalah terkait solusi ML. Pertimbangannya meliputi:
● Performa dan kualitas bisnis dari prediksi model ML
● Strategi pencatatan log
● Menetapkan metrik evaluasi berkelanjutan (misalnya evaluasi penyimpangan atau bias)
● Memahami model izin Google Cloud
● Identifikasi kebijakan pelatihan ulang yang tepat
● Error yang umum pada pelatihan dan inferensi (TensorFlow)
● Kegagalan model ML dan bias yang timbul
6.2 Menyesuaikan performa solusi ML untuk pelatihan dan inferensi dalam produksi.
Pertimbangannya meliputi:
● Pengoptimalan dan penyederhanaan pipeline input untuk pelatihan
● Teknik penyederhanaan