Pengantar pelatihan kustom: Melatih model klasifikasi gambar kustom

Untuk mempelajari lebih lanjut, jalankan notebook Jupyter berikut di lingkungan pilihan Anda:

• "Gunakan Vertex AI SDK untuk Python guna melatih dan men-deploy model klasifikasi gambar kustom untuk prediksi batch.":

  Buka di Colab | Buka di Colab Enterprise | Buka di notebook yang dikelola pengguna Vertex AI Workbench | Lihat di GitHub

• "Gunakan Vertex AI SDK untuk Python guna melatih dan men-deploy model klasifikasi gambar kustom untuk prediksi online.":

  Buka di Colab | Buka di Colab Enterprise | Buka di notebook yang dikelola pengguna Vertex AI Workbench | Lihat di GitHub

Halaman ini menunjukkan cara menjalankan aplikasi pelatihan TensorFlow Keras di Vertex AI. Model khusus ini melatih model klasifikasi gambar yang dapat mengklasifikasikan bunga berdasarkan jenisnya.

Tutorial ini memiliki beberapa halaman:

1. Menyiapkan project dan lingkungan Anda.

2. Melatih model klasifikasi gambar kustom.

3. Menyajikan prediksi dari model klasifikasi gambar kustom.

4. Membersihkan project Anda.

Setiap halaman mengasumsikan bahwa Anda telah menjalankan petunjuk dari halaman tutorial sebelumnya.

Bagian selanjutnya dari dokumen ini mengasumsikan bahwa Anda menggunakan lingkungan Cloud Shell yang sama dengan yang Anda buat saat mengikuti halaman pertama tutorial ini. Jika sesi Cloud Shell asli Anda tidak lagi terbuka, Anda dapat kembali ke lingkungan dengan melakukan tindakan berikut:

1. Di konsol Google Cloud, aktifkan Cloud Shell.

   Aktifkan Cloud Shell

2. Dalam sesi Cloud Shell, jalankan perintah berikut:

   cd hello-custom-sample

Menjalankan pipeline pelatihan kustom

Bagian ini menjelaskan penggunaan paket pelatihan yang Anda upload ke Cloud Storage untuk menjalankan pipeline pelatihan kustom Vertex AI.

1. Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Training pipelines.

   Buka Training pipelines

2. Klik Create untuk membuka panel Train new model.

3. Pada langkah Choose training method, lakukan hal berikut:

   1. Di menu drop-down Set data, pilih No managed dataset. Aplikasi pelatihan khusus ini memuat data dari library TensorFlow Datasets, bukan set data Vertex AI yang terkelola.

   2. Pastikan Custom training (advanced) dipilih.

   Klik Lanjutkan.

4. Pada langkah Model details, di kolom Name, masukkan hello_custom. Klik Continue.

5. Pada langkah Training container, berikan informasi yang diperlukan kepada Vertex AI untuk menggunakan paket pelatihan yang Anda upload ke Cloud Storage:

   1. Pilih Prebuilt container.

   2. Di menu drop-down Model framework, pilih TensorFlow.

   3. Di menu drop-down Model framework version, pilih 2.3.

   4. Di kolom Package location, masukkan cloud-samples-data/ai-platform/hello-custom/hello-custom-sample-v1.tar.gz.

   5. Di kolom Python module, masukkan trainer.task. trainer adalah nama paket Python di tarball, dan task.py berisi kode pelatihan Anda. Oleh karena itu, trainer.task adalah nama modul yang akan dijalankan oleh Vertex AI.

   6. Di kolom Model output directory, klik Browse. Lakukan hal berikut di panel Select folder:

      1. Buka bucket Cloud Storage Anda.

      2. Klik Create new folder .

      3. Beri nama folder baru output. Lalu klik Create.

      4. Klik Select.

      Pastikan kolom tersebut memiliki nilai gs://BUCKET_NAME/output, di mana BUCKET_NAME adalah nama bucket Cloud Storage Anda.

      Nilai ini diteruskan ke Vertex AI di kolom API baseOutputDirectory yang menetapkan beberapa variabel lingkungan yang dapat diakses oleh aplikasi pelatihan Anda saat dijalankan.

      Misalnya, saat Anda menetapkan kolom ini ke gs://BUCKET_NAME/output, Vertex AI akan menetapkan variabel lingkungan AIP_MODEL_DIR ke gs://BUCKET_NAME/output/model. Di akhir pelatihan, Vertex AI akan menggunakan artefak apa pun di direktori AIP_MODEL_DIR untuk membuat resource model.

      Pelajari lebih lanjut variabel lingkungan yang ditetapkan oleh kolom ini.

   Klik Lanjutkan.

6. Pada langkah Hyperparameters opsional, pastikan kotak Enable hyperparameter tuning tidak dicentang. Tutorial ini tidak menggunakan penyesuaian hyperparameter. Klik Continue.

7. Pada langkah Compute and pricing, alokasikan resource untuk tugas pelatihan kustom:

   1. Di menu drop-down Region, pilih us-central1 (Iowa).

   2. Di menu drop-down Machine type, pilih n1-standard-4 dari bagian Standard.

   Jangan tambahkan akselerator atau kumpulan pekerja untuk tutorial ini. Klik Continue.

8. Pada langkah Prediction container, berikan informasi yang diperlukan Vertex AI untuk menyajikan prediksi:

   1. Pilih Prebuilt container.

   2. Di bagian Prebuilt container settings, lakukan hal berikut:

      1. Di menu drop-down Model framework, pilih TensorFlow.

      2. Di menu drop-down Model framework version, pilih 2.3.

      3. Di menu drop-down Accelerator type, pilih None.

      4. Pastikan kolom Model directory memiliki nilai gs://BUCKET_NAME/output, di mana BUCKET_NAME adalah nama bucket Cloud Storage Anda. Ini cocok dengan nilai Model output directory yang Anda sediakan pada langkah sebelumnya.

   3. Biarkan kolom di bagian Predict schemata kosong.

9. Klik Start training untuk memulai pipeline pelatihan kustom.

Sekarang Anda dapat melihat pipeline pelatihan baru, yang bernama hello_custom, di halaman Training. (Anda mungkin perlu memuat ulang halaman.) Pipeline pelatihan melakukan dua hal utama:

1. Pipeline pelatihan membuat resource tugas kustom bernama hello_custom-custom-job. Setelah beberapa saat, Anda dapat melihat referensi ini di halaman Custom jobs di bagian Training:

   Buka Custom jobs

   Tugas kustom menjalankan aplikasi pelatihan menggunakan resource komputasi yang Anda tentukan di bagian ini.

2. Setelah tugas kustom selesai, pipeline pelatihan akan mencari artefak yang dibuat oleh aplikasi pelatihan Anda di direktori output/model/ bucket Cloud Storage Anda. Pipeline menggunakan artefak ini untuk membuat resource model.

Memantau pelatihan

Untuk melihat log pelatihan, lakukan hal berikut:

1. Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Custom jobs.

   Buka Custom jobs

2. Untuk melihat detail CustomJob yang baru saja Anda buat, klik hello_custom-custom-job dalam daftar.

3. Di halaman detail tugas, klik View logs.

Melihat model terlatih Anda

Ketika pipeline pelatihan kustom selesai, Anda dapat menemukan model terlatih di Konsol Google Cloud, di bagian Vertex AI, di halaman Model.

Buka Model

Model ini memiliki nama hello_custom.

Langkah selanjutnya

Ikuti halaman berikutnya dalam tutorial ini untuk menyajikan prediksi dari model ML terlatih Anda.