Dengan algoritma bawaan di AI Platform Training, Anda dapat mengirimkan data pelatihan, memilih algoritme, dan membiarkan AI Platform Training menangani pra-pemrosesan dan pelatihan untuk Anda, tanpa perlu menulis kode apa pun untuk aplikasi pelatihan. Dengan algoritma gambar bawaan, Anda dapat berlatih di TPU dengan konfigurasi minimal. TensorFlowSavedModel yang dihasilkan kompatibel untuk disalurkan di CPU dan GPU.
Ringkasan
Dalam tutorial ini, Anda akan melatih model klasifikasi gambar tanpa menulis kode apa pun. Anda mengirimkan set data Bunga ke Pelatihan AI Platform untuk pelatihan, lalu men-deploy model pada AI Platform Prediction untuk mendapatkan prediksi. Model yang dihasilkan mengklasifikasikan gambar bunga berdasarkan spesies (aster, tulip, mawar, bunga matahari, atau dandelion).
Sebelum memulai
Untuk menyelesaikan tutorial ini di command line, gunakan Cloud Shell atau lingkungan apa pun tempat Google Cloud CLI diinstal.
Selesaikan langkah-langkah berikut untuk menyiapkan akun GCP, mengaktifkan API yang diperlukan, serta menginstal dan mengaktifkan Google Cloud CLI:
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Aktifkan API AI Platform Training & Prediction and Compute Engine.
- Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init -
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Aktifkan API AI Platform Training & Prediction and Compute Engine.
- Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init
Otorisasi Cloud TPU untuk mengakses project Anda
Ikuti langkah-langkah berikut untuk memberi otorisasi nama akun layanan Cloud TPU yang terkait dengan project Google Cloud Anda:
Dapatkan nama akun layanan Cloud TPU dengan memanggil
projects.getConfig. Contoh:PROJECT_ID=PROJECT_ID curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \ https://ml.googleapis.com/v1/projects/$PROJECT_ID:getConfigSimpan nilai kolom
serviceAccountProjectdantpuServiceAccountyang ditampilkan oleh API.Lakukan inisialisasi akun layanan Cloud TPU:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" -d '{}' \ https://serviceusage.googleapis.com/v1beta1/projects/<serviceAccountProject>/services/tpu.googleapis.com:generateServiceIdentity
Sekarang, tambahkan akun layanan Cloud TPU sebagai anggota di project Anda, dengan peran Cloud ML Service Agent. Selesaikan langkah-langkah berikut di Konsol Google Cloud atau menggunakan perintah gcloud:
Konsol
- Login ke Google Cloud Console dan pilih project tempat Anda menggunakan TPU.
- Pilih IAM & Admin > IAM.
- Klik tombol Add untuk menambahkan anggota ke project.
- Masukkan akun layanan TPU di kotak teks Anggota.
- Klik daftar dropdown Peran.
- Aktifkan peran Cloud ML Service Agent (Service Agents > Cloud ML Service Agent).
gcloud
Tetapkan variabel lingkungan yang berisi project ID Anda dan akun layanan Cloud TPU:
PROJECT_ID=PROJECT_ID SVC_ACCOUNT=your-tpu-sa-123@your-tpu-sa.google.com.iam.gserviceaccount.comBerikan peran
ml.serviceAgentke akun layanan Cloud TPU:gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$SVC_ACCOUNT --role roles/ml.serviceAgent
Untuk mengetahui detail selengkapnya tentang memberikan peran ke akun layanan, lihat dokumentasi IAM.
Penyiapan
Kami telah mengubah set data TensorFlow Flowers untuk digunakan dengan tutorial ini, dan menghostingnya di bucket Cloud Storage publik,
gs://cloud-samples-data/ai-platform/built-in/image/flowers/.
Konsol
Pilih algoritma Anda
Buka halaman Tugas Pelatihan AI Platform di Konsol Google Cloud:
Klik tombol Tugas pelatihan baru. Dari opsi yang ditampilkan di bawah, klik Pelatihan algoritme bawaan. Halaman Buat tugas pelatihan baru akan ditampilkan.
Pembuatan tugas pelatihan dibagi menjadi empat langkah. Langkah pertama adalah Algoritme pelatihan. Pilih klasifikasi gambar, lalu klik Berikutnya.
Data pelatihan
Di bagian Data pelatihan, pilih data pelatihan untuk set data sampel, yang dihosting di bucket Cloud Storage publik kami:
Pilih Gunakan beberapa file yang disimpan di satu direktori Cloud Storage.
Untuk Directory path, isi: "cloud-samples-data/ai-platform/built-in/image/flowers/"
Untuk Nama karakter pengganti, isi "flowers_train*" untuk memilih semua file pelatihan dalam direktori.
Jalur GCS yang lengkap akan ditampilkan di bawah: "gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_train*"
Di bagian Data validasi, pilih data validasi untuk set data sampel, yang dihosting di bucket Cloud Storage publik kami:
Pilih Gunakan beberapa file yang disimpan di satu direktori Cloud Storage.
Untuk Directory path, isi: "cloud-samples-data/ai-platform/built-in/image/flowers/"
Untuk Nama karakter pengganti, isi "flowers_validation*" untuk memilih semua file validasi dalam direktori.
Jalur GCS yang lengkap akan ditampilkan di bawah: "gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_validation*"
Tentukan Direktori output di bucket Cloud Storage Anda tempat Anda ingin AI Platform Training menyimpan model terlatih, checkpoint, dan output tugas pelatihan lainnya. Anda dapat mengisi jalur yang tepat di bucket, atau menggunakan tombol Browse untuk memilih jalur.
gcloud
Siapkan variabel lingkungan untuk project ID Anda, bucket Cloud Storage, jalur Cloud Storage ke data pelatihan, dan pilihan algoritme Anda.
Algoritma bawaan AI Platform Training berada di container Docker yang dihosting di Container Registry.
PROJECT_ID="YOUR_PROJECT_ID"
BUCKET_NAME="YOUR_BUCKET_NAME"
REGION="us-central1"
gcloud config set project $PROJECT_ID
gcloud config set compute/region $REGION
# Set paths to the training and validation data.
TRAINING_DATA_PATH="gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_train*"
VALIDATION_DATA_PATH="gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_validation*"
# Specify the Docker container for your built-in algorithm selection.
IMAGE_URI="gcr.io/cloud-ml-algos/image_classification:latest"
Mengirim tugas pelatihan
Untuk mengirimkan tugas, Anda harus menentukan beberapa argumen pelatihan dasar dan beberapa argumen dasar yang terkait dengan algoritma klasifikasi gambar.
Argumen umum untuk tugas pelatihan:
| Melatih argumen tugas | |
|---|---|
| Argumen | Deskripsi |
job-id |
ID unik untuk tugas pelatihan Anda. Anda dapat menggunakannya untuk menemukan log tentang status tugas pelatihan setelah mengirimkannya. |
job-dir |
Jalur Cloud Storage tempat AI Platform Training menyimpan file pelatihan setelah menyelesaikan tugas pelatihan yang berhasil. |
scale-tier |
Menentukan jenis mesin untuk pelatihan. Gunakan BASIC untuk memilih
konfigurasi untuk satu mesin saja.
|
master-image-uri |
URI Container Registry digunakan untuk menentukan container Docker yang akan digunakan untuk tugas pelatihan. Gunakan container untuk algoritme klasifikasi gambar bawaan yang ditentukan sebelumnya sebagai IMAGE_URI.
|
region |
Tentukan region yang tersedia untuk menjalankan tugas pelatihan Anda. Untuk tutorial ini, Anda dapat menggunakan wilayah us-central1.
|
Argumen khusus untuk algoritma klasifikasi gambar bawaan:
| Argumen algoritme | |
|---|---|
| Argumen | Deskripsi |
training_data_path |
Jalur ke pola jalur TFRecord yang digunakan untuk pelatihan. |
validation_data_path |
Jalur ke pola jalur TFRecord yang digunakan untuk validasi. |
pretrained_checkpoint_path |
Jalur checkpoint yang telah dilatih sebelumnya. Anda dapat menggunakan beberapa checkpoint yang dipublikasikan. |
num_classes |
Jumlah kelas dalam data pelatihan/validasi. |
max_steps |
Jumlah langkah yang akan dijalankan oleh tugas pelatihan. |
train_batch_size |
Jumlah gambar yang akan digunakan per langkah pelatihan. |
num_eval_images |
Jumlah total gambar yang digunakan untuk evaluasi. Jika nilainya 0, semua gambar dalam validation_data_path akan
digunakan untuk evaluasi.
|
learning_rate_decay_type |
Metode yang digunakan untuk melambatkan kecepatan pembelajaran selama pelatihan. |
warmup_learning_rate |
Kecepatan pemelajaran di awal fase pemanasan. |
warmup_steps |
Jumlah langkah yang akan dijalankan selama fase pemanasan, atau durasi fase pemanasan dalam langkah-langkah.
Tugas pelatihan menggunakan warmup_learning_rate selama fase pemanasan. Saat fase pemanasan selesai, tugas pelatihan akan menggunakan
initial_learning_rate.
|
initial_learning_rate |
Kecepatan pemelajaran awal setelah fase pemanasan selesai. |
stepwise_learning_rate_steps |
Langkah-langkah untuk mengurangi/mengubah kecepatan pemelajaran untuk jenis peluruhan kecepatan pembelajaran bertahap. Misalnya, 100.200 berarti kecepatan pemelajaran akan berubah (sehubungan dengan stepwise_learning_rate_levels) pada langkah 100
dan langkah 200. Perhatikan bahwa ini hanya akan diterapkan jika learning_rate_decay_type ditetapkan ke bertahap.
|
stepwise_learning_rate_levels |
Nilai kecepatan pembelajaran setiap langkah untuk jenis peluruhan kecepatan pembelajaran bertahap. Perhatikan bahwa ini hanya akan diterapkan jika learning_rate_decay_type ditetapkan ke bertahap.
|
image_size |
Ukuran gambar (lebar dan tinggi) yang digunakan untuk pelatihan. |
optimizer_type |
Pengoptimal yang digunakan untuk pelatihan. ID harus berupa salah satu dari: {momentum, adam, rmsprop}
|
optimizer_arguments |
Argumen untuk pengoptimal. Nilai ini adalah daftar pasangan "name=value" yang dipisahkan koma. Aplikasi harus kompatibel dengan
optimizer_type. Contoh:
|
model_type |
Jenis arsitektur model yang digunakan untuk melatih model. Nilainya dapat berupa salah satu dari:
|
label_smoothing |
Parameter penghalusan label yang digunakan dalam
softmax_cross_entropy.
|
weight_decay |
Ko-efisien peluruhan berat untuk regularisasi L2.
loss = cross_entropy + params['weight_decay'] * l2_loss
|
Untuk mengetahui daftar mendetail dari semua flag algoritma klasifikasi gambar lainnya, lihat referensi klasifikasi gambar bawaan.
Konsol
Argumen algoritme
Di bagian pertama tab Argumen algoritma, isi nilai berikut:
- Jumlah kelas: 5
- Langkah maks: 15.000
- Ukuran tumpukan kereta: 128
- Jumlah gambar evaluasi: 1
Di Bagian Model pada tab Argumen algoritma:
- Untuk Model type, pilih Efficientnet-b4.
- Biarkan Pretraining checkpoint path kosong.
- Biarkan Label smoothing dan Peluruhan Berat pada nilai defaultnya.
Setelan pekerjaan
Pada tab Job settings:
- Masukkan ID Pekerjaan unik (seperti "image_classification_example").
- Masukkan region yang tersedia (seperti "us-central1").
- Untuk memilih jenis mesin, pilih "KHUSUS" untuk tingkat skala.
Bagian untuk menyediakan tampilan Spesifikasi cluster kustom
Anda.
- Untuk Master type, pilih complex_model_m.
- Untuk Worker type, pilih cloud_tpu. Secara default, jumlah pekerja adalah 1.
Klik Selesai untuk mengirim tugas pelatihan.
gcloud
Siapkan semua argumen untuk tugas pelatihan dan algoritma, sebelum menggunakan
gclouduntuk mengirim tugas:DATASET_NAME="flowers" ALGORITHM="image_classification" MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_model" # Give a unique name to your training job. DATE="$(date '+%Y%m%d_%H%M%S')" JOB_ID="${MODEL_NAME}_${DATE}" # Make sure you have access to this Cloud Storage bucket. JOB_DIR="gs://${BUCKET_NAME}/algorithms_training/${MODEL_NAME}/${DATE}"Kirim tugas:
gcloud ai-platform jobs submit training $JOB_ID \ --region=$REGION \ --config=config.yaml \ --master-image-uri=$IMAGE_URI \ -- \ --training_data_path=$TRAINING_DATA_PATH \ --validation_data_path=$VALIDATION_DATA_PATH \ --job-dir=$JOB_DIR \ --max_steps=30000 \ --train_batch_size=128 \ --num_classes=5 \ --num_eval_images=100 \ --initial_learning_rate=0.128 \ --warmup_steps=1000 \ --model_type='efficientnet-b4'
Setelah tugas berhasil dikirim, Anda dapat melihat log menggunakan perintah
gcloudberikut:gcloud ai-platform jobs describe $JOB_ID gcloud ai-platform jobs stream-logs $JOB_ID
Memahami direktori pekerjaan Anda
Setelah tugas pelatihan berhasil diselesaikan, AI Platform Training akan membuat model terlatih di bucket Cloud Storage Anda, beserta beberapa artefak
lainnya. Anda dapat menemukan struktur direktori berikut dalam JOB_DIR:
- model/ (direktori TersimpanModel
yang juga berisi file
deployment_config.yaml)- saved_model.pb
- deployment_config.yaml
- eval/
- events.out.tfevents.[timestamp].cmle-training-[timestamp]
- event.out.tfevents...
- ...
- variabel/
- variables.data-00000-of-00001
- variables.index
Direktori tugas juga berisi berbagai file checkpoint model.
Pastikan struktur direktori di JOB_DIR cocok dengan:
gsutil ls -a $JOB_DIR/*
Men-deploy model yang dilatih
AI Platform Training mengatur model terlatih Anda menggunakan resource model dan versi. Model Pelatihan AI Platform adalah container untuk versi model machine learning Anda.
Untuk men-deploy model, buat resource model di AI Platform Training, buat versi model tersebut, lalu gunakan model dan versi tersebut untuk meminta prediksi online.
Untuk mengetahui informasi lebih lanjut tentang cara men-deploy model ke Pelatihan AI Platform, lihat cara men-deploy model TensorFlow.
Konsol
Di halaman Tugas, Anda dapat menemukan daftar semua tugas pelatihan Anda. Klik nama tugas pelatihan yang baru saja Anda kirimkan ("image_classification" atau nama tugas yang Anda gunakan).
Di halaman Detail tugas, Anda dapat melihat progres umum dari tugas Anda, atau mengklik View logs untuk melihat progresnya secara lebih mendetail.
Setelah tugas berhasil, tombol Deploy model akan muncul di bagian atas. Klik Deploy model.
Pilih Deploy as new model, lalu masukkan nama model, seperti "algorithms_image_classification_model". Selanjutnya, klik Konfirmasi.
Pada halaman Buat versi, masukkan nama versi, misalnya "v1", dan biarkan semua kolom lain dalam setelan defaultnya. Klik Save.
gcloud
Proses pelatihan dengan algoritma klasifikasi gambar bawaan menghasilkan file, deployment_config.yaml, yang mempermudah deployment model Anda di AI Platform Training untuk prediksi.
Salin file ke direktori lokal Anda dan lihat isinya:
gsutil cp $JOB_DIR/model/deployment_config.yaml . cat deployment_config.yamlFile
deployment_config.yamlAnda akan terlihat seperti berikut:deploymentUri: gs://BUCKET_NAME/algorithms_training/flowers_image_classification/model framework: TENSORFLOW labels: global_step: '1000' job_id: flowers_image_classification_20190227060114 runtimeVersion: '1.14'Buat model dan versi dalam AI Platform Training:
gcloud ai-platform models create $MODEL_NAME --regions $REGION # Create a model and a version using the file above. VERSION_NAME="v_${DATE}" gcloud ai-platform versions create $VERSION_NAME \ --model $MODEL_NAME \ --config deployment_config.yamlPembuatan versi memerlukan waktu beberapa menit.
Mendapatkan prediksi online
Saat meminta prediksi, Anda harus memastikan bahwa data input diformat sebagai JSON.
Download file artefak pelatihan:
gsutil cp $JOB_DIR/artifacts/* .Siapkan input prediksi untuk satu gambar.
Untuk mengirim permintaan prediksi online menggunakan Google Cloud CLI, seperti dalam contoh ini, tulis setiap instance ke baris dalam file JSON yang dibatasi baris baru.
Jalankan perintah berikut di terminal Anda guna membuat input untuk satu instance yang dapat Anda kirim ke AI Platform Prediction:
Skrip Python berikut mengenkode satu gambar menggunakan
base64, memformatnya untuk prediksi, menambahkan kunci instance, dan menulis hasilnya ke file bernamaprediction_instances.json:import json import base64 import tensorflow as tf IMAGE_URI='gs://cloud-samples-data/ai-platform/built-in/image/tutorial_examples/daisy.jpg' with tf.gfile.Open(IMAGE_URI, 'rb') as image_file: encoded_string = base64.b64encode(image_file.read()).decode('utf-8') image_bytes = {'b64': str(encoded_string)} instances = {'image_bytes': image_bytes, 'key': '1'} with open("prediction_instances.json","w") as f: f.write(json.dumps(instances))Kirim permintaan prediksi:
gcloud ai-platform predict --model $MODEL_NAME \ --version $VERSION_NAME \ --json-instances prediction_instances.json
Kemungkinan besar, output prediksi menyertakan class daisy, yang menunjukkan bahwa
model yang di-deploy telah mengklasifikasikan gambar input sebagai daisy. (Karena pelatihan bersifat
nondeterministik, model Anda mungkin akan berbeda.)
Tentang data
Set data Bunga yang digunakan sampel ini untuk pelatihan disediakan oleh Tim TensorFlow.
Langkah selanjutnya
- Pelajari lebih lanjut cara menggunakan algoritma klasifikasi gambar bawaan.