Mulai menggunakan algoritma XGBoost bawaan

Beta

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Dengan algoritma bawaan di AI Platform Training, Anda dapat mengirimkan data pelatihan, memilih algoritma, dan membiarkan AI Platform Training menangani prapemrosesan dan pelatihan untuk Anda, tanpa menulis kode apa pun untuk aplikasi pelatihan.

Ringkasan

Dalam tutorial ini, Anda akan melatih model XGBoost tanpa menulis kode apa pun. Anda mengirimkan set data Pendapatan Sensus ke AI Platform Training untuk pra-pemrosesan dan pelatihan, lalu men-deploy model di AI Platform Training untuk mendapatkan prediksi. Model yang dihasilkan memprediksi probabilitas bahwa pendapatan tahunan seseorang lebih besar dari $50.000.

Sebelum memulai

Untuk menyelesaikan tutorial ini di command line, gunakan Cloud Shell atau lingkungan mana pun tempat Google Cloud CLI diinstal.

Selesaikan langkah-langkah berikut untuk menyiapkan akun GCP, mengaktifkan API yang diperlukan, serta menginstal dan mengaktifkan Google Cloud CLI:

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Penyiapan

Untuk menggunakan algoritma bawaan tabel, Anda harus menghapus baris header dari file CSV dan memindahkan nilai target ke kolom pertama. Kami telah mengubah set data Sensus asli untuk digunakan dengan tutorial ini, dan menghostingnya di bucket Cloud Storage publik, gs://cloud-samples-data/ai-platform/census/algorithms/data/.

Konsol

Sebelum memulai tugas pelatihan, Anda perlu menyalin data dari bucket Cloud Storage publik kami ke bucket Cloud Storage Anda.

Salin data contoh ke bucket Cloud Storage Anda

Catatan: Lebih mudah untuk melakukan langkah khusus ini dari command line. Lihat tab gcloud untuk petunjuk lebih lanjut.

1. Pertama, download data pelatihan dan pengujian dari bucket Cloud Storage publik kami.

   1. Buka bucket Cloud Storage publik kami:

      Mendapatkan data sampel

   2. Download test.csv dan train.csv:

      1. Klik nama file.

      2. Dari halaman Detail objek, klik Download. File ini didownload ke lingkungan lokal Anda sebagai ai-platform_census_algorithms_data_test.csv dan ai-platform_census_algorithms_data_train.csv.

2. Selanjutnya, upload data pelatihan dan pengujian ke bucket Cloud Storage Anda.

   1. Buka halaman Browser untuk bucket Cloud Storage Anda. Pilih project Anda dari menu drop-down Select a project, atau buka di tab baru:

      Halaman Browser Cloud Storage

   2. Klik nama bucket yang ingin Anda gunakan, atau buat bucket baru jika Anda tidak memilikinya. (Jika Anda membuat bucket baru, pastikan itu adalah bucket regional, dan pilih region yang sama dengan tempat Anda menjalankan tugas pelatihan AI Platform Training.)

   3. (Opsional) Klik Buat folder untuk membuat folder bagi file yang Anda upload. Masukkan nama untuk folder (misalnya, "data"), lalu klik Buat. Kemudian, buka folder baru dengan mengklik nama folder.

   4. Klik Upload files untuk mengupload file pelatihan dan pengujian, ai-platform_census_algorithms_data_train.csv dan ai-platform_census_algorithms_data_test.csv, ke bucket Anda.

Setelah data disalin ke bucket, Anda dapat memulai tugas pelatihan dengan memilih jenis algoritma yang ingin digunakan.

Memilih algoritme

1. Buka halaman Tugas Pelatihan AI Platform di konsol Google Cloud:

   Halaman Lowongan AI Platform Training

2. Klik tombol Tugas pelatihan baru. Dari opsi yang ditampilkan di bawah, klik Pelatihan algoritma bawaan. Halaman Create a new training job akan ditampilkan.

3. Pembuatan tugas pelatihan dibagi menjadi empat langkah. Langkah pertama adalah Algoritma pelatihan. Pilih XGBoost, lalu klik Next.

gcloud

Siapkan variabel lingkungan untuk project ID, bucket Cloud Storage, jalur Cloud Storage ke data pelatihan, dan pilihan algoritma Anda.

Algoritma bawaan AI Platform Training berada dalam container Docker yang dihosting di Container Registry.

PROJECT_ID=YOUR_PROJECT_ID
BUCKET_NAME=YOUR_BUCKET_NAME
REGION="us-central1"
gcloud config set project $PROJECT_ID
gcloud config set compute/region $REGION

# Copy the training data into your Cloud Storage bucket, and set the path
# to your copy of the training data.
TRAINING_DATA_SOURCE=gs://cloud-samples-data/ai-platform/census/algorithms/data/train.csv
TRAINING_DATA_PATH=gs://$BUCKET_NAME/algorithms-demo/data/train.csv
gcloud storage cp $TRAINING_DATA_SOURCE $TRAINING_DATA_PATH

# Specify the Docker container URI specific to the algorithm.
IMAGE_URI="gcr.io/cloud-ml-algos/boosted_trees:latest"

Mengirim tugas pelatihan

Untuk mengirimkan tugas, Anda harus menentukan beberapa argumen pelatihan dasar dan beberapa argumen dasar yang terkait dengan algoritma XGBoost.

Argumen umum untuk tugas pelatihan:

Argumen tugas pelatihan
Argumen	Deskripsi
job-id	ID unik untuk tugas pelatihan Anda. Anda dapat menggunakannya untuk menemukan log status tugas pelatihan setelah mengirimkannya.
job-dir	Jalur Cloud Storage tempat AI Platform Training menyimpan file pelatihan setelah menyelesaikan tugas pelatihan yang berhasil.
scale-tier	Menentukan jenis mesin untuk pelatihan. Gunakan BASIC untuk memilih konfigurasi hanya satu mesin.
master-image-uri	URI Container Registry yang digunakan untuk menentukan container Docker yang akan digunakan untuk tugas pelatihan. Gunakan penampung untuk algoritma XGBoost bawaan yang ditentukan sebelumnya sebagai IMAGE_URI.
region	Tentukan region yang tersedia untuk menjalankan tugas pelatihan Anda. Untuk tutorial ini, Anda dapat menggunakan region us-central1.

Argumen khusus untuk algoritma XGBoost bawaan:

Argumen algoritme
Argumen	Deskripsi
preprocess	Argumen Boolean yang menyatakan apakah Pelatihan AI Platform harus melakukan prapemrosesan data atau tidak.
objective	Menunjukkan tugas pembelajaran dan tujuan pembelajaran yang sesuai. Dalam contoh ini, "binary:logistic".
training_data_path	Lokasi Cloud Storage ke data pelatihan, yang harus berupa file CSV.

Untuk mengetahui daftar mendetail semua flag algoritma XGBoost lainnya, lihat referensi XGBoost bawaan.

Konsol

1. Biarkan Aktifkan pra-pemrosesan data otomatis dicentang.

2. Untuk Jalur data pelatihan, klik Browse. Di panel kanan, klik nama bucket tempat Anda mengupload data pelatihan, lalu buka file ai-platform_census_algorithms_data_train.csv.

3. Biarkan kolom untuk Data validasi dan Data pengujian pada setelan defaultnya.

4. Di Output directory, masukkan jalur ke bucket Cloud Storage Anda tempat Anda ingin AI Platform Training menyimpan output dari tugas pelatihan. Anda dapat mengisi jalur bucket Cloud Storage secara langsung, atau klik tombol Browse untuk memilihnya.

   Agar semuanya tetap teratur, buat direktori baru dalam bucket Cloud Storage Anda untuk tugas pelatihan ini. Anda dapat melakukannya dalam panel Jelajahi.

   Klik Berikutnya.

5. Untuk Objective, pilih "binary:logistic", yang menunjukkan tugas pembelajaran biner dan tujuan regresi logistik.

6. Untuk Model type, pilih Classification.

7. Biarkan semua kolom lain tetap pada setelan defaultnya, lalu klik Berikutnya.

8. Di halaman Setelan tugas:

   1. Masukkan ID Tugas unik (seperti "xgboost_example").
   2. Masukkan region yang tersedia (seperti "us-central1").
   3. Pilih "BASIC" untuk tingkat skala.

   Klik Selesai untuk mengirimkan tugas pelatihan.

gcloud

1. Siapkan semua argumen untuk tugas pelatihan dan algoritme, sebelum menggunakan gcloud untuk mengirimkan tugas:

   DATASET_NAME="census"
   ALGORITHM="xgboost"
   MODEL_TYPE="classification"
   MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_${MODEL_TYPE}"
   
   # Give a unique name to your training job.
   DATE="$(date '+%Y%m%d_%H%M%S')"
   JOB_ID="${MODEL_NAME}_${DATE}"
   
   # Make sure you have access to this Cloud Storage bucket.
   JOB_DIR="gs://${BUCKET_NAME}/algorithms_training/${MODEL_NAME}/${DATE}"
   

2. Kirim tugas:

   gcloud ai-platform jobs submit training $JOB_ID \
     --master-image-uri=$IMAGE_URI --scale-tier=BASIC --job-dir=$JOB_DIR \
     -- \
     --preprocess --objective=binary:logistic \
     --training_data_path=$TRAINING_DATA_PATH

3. Setelah tugas berhasil dikirim, Anda dapat melihat log menggunakan perintah gcloud berikut:

   gcloud ai-platform jobs describe $JOB_ID
   gcloud ai-platform jobs stream-logs $JOB_ID
   

   Catatan: Tugas pelatihan dapat memerlukan waktu beberapa menit untuk diselesaikan. Anda dapat mengonfirmasi bahwa tugas pelatihan telah berhasil diselesaikan saat melihat log yang menyatakan: "Pelatihan XGBoost selesai".

Memahami direktori lowongan

Setelah tugas pelatihan berhasil diselesaikan, AI Platform Training akan membuat model terlatih di bucket Cloud Storage Anda, beserta beberapa artefak lainnya. Anda dapat menemukan struktur direktori berikut dalam JOB_DIR:

• model/
  • model.pkl
  • deployment_config.yaml
• artifacts/
  • instance_generator.py
  • metadata.json
• processed_data/
  • training.csv
  • validation.csv
  • test.csv

Pastikan struktur direktori di JOB_DIR Anda cocok dengan:

gcloud storage ls $JOB_DIR/* --all-versions

Men-deploy model terlatih

AI Platform Prediction mengatur model terlatih Anda menggunakan resource model dan versi. Model AI Platform Prediction adalah penampung untuk versi model machine learning Anda.

Untuk men-deploy model, Anda membuat resource model di AI Platform Prediction, membuat versi model tersebut, lalu menggunakan model dan versi untuk meminta prediksi online.

Pelajari lebih lanjut cara men-deploy model ke AI Platform Prediction.

Konsol

1. Di halaman Tugas, Anda dapat menemukan daftar semua tugas pelatihan. Klik nama tugas pelatihan yang baru saja Anda kirimkan ("xgboost_example" atau nama tugas yang Anda gunakan).

2. Di halaman Detail tugas, Anda dapat melihat progres umum tugas, atau mengklik Lihat log untuk melihat progresnya secara lebih mendetail.

3. Jika tugas berhasil, tombol Deploy model akan muncul di bagian atas. Klik Deploy model.

4. Pilih "Deploy as new model", lalu masukkan nama model, seperti "xgboost_model". Selanjutnya, klik Konfirmasi.

5. Di halaman Create version, masukkan nama versi, seperti "v1", dan biarkan semua kolom lainnya menggunakan setelan defaultnya. Klik Simpan.

6. Di halaman Model details, nama versi Anda akan ditampilkan. Pembuatan versi ini memerlukan waktu beberapa menit. Jika versi sudah siap, ikon tanda centang akan muncul di samping nama versi.

7. Klik nama versi ("v1") untuk membuka halaman Detail versi. Pada langkah berikutnya dalam tutorial ini, Anda akan mengirim permintaan prediksi

gcloud

Proses pelatihan dengan algoritma XGBoost bawaan menghasilkan file, deployment_config.yaml, yang mempermudah deployment model Anda di AI Platform Prediction untuk prediksi.

1. Salin file ke direktori lokal Anda dan lihat kontennya:

   gcloud storage cp $JOB_DIR/model/deployment_config.yaml .
   cat deployment_config.yaml
   

   File deployment_config.yaml Anda akan terlihat seperti berikut:

   deploymentUri: gs://YOUR_BUCKET_NAME/algorithms_training/census_xgboost_classification/20190227060114/model
   framework: XGBOOST
   labels:
     job_id: census_xgboost_classification_20190227060114
     error_percentage: '14'
   runtimeVersion: '0.81'
   pythonVersion: '2.7'
   

2. Buat model dan versi di AI Platform Training:

   MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_${MODEL_TYPE}"
   gcloud ai-platform models create $MODEL_NAME --regions $REGION
   
   # Create a model and a version using the file above.
   VERSION_NAME="v_${DATE}"
   
   gcloud ai-platform versions create $VERSION_NAME \
     --model $MODEL_NAME \
     --config deployment_config.yaml
   

   Pembuatan versi memerlukan waktu beberapa menit.

Mendapatkan prediksi online

Saat meminta prediksi, Anda harus memastikan bahwa data input Anda diformat dengan cara yang sama seperti data pelatihan. Sebelum pelatihan, AI Platform Training memproses data Anda terlebih dahulu dengan mengubahnya menjadi korpus yang ditampilkan di metadata.json.

Anda dapat menggunakan instance_generator.py untuk menerapkan transformasi prapemrosesan yang sama ke instance input yang diterapkan AI Platform Training ke data pelatihan Anda. File ini membaca informasi pemetaan yang disimpan dalam file metadata.json. Anda juga dapat menggunakan fungsi transform_string_instance dalam modul untuk mengubah string mentah menjadi format yang akan diterima model.

1. Download file artefak pelatihan, dan tinjau metadata.json:

   gcloud storage cp $JOB_DIR/artifacts/* .
   
   # Let's look at the metadata.json file
   head metadata.json
   

2. Gunakan instance_generator.py untuk menyiapkan input prediksi untuk satu instance data:

    # ground truth is >50K
   RAW_DATA_POINT="44, Private, 160323, Some-college, 10, Married-civ-spouse, Machine-op-inspct, Husband, Black, Male, 7688, 0, 40, United-States"
   
    # Now let's create a JSON prediction request
   python instance_generator.py --raw_data_string="${RAW_DATA_POINT}" > sample_input.json
   
   # Let's look at the prediction request file.
   cat sample_input.json
   

3. Kirim permintaan prediksi:

   gcloud ai-platform predict \
     --model $MODEL_NAME \
     --version $VERSION_NAME \
     --json-instances sample_input.json
   

Prediksi yang dihasilkan harus berupa angka di atas 0, 5,yang menunjukkan bahwa individu tersebut kemungkinan besar memperoleh gaji lebih dari $50.000.

Tentang data

Set data Pendapatan Sensus yang digunakan sampel ini untuk pelatihan dihosting oleh UC Irvine Machine Learning Repository.

Data sensus dari: Lichman, M. (2013). Repositori Machine Learning UCI http://archive.ics.uci.edu/ml. Irvine, CA: University of California, School of Information and Computer Science.

Langkah selanjutnya

• Pelajari lebih lanjut cara menggunakan algoritma XGBoost bawaan.