Memulai dengan algoritma XGBoost bawaan

Beta

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Dengan algoritma bawaan di AI Platform Training, Anda dapat mengirimkan data pelatihan, memilih algoritme, dan membiarkan AI Platform Training menangani pra-pemrosesan dan pelatihan untuk Anda, tanpa perlu menulis kode apa pun untuk aplikasi pelatihan.

Ringkasan

Dalam tutorial ini, Anda akan melatih model XGBoost tanpa menulis kode apa pun. Anda mengirimkan set data Sensus Revenue ke Pelatihan AI Platform untuk pra-pemrosesan dan pelatihan, lalu men-deploy model tersebut di AI Platform Training untuk mendapatkan prediksi. Model yang dihasilkan memprediksi probabilitas bahwa pendapatan tahunan seseorang lebih besar dari $50.000.

Sebelum memulai

Untuk menyelesaikan tutorial ini di command line, gunakan Cloud Shell atau lingkungan apa pun tempat Google Cloud CLI diinstal.

Selesaikan langkah-langkah berikut untuk menyiapkan akun GCP, mengaktifkan API yang diperlukan, serta menginstal dan mengaktifkan Google Cloud CLI:

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Buka pemilih project

3. Make sure that billing is enabled for your Google Cloud project.

4. Aktifkan API AI Platform Training & Prediction and Compute Engine.

   Mengaktifkan API

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Buka pemilih project

8. Make sure that billing is enabled for your Google Cloud project.

9. Aktifkan API AI Platform Training & Prediction and Compute Engine.

   Mengaktifkan API

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Penyiapan

Untuk menggunakan algoritma bawaan berbentuk tabel, Anda harus menghapus baris header dari file CSV dan memindahkan nilai target ke kolom pertama. Kami telah mengubah set data Sensus asli untuk digunakan dengan tutorial ini, dan menghostingnya di bucket Cloud Storage publik, gs://cloud-samples-data/ai-platform/census/algorithms/data/.

Konsol

Sebelum memulai tugas pelatihan, Anda perlu menyalin data dari bucket Cloud Storage publik kami ke bucket Cloud Storage Anda.

Menyalin data sampel ke bucket Cloud Storage

Catatan: Langkah khusus ini lebih mudah dilakukan dari command line. Lihat tab gcloud untuk petunjuk lebih lanjut.

1. Pertama, download data pelatihan dan pengujian dari bucket Cloud Storage publik kami.

   1. Buka bucket Cloud Storage publik kami:

      Mendapatkan data sampel

   2. Mendownload test.csv dan train.csv:

      1. Klik nama file.

      2. Dari halaman Object details, klik Download. File ini masing-masing didownload ke lingkungan lokal Anda sebagai ai-platform_census_algorithms_data_test.csv dan ai-platform_census_algorithms_data_train.csv.

2. Selanjutnya, upload data pelatihan dan pengujian ke bucket Cloud Storage Anda.

   1. Buka halaman Browser untuk bucket Cloud Storage Anda. Pilih project Anda dari menu drop-down Select a project, atau buka di tab baru:

      Halaman Browser Cloud Storage

   2. Klik nama bucket yang ingin digunakan, atau buat bucket baru jika Anda belum memilikinya. (Jika Anda membuat bucket baru, pastikan bucket tersebut berupa bucket regional, lalu pilih region yang sama tempat Anda menjalankan tugas pelatihan AI Platform Training.)

   3. (Opsional) Klik Buat folder guna membuat folder untuk file yang Anda upload. Masukkan nama untuk folder tersebut (misalnya "data"), lalu klik Create. Kemudian, buka folder baru dengan mengklik nama folder.

   4. Klik Upload files untuk mengupload file pelatihan dan pengujian, ai-platform_census_algorithms_data_train.csv dan ai-platform_census_algorithms_data_test.csv ke bucket Anda.

Setelah data disalin ke bucket, Anda dapat memulai tugas pelatihan dengan memilih jenis algoritma yang ingin Anda gunakan.

Pilih algoritma Anda

1. Buka halaman Tugas Pelatihan AI Platform di Konsol Google Cloud:

   Halaman Tugas Pelatihan AI Platform

2. Klik tombol Tugas pelatihan baru. Dari opsi yang ditampilkan di bawah, klik Pelatihan algoritme bawaan. Halaman Buat tugas pelatihan baru akan ditampilkan.

3. Pembuatan tugas pelatihan dibagi menjadi empat langkah. Langkah pertama adalah Algoritme pelatihan. Pilih XGBoost lalu klik Next.

gcloud

Siapkan variabel lingkungan untuk project ID Anda, bucket Cloud Storage, jalur Cloud Storage ke data pelatihan, dan pilihan algoritme Anda.

Algoritma bawaan Pelatihan AI Platform berada di container Docker yang dihosting di Container Registry.

PROJECT_ID=YOUR_PROJECT_ID
BUCKET_NAME=YOUR_BUCKET_NAME
REGION="us-central1"
gcloud config set project $PROJECT_ID
gcloud config set compute/region $REGION

# Copy the training data into your Cloud Storage bucket, and set the path
# to your copy of the training data.
TRAINING_DATA_SOURCE=gs://cloud-samples-data/ai-platform/census/algorithms/data/train.csv
TRAINING_DATA_PATH=gs://$BUCKET_NAME/algorithms-demo/data/train.csv
gsutil cp $TRAINING_DATA_SOURCE $TRAINING_DATA_PATH

# Specify the Docker container URI specific to the algorithm.
IMAGE_URI="gcr.io/cloud-ml-algos/boosted_trees:latest"

Mengirim tugas pelatihan

Untuk mengirim tugas, Anda harus menentukan beberapa argumen pelatihan dasar dan beberapa argumen dasar yang terkait dengan algoritma XGBoost.

Argumen umum untuk tugas pelatihan:

Melatih argumen tugas
Argumen	Deskripsi
job-id	ID unik untuk tugas pelatihan Anda. Anda dapat menggunakannya untuk menemukan log tentang status tugas pelatihan setelah mengirimkannya.
job-dir	Jalur Cloud Storage tempat AI Platform Training menyimpan file pelatihan setelah menyelesaikan tugas pelatihan yang berhasil.
scale-tier	Menentukan jenis mesin untuk pelatihan. Gunakan BASIC untuk memilih konfigurasi untuk satu mesin saja.
master-image-uri	URI Container Registry digunakan untuk menentukan container Docker yang akan digunakan untuk tugas pelatihan. Gunakan container untuk algoritme XGBoost bawaan yang ditentukan sebelumnya sebagai IMAGE_URI.
region	Tentukan region yang tersedia untuk menjalankan tugas pelatihan Anda. Untuk tutorial ini, Anda dapat menggunakan wilayah us-central1.

Argumen khusus untuk algoritma XGBoost bawaan:

Argumen algoritme
Argumen	Deskripsi
preprocess	Argumen Boolean yang menyatakan apakah Pelatihan AI Platform harus melakukan prapemrosesan data atau tidak.
objective	Menunjukkan tugas pembelajaran dan tujuan pembelajarannya yang sesuai. Dalam contoh ini, "binary:logistic".
training_data_path	Lokasi Cloud Storage ke data pelatihan, yang harus berupa file CSV.

Untuk daftar mendetail dari semua tanda algoritme XGBoost lainnya, lihat referensi XGBoost bawaan.

Konsol

1. Biarkan Aktifkan pra-pemrosesan data otomatis dicentang.

2. Untuk Jalur data pelatihan, klik Jelajahi. Di panel kanan, klik nama bucket tempat Anda mengupload data pelatihan, lalu buka file ai-platform_census_algorithms_data_train.csv Anda.

3. Biarkan kolom untuk Validation data dan Test data pada setelan defaultnya.

4. Di Direktori output, masukkan jalur ke bucket Cloud Storage Anda tempat Anda ingin AI Platform Training menyimpan output dari tugas pelatihan Anda. Anda dapat mengisi jalur bucket Cloud Storage secara langsung, atau mengklik tombol Browse untuk memilihnya.

   Agar semuanya tetap teratur, buat direktori baru dalam bucket Cloud Storage untuk tugas pelatihan ini. Anda dapat melakukannya di dalam panel Browse.

   Klik Next.

5. Untuk Objective, pilih "binary:logistic", yang menunjukkan tugas pembelajaran biner dan objective regresi logistik.

6. Untuk Jenis model, pilih Klasifikasi.

7. Biarkan semua kolom lain pada setelan defaultnya, lalu klik Next.

8. Di halaman Job settings:

   1. Masukkan ID Pekerjaan unik (seperti "xgboost_example").
   2. Masukkan region yang tersedia (seperti "us-central1").
   3. Pilih "DASAR" untuk tingkat skala.

   Klik Selesai untuk mengirim tugas pelatihan.

gcloud

1. Siapkan semua argumen untuk tugas pelatihan dan algoritma, sebelum menggunakan gcloud untuk mengirim tugas:

   DATASET_NAME="census"
   ALGORITHM="xgboost"
   MODEL_TYPE="classification"
   MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_${MODEL_TYPE}"
   
   # Give a unique name to your training job.
   DATE="$(date '+%Y%m%d_%H%M%S')"
   JOB_ID="${MODEL_NAME}_${DATE}"
   
   # Make sure you have access to this Cloud Storage bucket.
   JOB_DIR="gs://${BUCKET_NAME}/algorithms_training/${MODEL_NAME}/${DATE}"
   

2. Kirim tugas:

   gcloud ai-platform jobs submit training $JOB_ID \
     --master-image-uri=$IMAGE_URI --scale-tier=BASIC --job-dir=$JOB_DIR \
     -- \
     --preprocess --objective=binary:logistic \
     --training_data_path=$TRAINING_DATA_PATH
   

3. Setelah tugas berhasil dikirim, Anda dapat melihat log menggunakan perintah gcloud berikut:

   gcloud ai-platform jobs describe $JOB_ID
   gcloud ai-platform jobs stream-logs $JOB_ID
   

   Catatan: Tugas pelatihan dapat memerlukan waktu beberapa menit untuk diselesaikan. Anda dapat mengonfirmasi bahwa tugas pelatihan telah berhasil diselesaikan saat Anda melihat log yang menyatakan: "XGBoost training completed"

Memahami direktori pekerjaan Anda

Setelah tugas pelatihan berhasil diselesaikan, AI Platform Training akan membuat model terlatih di bucket Cloud Storage Anda, beserta beberapa artefak lainnya. Anda dapat menemukan struktur direktori berikut dalam JOB_DIR:

• model/
  • model.pkl
  • deployment_config.yaml
• artefak/
  • instance_generator.py
  • metadata.json
• diproses_data/
  • training.csv
  • validation.csv
  • test.csv

Pastikan struktur direktori di JOB_DIR cocok dengan:

gsutil ls -a $JOB_DIR/*

Men-deploy model yang dilatih

AI Platform Prediction mengatur model terlatih Anda menggunakan resource model dan versi. Model Prediksi AI Platform adalah penampung untuk versi model machine learning Anda.

Untuk men-deploy model, buat resource model di AI Platform Prediction, buat versi model tersebut, lalu gunakan model dan versi tersebut untuk meminta prediksi online.

Pelajari lebih lanjut cara men-deploy model ke AI Platform Prediction.

Konsol

1. Di halaman Tugas, Anda dapat menemukan daftar semua tugas pelatihan Anda. Klik nama tugas pelatihan yang baru saja Anda kirimkan ("xgboost_example" atau nama pekerjaan yang Anda gunakan).

2. Di halaman Detail tugas, Anda dapat melihat progres umum dari tugas Anda, atau mengklik View logs untuk melihat progresnya secara lebih mendetail.

3. Setelah tugas berhasil, tombol Deploy model akan muncul di bagian atas. Klik Deploy model.

4. Pilih "Deploy as new model", dan masukkan nama model, misalnya "xgboost_model". Selanjutnya, klik Konfirmasi.

5. Pada halaman Buat versi, masukkan nama versi, misalnya "v1", dan biarkan semua kolom lain dalam setelan defaultnya. Klik Save.

6. Di halaman Detail model, nama versi akan ditampilkan. Pembuatan versi memerlukan waktu beberapa menit. Jika versi sudah siap, ikon tanda centang akan muncul di samping nama versi.

7. Klik nama versi ("v1") untuk membuka halaman Detail versi. Pada langkah selanjutnya dalam tutorial ini, Anda akan mengirim permintaan prediksi

gcloud

Proses pelatihan dengan algoritma XGBoost bawaan menghasilkan file deployment_config.yaml, yang mempermudah deployment model Anda di AI Platform Prediction untuk prediksi.

1. Salin file ke direktori lokal Anda dan lihat isinya:

   gsutil cp $JOB_DIR/model/deployment_config.yaml .
   cat deployment_config.yaml
   

   File deployment_config.yaml Anda akan terlihat seperti berikut:

   deploymentUri: gs://YOUR_BUCKET_NAME/algorithms_training/census_xgboost_classification/20190227060114/model
   framework: XGBOOST
   labels:
     job_id: census_xgboost_classification_20190227060114
     error_percentage: '14'
   runtimeVersion: '0.81'
   pythonVersion: '2.7'
   

2. Buat model dan versi dalam AI Platform Training:

   MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_${MODEL_TYPE}"
   gcloud ai-platform models create $MODEL_NAME --regions $REGION
   
   # Create a model and a version using the file above.
   VERSION_NAME="v_${DATE}"
   
   gcloud ai-platform versions create $VERSION_NAME \
     --model $MODEL_NAME \
     --config deployment_config.yaml
   

   Pembuatan versi memerlukan waktu beberapa menit.

Mendapatkan prediksi online

Saat meminta prediksi, Anda harus memastikan bahwa data input diformat dengan cara yang sama dengan data pelatihan. Sebelum pelatihan, Pelatihan AI Platform melakukan pra-pemrosesan data dengan mengubahnya menjadi korpus yang ditunjukkan dalam metadata.json.

Anda dapat menggunakan instance_generator.py untuk menerapkan transformasi pra-pemrosesan yang sama ke instance input yang diterapkan AI Platform Training pada data pelatihan Anda. File ini membaca informasi pemetaan yang disimpan dalam file metadata.json. Anda juga dapat menggunakan fungsi transform_string_instance dalam modul untuk mengubah string mentah ke format yang akan diterima oleh model.

1. Download file artefak pelatihan, lalu tinjau metadata.json:

   gsutil cp $JOB_DIR/artifacts/* .
   
   # Let's look at the metadata.json file
   head metadata.json
   

2. Gunakan instance_generator.py untuk menyiapkan input prediksi untuk satu instance data:

    # ground truth is >50K
   RAW_DATA_POINT="44, Private, 160323, Some-college, 10, Married-civ-spouse, Machine-op-inspct, Husband, Black, Male, 7688, 0, 40, United-States"
   
    # Now let's create a JSON prediction request
   python instance_generator.py --raw_data_string="${RAW_DATA_POINT}" > sample_input.json
   
   # Let's look at the prediction request file.
   cat sample_input.json
   

3. Kirim permintaan prediksi:

   gcloud ai-platform predict \
     --model $MODEL_NAME \
     --version $VERSION_NAME \
     --json-instances sample_input.json
   

Prediksi yang dihasilkan harus berupa angka di atas 0, 5,yang menunjukkan bahwa individu tersebut kemungkinan besar memperoleh gaji lebih dari $50.000.

Tentang data

Set data Sensus Revenue yang digunakan sampel ini untuk pelatihan dihosting oleh UC Irvine Machine Learning Repository.

Data sensus disediakan oleh: Lichman, M. (2013). Repositori UCI Machine Learning http://archive.ics.uci.edu/ml. Irvine, CA: University of California, School of Information and Computer Science.

Langkah selanjutnya

• Pelajari lebih lanjut cara menggunakan algoritma XGBoost bawaan.