Halaman ini menunjukkan cara membuat set data Vertex AI dari data tabel sehingga Anda dapat mulai melatih model regresi dan klasifikasi. Anda dapat membuat set data menggunakan Konsol Google Cloud atau Vertex AI API.
Sebelum memulai
Sebelum dapat membuat set data Vertex AI dari data tabel, Anda harus menyiapkan data terlebih dahulu. Untuk mengetahui detailnya, baca artikel berikut:
- Menyiapkan data pelatihan berbentuk tabel untuk model klasifikasi dan regresi
- Praktik terbaik untuk membuat data pelatihan tabulasi.
Membuat set data kosong dan mengaitkan data yang telah disiapkan
Untuk membuat model machine learning untuk klasifikasi atau regresi, pertama-tama Anda harus memiliki kumpulan data representatif untuk dilatih. Gunakan Konsol Google Cloud atau API untuk mengaitkan data yang sudah disiapkan ke dalam set data. Dengan Mengaitkan data, Anda dapat mengubah dan memulai pelatihan model.
Konsol Google Cloud
- Di konsol Google Cloud, di bagian Vertex AI, buka halaman Set Data.
- Klik Buat untuk membuka halaman detail pembuatan set data.
- Ubah kolom Nama set data untuk membuat nama tampilan set data deskriptif.
- Pilih tab Tabel.
- Pilih tujuan Regresi/klasifikasi.
- Pilih region dari menu drop-down Region.
- Jika Anda ingin menggunakan kunci enkripsi yang dikelola pelanggan (CMEK) dengan set data Anda, buka Opsi lanjutan dan sediakan kunci Anda. (Pratinjau)
- Klik Buat untuk membuat set data kosong, dan lanjutkan ke tab Sumber.
- Pilih salah satu opsi berikut berdasarkan sumber data Anda.
File CSV di komputer Anda
- Klik Upload file CSV dari komputer Anda.
- Klik Pilih file dan pilih semua file lokal yang akan diupload ke bucket Cloud Storage.
- Di bagian Pilih jalur Cloud Storage, masukkan jalur ke bucket Cloud Storage atau klik Cari untuk memilih lokasi bucket.
File CSV di Cloud Storage
- Klik Select CSV files from Cloud Storage.
- Di bagian Pilih file CSV dari Cloud Storage, masukkan jalur ke bucket Cloud Storage atau klik Cari untuk memilih lokasi file CSV.
Tabel atau tampilan di BigQuery
- Klik Pilih tabel atau tampilan dari BigQuery.
- Masukkan ID project, set data, dan tabel untuk file input Anda.
- Klik Lanjutkan.
Sumber data dikaitkan dengan set data Anda.
API
Saat membuat set data, Anda juga mengaitkannya dengan sumber datanya. Kode yang diperlukan untuk membuat set data bergantung pada apakah data pelatihan berada di Cloud Storage atau BigQuery. Jika sumber data berada di project yang berbeda, pastikan Anda menyiapkan izin yang diperlukan.Membuat set data dengan data di Cloud Storage
REST
Anda menggunakan metode datasets.create untuk membuat set data.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
-
LOCATION: Region tempat set data akan disimpan. Region ini
harus
mendukung resource set data. Misalnya,
us-central1
. - PROJECT: Project ID Anda.
- DATASET_NAME: Nama tampilan untuk set data.
-
METADATA_SCHEMA_URI: URI ke file skema untuk tujuan Anda.
gs://google-cloud-aiplatform/schema/dataset/metadata/tabular_1.0.0.yaml
-
URI: Jalur (URI) ke bucket Cloud Storage yang berisi data pelatihan.
Bisa lebih dari satu. Setiap URI memiliki format:
gs://GCSprojectId/bucketName/fileName
- PROJECT_NUMBER: Nomor project yang dibuat secara otomatis untuk project Anda.
Metode HTTP dan URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets
Isi JSON permintaan:
{ "display_name": "DATASET_NAME", "metadata_schema_uri": "METADATA_SCHEMA_URI", "metadata": { "input_config": { "gcs_source": { "uri": [URI1, URI2, ...] } } } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets" | Select-Object -Expand Content
Anda akan menerima respons JSON yang mirip dengan yang berikut ini:
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata", "genericMetadata": { "createTime": "2020-07-07T21:27:35.964882Z", "updateTime": "2020-07-07T21:27:35.964882Z" } }
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Java Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Node.js Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API.
Membuat set data dengan data di BigQuery
REST
Anda menggunakan metode datasets.create untuk membuat set data.Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
-
LOCATION: Region tempat set data akan disimpan. Region ini
harus
mendukung resource set data. Misalnya,
us-central1
. - PROJECT: Project ID Anda.
- DATASET_NAME: Nama tampilan untuk set data.
-
METADATA_SCHEMA_URI: URI ke file skema untuk tujuan Anda.
gs://google-cloud-aiplatform/schema/dataset/metadata/tabular_1.0.0.yaml
-
URI: Jalur ke tabel BigQuery yang berisi data pelatihan. Di dalam formulir:
bq://bqprojectId.bqDatasetId.bqTableId
- PROJECT_NUMBER: Nomor project yang dibuat secara otomatis untuk project Anda.
Metode HTTP dan URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets
Isi JSON permintaan:
{ "display_name": "DATASET_NAME", "metadata_schema_uri": "METADATA_SCHEMA_URI", "metadata": { "input_config": { "bigquery_source" :{ "uri": "URI } } } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets" | Select-Object -Expand Content
Anda akan menerima respons JSON yang mirip dengan yang berikut ini:
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata", "genericMetadata": { "createTime": "2020-07-07T21:27:35.964882Z", "updateTime": "2020-07-07T21:27:35.964882Z" } }
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Java Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Node.js Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API.
Mendapatkan status operasi
Beberapa permintaan memulai operasi yang berjalan lama dan memerlukan waktu beberapa saat untuk diselesaikan. Permintaan ini menampilkan nama operasi, yang dapat Anda gunakan untuk melihat status operasi atau membatalkan operasi. Vertex AI menyediakan metode helper untuk melakukan panggilan terhadap operasi yang berjalan lama. Untuk mengetahui informasi selengkapnya, lihat Bekerja dengan operasi yang berjalan lama.