Halaman ini menunjukkan cara membuat set data Vertex AI dari data tabel sehingga Anda dapat mulai melatih model perkiraan. Anda dapat membuat set data menggunakan konsol Google Cloud atau Vertex AI API.
Sebelum memulai
Sebelum dapat membuat set data Vertex AI dari data tabel, Anda harus menyiapkan data pelatihan.
Buat set data kosong dan kaitkan data yang telah disiapkan
Guna membuat model machine learning untuk membuat perkiraan, Anda harus terlebih dahulu memiliki kumpulan data yang representatif untuk dilatih. Gunakan konsol Google Cloud atau API untuk mengaitkan data yang sudah disiapkan ke dalam set data.
Saat membuat set data, Anda juga mengaitkannya dengan sumber datanya. Data pelatihan dapat berupa file CSV di Cloud Storage atau tabel di BigQuery. Jika sumber data berada di project yang berbeda, pastikan Anda menyiapkan izin yang diperlukan.
Konsol Google Cloud
- Di konsol Google Cloud, di bagian Vertex AI, buka halaman Set Data.
- Klik Buat untuk membuka halaman detail pembuatan set data.
- Ubah kolom Nama set data untuk membuat nama tampilan set data deskriptif.
- Pilih tab Tabel.
- Pilih tujuan Perkiraan.
- Pilih region dari menu drop-down Region.
- Klik Buat untuk membuat set data kosong, dan lanjutkan ke tab Sumber.
- Pilih salah satu opsi berikut berdasarkan sumber data Anda.
File CSV di komputer Anda
- Klik Upload file CSV dari komputer Anda.
- Klik Pilih file dan pilih semua file lokal yang akan diupload ke bucket Cloud Storage.
- Di bagian Pilih jalur Cloud Storage, masukkan jalur ke bucket Cloud Storage atau klik Cari untuk memilih lokasi bucket.
File CSV di Cloud Storage
- Klik Select CSV files from Cloud Storage.
- Di bagian Pilih file CSV dari Cloud Storage, masukkan jalur ke bucket Cloud Storage atau klik Cari untuk memilih lokasi file CSV.
Tabel atau tampilan di BigQuery
- Klik Pilih tabel atau tampilan dari BigQuery.
- Masukkan ID project, set data, dan tabel untuk file input Anda.
- Klik Lanjutkan.
Sumber data dikaitkan dengan set data Anda.
-
Di tab Analisis, tentukan kolom Stempel waktu dan kolom
ID seri
untuk set data.
Anda juga dapat menentukan kolom ini saat melatih model, tetapi umumnya set data perkiraan memiliki kolom ID Waktu dan Deret waktu tertentu, sehingga menentukannya dalam set data adalah praktik terbaik.
API : CSV
REST
Anda menggunakan metode datasets.create untuk membuat set data.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
-
LOCATION: Region tempat set data akan disimpan. Region ini
harus
mendukung resource set data. Misalnya,
us-central1
. - PROJECT: Project ID Anda.
- DATASET_NAME: Nama tampilan untuk set data.
-
METADATA_SCHEMA_URI: URI ke file skema untuk tujuan Anda.
gs://google-cloud-aiplatform/schema/dataset/metadata/time_series_1.0.0.yaml
-
URI: Jalur (URI) ke bucket Cloud Storage yang berisi data pelatihan.
Bisa lebih dari satu. Setiap URI memiliki format:
gs://GCSprojectId/bucketName/fileName
- PROJECT_NUMBER: Nomor project yang dibuat secara otomatis untuk project Anda.
Metode HTTP dan URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets
Isi JSON permintaan:
{ "display_name": "DATASET_NAME", "metadata_schema_uri": "METADATA_SCHEMA_URI", "metadata": { "input_config": { "gcs_source": { "uri": [URI1, URI2, ...] } } } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets" | Select-Object -Expand Content
Anda akan menerima respons JSON yang mirip dengan yang berikut ini:
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata", "genericMetadata": { "createTime": "2020-07-07T21:27:35.964882Z", "updateTime": "2020-07-07T21:27:35.964882Z" } }
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Java Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Node.js Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API.
API : BigQuery
REST
Anda menggunakan metode datasets.create untuk membuat set data.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
-
LOCATION: Region tempat set data akan disimpan. Region ini
harus
mendukung resource set data. Misalnya,
us-central1
. - PROJECT: Project ID Anda.
- DATASET_NAME: Nama tampilan untuk set data.
-
METADATA_SCHEMA_URI: URI ke file skema untuk tujuan Anda.
gs://google-cloud-aiplatform/schema/dataset/metadata/time_series_1.0.0.yaml
-
URI: Jalur ke tabel BigQuery yang berisi data pelatihan. Di dalam formulir:
bq://bqprojectId.bqDatasetId.bqTableId
- PROJECT_NUMBER: Nomor project yang dibuat secara otomatis untuk project Anda.
Metode HTTP dan URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets
Isi JSON permintaan:
{ "display_name": "DATASET_NAME", "metadata_schema_uri": "METADATA_SCHEMA_URI", "metadata": { "input_config": { "bigquery_source" :{ "uri": "URI } } } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets" | Select-Object -Expand Content
Anda akan menerima respons JSON yang mirip dengan yang berikut ini:
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata", "genericMetadata": { "createTime": "2020-07-07T21:27:35.964882Z", "updateTime": "2020-07-07T21:27:35.964882Z" } }
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Java Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai Vertex AI menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Node.js Vertex AI.
Untuk melakukan autentikasi ke Vertex AI, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API.
Mendapatkan status operasi
Beberapa permintaan memulai operasi yang berjalan lama dan memerlukan waktu beberapa saat untuk diselesaikan. Permintaan ini menampilkan nama operasi, yang dapat Anda gunakan untuk melihat status operasi atau membatalkan operasi. Vertex AI menyediakan metode helper untuk melakukan panggilan terhadap operasi yang berjalan lama. Untuk mengetahui informasi selengkapnya, lihat Bekerja dengan operasi yang berjalan lama.