Sebuah project dapat memiliki beberapa set data, dan setiap data digunakan untuk melatih model terpisah. Anda dapat memperoleh daftar set data yang tersedia, mendapatkanset data tertentu, mengekspor set data , dan dapat menghapus set data yang tidak lagi Anda butuhkan.
Mencantumkan set data
Bagian ini menjelaskan cara mengambil daftar set data yang tersedia untuk sebuah project.
UI Web
Untuk melihat daftar set data yang tersedia menggunakan Vision Dashboard, klik link Datasets di bagian atas menu navigasi kiri.
Untuk melihat set data project yang berbeda, pilih project dari daftar di drop-down yang terletak di kanan atas panel judul.
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: Project ID GCP Anda.
Metode HTTP dan URL:
GET https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Jalankan perintah berikut:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-id" \
"https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets"
PowerShell
Jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-id" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets" | Select-Object -Expand Content
Anda akan menerima respons JSON yang mirip seperti berikut:
{ "datasets": [ { "name": "projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID", "displayName": "my_new_dataset", "createTime": "2019-10-29T17:31:12.010290Z", "etag": "AB3BwFpNUaguCwKeQWtUKLBPQhZr7omCCUBz77pACPIINFpyFe7vbGhp9oZLEEGhIeM=", "exampleCount": 3667, "imageClassificationDatasetMetadata": { "classificationType": "MULTICLASS" } }, { "name": "projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID", "displayName": "new_dataset", "createTime": "2019-10-02T00:44:57.821275Z", "etag": "AB3BwFpU_ueMZtTD_8dt-9r8BWqunqMC76YbAbmQYQsQEbtQTxs6U3rPpgAMDCXhYPGq", "imageClassificationDatasetMetadata": { "classificationType": "MULTICLASS" } } ] }
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Bahasa tambahan
C# : Ikuti Petunjuk penyiapan C# di halaman library klien, lalu kunjungi dokumentasi referensi AutoML Vision untuk .NET.
PHP : Ikuti Petunjuk penyiapan PHP di halaman library klien, lalu kunjungi dokumentasi referensi AutoML Vision untuk PHP.
Ruby : Harap mengikuti Petunjuk penyiapan Ruby di halaman library klien, lalu kunjungi Dokumentasi referensi AutoML Vision untuk Ruby.
Mendapatkan set data
Anda juga dapat memperoleh set data tertentu menggunakan ID set data.
UI web
Untuk melihat daftar set data yang tersedia menggunakan UI AutoML Vision, klik link Datasets di bagian atas menu navigasi sebelah kiri.
Untuk melihat set data project lain, pilih project dari daftar drop-down di sisi kiri panel judul.
Mengakses set data tertentu dengan memilih namanya dari daftar.
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: project ID GCP Anda.
- dataset-id: ID set data Anda. ID adalah elemen terakhir dari nama
set data Anda. Contoh:
- nama set data:
projects/project-id/locations/location-id/datasets/3104518874390609379
- id set data:
3104518874390609379
- nama set data:
Metode HTTP dan URL:
GET https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Jalankan perintah berikut:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-id" \
"https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID"
PowerShell
Jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-id" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID" | Select-Object -Expand Content
Anda akan menerima respons JSON yang mirip seperti berikut:
{ "name": "projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID", "displayName": "DISPLAY_NAME", "createTime": "2019-10-29T17:31:12.010290Z", "etag": "AB3BwFoP09ffuRNnaWMx4UGi8uvYFctvOBjns84OercuMRIdXr0YINNiUqeW85SB3g4=", "exampleCount": 3667, "imageClassificationDatasetMetadata": { "classificationType": "MULTICLASS" } }
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Mengekspor set data
Anda dapat mengekspor file CSV yang berisi semua informasi set data ke bucket Google Cloud Storage.
UI web
Untuk mengekspor set data yang tidak kosong, selesaikan langkah-langkah berikut:
Pilih set data yang tidak kosong dari halaman Datasets.
Memilih set data yang tidak kosong akan mengarahkan Anda ke halaman detail Dataset.
Memilih opsi Mengekspor data di bagian atas halaman detail Dataset.
Tindakan ini akan membuka jendela tempat Anda dapat memilih lokasi bucket Google Cloud Storage, atau membuat bucket baru dan menetapkannya sebagai lokasi untuk menyimpan file CSV.
Memilih Ekspor CSV setelah Anda memilih lokasi bucket Google Cloud Storage baru atau yang sudah ada.
Anda akan menerima email saat proses ekspor data selesai.
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: project ID GCP Anda.
- dataset-id: ID set data Anda. ID adalah elemen terakhir dari nama
set data Anda. Contoh:
- nama set data:
projects/project-id/locations/location-id/datasets/3104518874390609379
- id set data:
3104518874390609379
- nama set data:
- output-storage-bucket: bucket/direktori Google Cloud Storage
tempat file output disimpan, yang dinyatakan dalam bentuk berikut:
gs://bucket/directory/
. Pengguna yang membuat permintaan harus memiliki izin tulis ke bucket.
Metode HTTP dan URL:
POST https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID:exportData
Isi JSON permintaan:
{ "outputConfig": { "gcsDestination": { "outputUriPrefix": "CLOUD_STORAGE_BUCKET" } } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
, dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-id" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID:exportData"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-id" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID:exportData" | Select-Object -Expand Content
Anda akan melihat output yang serupa dengan berikut ini: Anda dapat menggunakan ID operasi untuk mendapatkan status tugas. Contohnya, lihat Bersama dengan operasi yang berjalan lama
{ "name": "projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.automl.v1.OperationMetadata", "createTime": "2019-08-12T18:52:31.637075Z", "updateTime": "2019-08-12T18:52:31.637075Z", "exportDataDetails": { "outputInfo": { "gcsOutputDirectory": "CLOUD_STORAGE_BUCKET/export_data-DATASET_NAME-TIMESTAMP_OF_EXPORT_CALL/" } } } }
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Format CSV yang diekspor
File CSV yang diekspor berisi format yang sama dengan CSV impor data pelatihan:
set,path,label0[,label1,label2,...]
File CSV ini disimpan di folder ekspor yang dibuat dan dibedakan berdasarkan stempel waktu yang unik. Berikut adalah beberapa baris contoh dari file CSV yang diekspor:
my-storage-bucket/export_data-my_dataset_name-2019-11-08T22:28:13.081Z/image_classification_1.csv
:
TRAIN,gs://my-storage-bucket/export_data-my_dataset_name-2019-11-08T22:28:13.081Z/files/img874.jpg,dandelion VALIDATION,gs://my-storage-bucket/export_data-my_dataset_name-2019-11-08T22:28:13.081Z/files/img447.jpg,roses TRAIN,gs://my-storage-bucket/export_data-my_dataset_name-2019-11-08T22:28:13.081Z/files/img672.jpg,dandelion VALIDATION,gs://my-storage-bucket/export_data-my_dataset_name-2019-11-08T22:28:13.081Z/files/img421.jpg,sunflowers TRAIN,gs://my-storage-bucket/export_data-my_dataset_name-2019-11-08T22:28:13.081Z/files/img495.jpg,tulips TEST,gs://my-storage-bucket/export_data-my_dataset_name-2019-11-08T22:28:13.081Z/files/img014.jpg,sunflowers
Menghapus suatu set data
Anda dapat menghapus set data yang tidak lagi diperlukan di UI, atau dengan ID set data melalui contoh kode berikut.
UI web
Di Vision Dashboard, klik link Datasets di bagian atas menu navigasi sebelah kiri untuk menampilkan daftar set data yang tersedia.
Klik menu tiga titik di ujung kanan baris yang ingin Anda hapus, lalu pilih Hapus set data.
Klik Hapus di kotak dialog konfirmasi.
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: project ID GCP Anda.
- dataset-id: ID set data Anda. ID adalah elemen terakhir dari nama
set data Anda. Contoh:
- nama set data:
projects/project-id/locations/location-id/datasets/3104518874390609379
- id set data:
3104518874390609379
- nama set data:
Metode HTTP dan URL:
DELETE https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Jalankan perintah berikut:
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-id" \
"https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID"
PowerShell
Jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-id" }
Invoke-WebRequest `
-Method DELETE `
-Headers $headers `
-Uri "https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID" | Select-Object -Expand Content
Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan ID operasi untuk mendapatkan status tugas. Contohnya, lihat Bersama dengan operasi yang berjalan lama
{ "name": "projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.automl.v1.OperationMetadata", "createTime": "2019-11-08T22:37:19.822128Z", "updateTime": "2019-11-08T22:37:19.822128Z", "deleteDetails": {} }, "done": true, "response": { "@type": "type.googleapis.com/google.protobuf.Empty" } }
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.