Panduan pendeteksi objek

Model detektor objek dapat mengidentifikasi dan menemukan lebih dari 500 jenis objek dalam video. Model menerima streaming video sebagai input dan menghasilkan buffer protokol dengan hasil deteksi ke BigQuery. Model berjalan pada satu FPS. Saat membuat aplikasi yang menggunakan model pendeteksi objek, Anda harus mengarahkan output model ke konektor BigQuery untuk melihat output prediksi.

Spesifikasi aplikasi model pendeteksi objek

Gunakan petunjuk berikut untuk membuat model pendeteksi objek di konsol Google Cloud.

Konsol

Membuat aplikasi di konsol Google Cloud

1. Untuk membuat aplikasi pendeteksi objek, ikuti petunjuk dalam Mem-build aplikasi.

   Buka tab Applications

Menambahkan model pendeteksi objek

1. Saat menambahkan node model, pilih Object detector dari daftar model terlatih.

Menambahkan konektor BigQuery

1. Untuk menggunakan output, hubungkan aplikasi ke konektor BigQuery.

   Untuk informasi tentang cara menggunakan konektor BigQuery, lihat Menghubungkan dan menyimpan data ke BigQuery. Untuk mengetahui informasi harga BigQuery, lihat halaman harga BigQuery.

Melihat hasil output di BigQuery

Setelah model menghasilkan output data ke BigQuery, lihat anotasi output di dasbor BigQuery.

Jika tidak menentukan jalur BigQuery, Anda dapat melihat jalur yang dibuat sistem di halaman Studio Vertex AI Vision.

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Pilih Expand di samping project target, nama set data, dan nama aplikasi.

   

3. Di tampilan detail tabel, klik Pratinjau. Lihat hasil di kolom anotasi. Untuk deskripsi format output, lihat output model.

Aplikasi menyimpan hasil dalam urutan kronologis. Hasil terlama adalah awal tabel, sedangkan hasil terbaru ditambahkan ke akhir tabel. Untuk memeriksa hasil terbaru, klik nomor halaman untuk membuka halaman tabel terakhir.

Output model

Model ini menghasilkan kotak pembatas, label objeknya, dan skor keyakinan untuk setiap frame video. Output juga berisi stempel waktu. Kecepatan streaming output adalah satu frame per detik.

Dalam contoh output buffer protokol berikut, perhatikan hal berikut:

• Stempel waktu - Stempel waktu sesuai dengan waktu untuk hasil inferensi ini.
• Kotak yang diidentifikasi - Hasil deteksi utama yang mencakup identitas kotak, informasi kotak pembatas, skor keyakinan, dan prediksi objek.

Contoh objek JSON output anotasi

{
  "currentTime": "2022-11-09T02:18:54.777154048Z",
  "identifiedBoxes": [
    {
      "boxId":"0",
      "normalizedBoundingBox": {
        "xmin": 0.6963465,
        "ymin": 0.23144785,
        "width": 0.23944569,
        "height": 0.3544306
      },
      "confidenceScore": 0.49874997,
      "entity": {
        "labelId": "0",
        "labelString": "Houseplant"
      }
    }
  ]
}

Definisi buffering protokol

// The prediction result protocol buffer for object detection
message ObjectDetectionPredictionResult {
  // Current timestamp
  protobuf.Timestamp timestamp = 1;

  // The entity information for annotations from object detection prediction
  // results
  message Entity {
    // Label id
    int64 label_id = 1;

    // The human-readable label string
    string label_string = 2;
  }

  // The identified box contains the location and the entity of the object
  message IdentifiedBox {
    // An unique id for this box
    int64 box_id = 1;

    // Bounding Box in normalized coordinates [0,1]
    message NormalizedBoundingBox {
      // Min in x coordinate
      float xmin = 1;
      // Min in y coordinate
      float ymin = 2;
      // Width of the bounding box
      float width = 3;
      // Height of the bounding box
      float height = 4;
    }
    // Bounding Box in the normalized coordinates
    NormalizedBoundingBox normalized_bounding_box = 2;

    // Confidence score associated with this bounding box
    float confidence_score = 3;

    // Entity of this box
    Entity entity = 4;
  }
  // A list of identified boxes
  repeated IdentifiedBox identified_boxes = 2;
}

Praktik terbaik dan batasan

Untuk mendapatkan hasil terbaik saat menggunakan pendeteksi objek, pertimbangkan hal berikut saat Anda mengambil data dan menggunakan model.

Rekomendasi data sumber

Direkomendasikan: Pastikan objek dalam gambar terlihat jelas dan tidak tertutup atau sebagian besar terhalang oleh objek lain.

Contoh data gambar yang dapat diproses dengan benar oleh detektor objek:

^Sumber gambar: Spacejoy di Unsplash.

Mengirim data gambar ini ke model akan menampilkan informasi deteksi objek berikut^*:

^* Anotasi dalam gambar berikut hanya untuk tujuan ilustrasi. Kotak pembatas, label, dan skor keyakinan digambar secara manual dan tidak ditambahkan oleh model atau alat konsol Google Cloud.

Sumber gambar: Spacejoy di Unsplash (anotasi ditambahkan secara manual).

Tidak direkomendasikan: Hindari data gambar dengan item objek utama yang terlalu kecil dalam bingkai.

Contoh data gambar yang tidak dapat diproses dengan benar oleh detektor objek:

^Sumber gambar: Bernard Hermant di Unsplash (gambar dipangkas).

Tidak direkomendasikan: Hindari data gambar yang menampilkan item objek utama yang sebagian atau sepenuhnya tertutup oleh objek lain.

Contoh data gambar yang tidak dapat diproses dengan benar oleh detektor objek:

^Sumber gambar: Şahin Sezer Dinçer di Unsplash.

Batasan

• Resolusi video: Resolusi video input maksimum yang direkomendasikan adalah 1920x1080, dan resolusi minimum yang direkomendasikan adalah 160x120.
• Pencahayaan: Performa model sensitif terhadap kondisi pencahayaan. Kecerahan atau kegelapan yang ekstrem dapat menyebabkan kualitas deteksi yang lebih rendah.
• Ukuran objek: Detektor objek memiliki ukuran objek minimum yang dapat dideteksi. Pastikan objek target cukup besar dan terlihat dalam data video Anda.