Mem-build aplikasi

Halaman ini menunjukkan cara membuat aplikasi dan menggabungkan berbagai komponen - seperti aliran input, model untuk analisis, dan warehouse untuk penyimpanan - untuk digunakan di platform aplikasi Vertex AI Vision.

Untuk mem-build aplikasi, Anda harus mempertimbangkan sumber data, analisis yang ingin dilakukan, dan cara Anda ingin menyimpan hasilnya. Aplikasi menyeluruh dapat memiliki bentuk yang berbeda bergantung pada kasus penggunaan Anda. Oleh karena itu, cara Anda mem-build aplikasi akan bergantung pada tujuan Anda.

Sebelum memulai, nilai kasus penggunaan dan tujuan Anda dari perspektif AI Bertanggung Jawab dan pertimbangkan dampak yang dapat ditimbulkan oleh model dan aplikasi Anda terhadap pengguna akhir jika terjadi kesalahan. Baca selengkapnya tentang langkah pertama dalam menilai kasus penggunaan Anda untuk keadilan. Pastikan juga bahwa penggunaan Vertex AI Vision oleh Anda mematuhi Persyaratan Layanan Google Cloudatau varian offline, dan Persyaratan URL yang disertakan seperti Kebijakan Penggunaan yang Dapat Diterima Google Cloud.

Saat membuat aplikasi, perlu diingat bahwa teknologi visi AI memiliki potensi untuk memperkuat atau memperkenalkan bias yang tidak adil dan memengaruhi hak asasi manusia yang mendasar. Mengembangkan aplikasi harus melibatkan refleksi etis berdasarkan nilai perusahaan Anda, dan uji tuntas hukum untuk kasus penggunaan tertentu, termasuk kasus penggunaan berisiko tinggi. Seperti halnya semua teknologi, Anda harus mempertimbangkan semua hukum dan peraturan yang berlaku yang mengatur penggunaan teknologi AI/ML di wilayah tempat Anda menerapkan teknologi tersebut. Pelanggan bertanggung jawab atas uji kelayakan yang diperlukan untuk menerapkan kasus penggunaan yang dianggap berisiko tinggi di wilayah tertentu.

Membuat aplikasi baru

Sebelum dapat menambahkan komponen seperti streaming atau model ke aplikasi, Anda harus membuat aplikasi itu sendiri. Semua aplikasi harus berisi hal berikut agar dapat di-deploy:

  • Node input aliran data (sumber data).
  • Minimal satu node komponen lain, seperti model atau warehouse.

Membuat aplikasi kustom baru

Konsol

Buat aplikasi di konsol Google Cloud.

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Klik tombol Create.

  3. Masukkan nama aplikasi dan pilih wilayah Anda. Wilayah yang didukung.

  4. Klik Buat.

Membuat aplikasi dengan template

Konsol

Buat aplikasi di konsol Google Cloud.

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Klik tombol Create.

  3. Masukkan nama aplikasi dan pilih wilayah Anda. Wilayah yang didukung.

  4. Klik Buat.

  5. Di halaman pembuat aplikasi, klik node Template aplikasi.

  6. Dari panel setelan samping, klik tombol Select model.

  7. Pilih model dari menu dropdown.

Menambahkan input streaming

Aplikasi harus berisi node streaming video. Anda tidak dapat men-deploy aplikasi jika tidak menambahkan node Streams.

Jika aplikasi tidak di-deploy, update input streaming akan otomatis diterapkan ke aplikasi. Jika aplikasi sudah di-deploy, Anda harus membatalkan deployment dan mengupdatenya agar perubahan diterapkan. Lihat bagian mengupdate aplikasi untuk mengetahui detail selengkapnya.

Konsol

Tambahkan streaming ke aplikasi di konsol Google Cloud.

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Klik Lihat aplikasi untuk aplikasi Anda.

  3. Dari daftar komponen samping, pilih Aliran video dari daftar Konektor. Node aliran ditambahkan ke grafik aplikasi dan menu aliran Video samping akan terbuka.

  4. Pilih Tambahkan aliran data video.

  5. Jika Anda memilih Pilih dari aliran yang ada, pilih aliran yang ada, lalu pilih Tambahkan aliran.

    Jika Anda memilih untuk Mendaftarkan streaming baru, tambahkan nama untuk streaming baru dan pilih Tambahkan streaming.

REST

Untuk menambahkan streaming ke aplikasi, kirim permintaan POST menggunakan metode projects.locations.applications.addStreamInput.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

Metode HTTP dan URL: 

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

Isi JSON permintaan: 

{
  "applicationStreamInputs": [
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     },
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     }
   ]
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

Anda akan menerima kode status yang menandakan proses berhasil (2xx), dan sebuah respons kosong.

Menambahkan input streaming dengan anotasi node

Saat membuat aliran input aplikasi, Anda dapat menambahkan anotasi ke aliran menggunakan Vertex AI Vision API. Anda juga dapat menambahkan anotasi ke node di konsol Google Cloud.

Konsol

Contoh berikut menambahkan anotasi yang tersedia (STREAM_ANNOTATION_TYPE_ACTIVE_ZONE dan STREAM_ANNOTATION_TYPE_CROSSING_LINE) ke model jumlah jumlah tamu.

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Pilih Lihat aplikasi di samping nama aplikasi Anda dari daftar.

  3. Di halaman pembuat aplikasi, pilih model dengan input streaming yang ingin Anda tambahkan anotasi.

  4. Di panel setelan model samping, luaskan bagian "Advanced setting". Setelah meluaskan bagian, klik tombol Buat zona/garis aktif.

  5. Pada tampilan galeri aliran data, pilih aliran data input untuk menggambar zona atau garis aktif.

  6. Di tampilan editor, pilih tambahkan garis multi-titik atau tambahkan poligon sederhana untuk menambahkan anotasi. Gunakan panel samping untuk mengganti nama zona atau nama baris, menghapus zona/baris yang ada, atau mengubah arah baris.

REST & CMD LINE

Kode berikut menambahkan anotasi streaming.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT: Project ID atau nomor project Google CloudAnda.
  • LOCATION_ID: Region tempat Anda menggunakan Vertex AI Vision. Misalnya: us-central1, europe-west4. Lihat region yang tersedia.
  • APPLICATION_ID: ID aplikasi target Anda.
  • STREAM_ID: ID streaming target.
  • NODE_NAME: Nama node target dari grafik aplikasi. Contoh, builtin-occupancy-count.
  • ANNOTATION_ID: ID anotasi target Anda.
  • ANNOTATION_DISPLAYNAME: Nama tampilan anotasi target yang ditentukan pengguna.
  • ANNOTATION_TYPE: Salah satu nilai enum yang tersedia. Jenis ini harus cocok dengan objek annotation_payload, baik activeZone maupun crossingLine. Nilai yang tersedia adalah:
    • STREAM_ANNOTATION_TYPE_UNSPECIFIED
    • STREAM_ANNOTATION_TYPE_ACTIVE_ZONE
    • STREAM_ANNOTATION_TYPE_CROSSING_LINE
  • normalizedVertices: Setiap verteks ditentukan oleh nilai koordinat x, y. Koordinat adalah nilai float yang dinormalisasi [0,1] relatif terhadap gambar asli; 0,0 adalah X_MIN atau Y_MIN, 1,0 adalah X_MAX atau Y_MAX.

Metode HTTP dan URL: 

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

Isi JSON permintaan: 

{
  "applicationStreamInputs": [
    {
      "streamWithAnnotation": {
        "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
        "nodeAnnotations": [
          {
            "node": "NODE_NAME",
            "annotations": [
              {
                "id": "ANNOTATION_ID",
                "displayName": "ANNOTATION_DISPLAYNAME",
                "sourceStream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
                "type": ANNOTATION_TYPE,
                "activeZone": {
                  "normalizedVertices": {
                    "x": 0.07434944,
                    "y": 0.18061674
                  },
                  "normalizedVertices": {
                    "x": 0.64684016,
                    "y": 0.16079295
                  },
                  "normalizedVertices": {
                    "x": 0.6047088,
                    "y": 0.92070484
                  },
                  "normalizedVertices": {
                    "x": 0.1251549,
                    "y": 0.76651984
                  }
                }
              }
            ]
          }
        ]
      }
    }
  ]
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

Anda akan menerima kode status yang menandakan proses berhasil (2xx), dan sebuah respons kosong.

Menghapus input streaming

REST

Untuk menghapus streaming dari aplikasi, kirim permintaan POST menggunakan metode projects.locations.applications.removeStreamInput.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

Metode HTTP dan URL: 

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput

Isi JSON permintaan: 

{
  "targetStreamInputs": [
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     },
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     }
   ]
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput" | Select-Object -Expand Content

Anda akan menerima kode status yang menandakan proses berhasil (2xx), dan sebuah respons kosong.

Menambahkan model Vertex AI Vision yang telah dilatih sebelumnya

Setelah membuat aplikasi, Anda dapat menambahkan model dan menghubungkannya ke streaming, model lain, atau warehouse media.

Ada dua jenis model - model terlatih atau model yang dilatih pengguna. Demikian pula, model yang dilatih pengguna juga dapat berupa dua jenis, yaitu AutoML atau yang dilatih kustom:

  • Model terlatih menjalankan tujuan tertentu, dilatih pada data umum, dan siap digunakan.
  • AutoML yang dilatih pengguna atau model yang dilatih kustom mengharuskan Anda mengidentifikasi dan memberikan data contoh, lalu melatih model yang lebih sesuai dengan kasus penggunaan unik Anda. Anda melatih model ini menggunakan Vertex AI, produk yang menawarkan dua opsi pelatihan: model terlatih AutoML dan model terlatih kustom. Lihat Memilih metode pelatihan untuk mengetahui informasi selengkapnya.

Gunakan petunjuk berikut untuk menambahkan model Vertex AI Vision yang telah dilatih sebelumnya ke grafik aplikasi Anda.

Konsol

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Pilih Lihat aplikasi di samping nama aplikasi Anda dari daftar.

  3. Di halaman pembuat aplikasi, pilih model yang ingin ditambahkan dari daftar model AI. Setiap model memiliki setelan konfigurasi individual.

  4. Untuk menghubungkan model ini ke node sumber input, pilih node sumber dan pilih Tambahkan output.

  5. Pilih node model AI yang baru dibuat dari daftar Node yang tersedia.

Menambahkan model Vertex AI yang dilatih pengguna

Setelah membuat aplikasi, Anda dapat menambahkan model dan menghubungkannya ke streaming, model lain, atau warehouse media.

Ada dua jenis model - model terlatih atau model yang dilatih pengguna. Demikian pula, model yang dilatih pengguna juga dapat berupa dua jenis, yaitu AutoML atau yang dilatih kustom:

  • Model terlatih menjalankan tujuan tertentu, dilatih pada data umum, dan siap digunakan.
  • AutoML yang dilatih pengguna atau model yang dilatih kustom mengharuskan Anda mengidentifikasi dan memberikan data contoh, lalu melatih model yang lebih sesuai dengan kasus penggunaan unik Anda. Anda melatih model ini menggunakan Vertex AI, produk yang menawarkan dua opsi pelatihan: model terlatih AutoML dan model terlatih kustom. Lihat Memilih metode pelatihan untuk mengetahui informasi selengkapnya.

Menambahkan model streaming deteksi objek AutoML Vertex AI

Gunakan petunjuk berikut untuk menambahkan model streaming deteksi objek Vertex AI AutoML yang Anda latih ke grafik aplikasi.

Sebelum dapat melatih model AutoML Vertex AI, Anda harus menyiapkan data deteksi objek dan membuat set data.

Melatih model untuk digunakan di Vertex AI Vision

Setelah membuat set data dengan kumpulan data yang representatif di Vertex AI, Anda dapat melatih model untuk digunakan di Vertex AI Vision.

Konsol

  1. Di konsol Google Cloud, di dasbor Vertex AI, buka halaman Datasets.

    Buka halaman Datasets

  2. Klik nama set data yang ingin Anda gunakan untuk melatih model agar dapat membuka halaman detailnya.

  3. Jika jenis data Anda menggunakan kumpulan anotasi, pilih kumpulan anotasi yang ingin digunakan untuk model ini.

  4. Klik Train new model.

  5. Di halaman Train new model, selesaikan langkah-langkah berikut untuk model deteksi objek gambar AutoML Anda:

    1. Di bagian Model training method, pilih AutoML.

    2. Di bagian Choose location to use the model, pilih Vertex AI Vision.

    3. Klik Lanjutkan.

    4. Isi nilai untuk bagian Model details, Training options, dan Compute and pricing. Lihat Melatih model AutoML (Konsol Google Cloud) untuk informasi yang lebih mendetail.

    5. Klik Start Training.

      Pelatihan model dapat memerlukan waktu berjam-jam, bergantung pada ukuran dan kompleksitas data serta anggaran pelatihan, jika Anda menentukannya. Anda dapat menutup tab ini dan kembali membukanya lagi di lain waktu. Anda akan menerima email saat model telah menyelesaikan pelatihan.

Menambahkan model terlatih ke aplikasi Anda

Setelah model selesai dilatih, Anda dapat menambahkannya ke aplikasi Vertex AI Vision.

Konsol

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Pilih Lihat aplikasi di samping nama aplikasi Anda dari daftar.

  3. Di halaman Application Builder, pilih Add Vertex AI Model dari daftar komponen samping. Memilih opsi ini akan membuka menu samping.

  4. Dari menu Tambahkan Model Vertex AI, biarkan opsi Impor model terlatih dari Vertex AI dipilih, lalu pilih model dari daftar model AutoML Vertex AI yang ada.

  5. Setelah memilih model yang akan diimpor, pilih Tambahkan model.

    Setelah tombol Add model diklik, akan ada model yang tertunda di sisi halaman pembuat grafik. Setelah beberapa detik, model siap digunakan.

Menambahkan model kustom Vertex AI

Anda juga dapat mengimpor model terlatih kustom Vertex AI ke dalam Vertex AI Vision untuk digunakan dalam analisis data. Model yang dilatih khusus ini harus memiliki properti berikut:

  • Model harus bersifat stateless, karena input model adalah gambar yang berasal dari instance aplikasi (streaming) yang berbeda dan mungkin tidak berurutan. Jika memerlukan pemrosesan streaming stateful, Anda mungkin perlu menyimpan status di dalam penampung Anda sendiri.
  • Ukuran input ke model Anda dibatasi hingga 1,5 MB. Akibatnya, Vertex AI Vision harus mengompresi gambar RGB asli menjadi format lossy, seperti JPG.

Gunakan petunjuk berikut untuk menambahkan model video terlatih kustom Vertex AI yang ada yang telah Anda latih ke grafik aplikasi.

Untuk informasi tentang cara membuat model yang dilatih khusus Vertex AI dengan penampung kustom, lihat Menggunakan penampung kustom untuk prediksi.

Menentukan file YAML instance

Saat menambahkan model terlatih kustom Vertex AI, Anda harus menentukan file YAML instance (instances.yaml) yang disimpan di Cloud Storage. File ini menentukan input yang diharapkan ke penampung model Anda.

Vertex AI mengirimkan permintaan prediksi dalam format:

{
  "instances": [
    <value>|<simple/nested list>|<object>,
    ...
  ]
}

Di sini, instances.yaml menentukan skema payload. Untuk informasi selengkapnya, lihat Mendapatkan prediksi online dari model yang dilatih kustom.

Vertex AI Vision hanya mendukung model yang dilatih khusus dengan tepat satu input prediksi bernama. Jenis input ini harus berupa string JPEG yang dienkode. Skema input prediksi harus ditentukan dengan file YAML skema instance. File YAML skema ini harus dalam format objek skema OpenAPI.

Misalnya, skema berikut akan menerima permintaan dengan gambar yang dienkode ke dalam kolom yang memanggil image_bytes:

properties:
  image_bytes:
    type: string

Model kustom Anda menerima input prediksi dalam format berikut:

{
  "instances": [
    {
      "image_bytes" : {
        "b64": "BASE64_ENCODED_IMAGE_BYTES"
      }
    }
  ]
}

Sebelum mengimpor model ke Vertex AI Vision, pastikan model Anda berfungsi dengan benar dengan input ini.

Menentukan file YAML prediksi

Saat menambahkan model yang dilatih kustom Vertex AI, Anda dapat menentukan file YAML prediksi (predictions.yaml) yang disimpan di Cloud Storage. File ini menentukan output dari penampung model Anda.

File ini bersifat opsional, tetapi direkomendasikan untuk memberi tahu Vertex AI Vision struktur output model Anda. Misalnya, file classification_1.0.0.yaml berikut menjelaskan informasi output model untuk model klasifikasi gambar:

title: Classification
type: object
description: >
  The predicted AnnotationSpecs.
properties:
  ids:
    type: array
    description: >
      The resource IDs of the AnnotationSpecs that had been identified.
    items:
      type: integer
      format: int64
      enum: [0]  # As values of this enum all AnnotationSpec IDs the Model
      # was trained on will be populated.
  displayNames:
    type: array
    description: >
      The display names of the AnnotationSpecs that had been identified,
      order matches the IDs.
    items:
      type: string
      enum: [""]  # As values of this enum all AnnotationSpec display_names
      # the Model was trained on will be populated.
  confidences:
    type: array
    description: >
      The Model's confidences in correctness of the predicted IDs, higher
      value means higher confidence. Order matches the Ids.
    items:
      type: number
      format: float
      minimum: 0.0
      maximum: 1.0

Menambahkan model yang dilatih khusus

Gunakan contoh berikut untuk menambahkan model Vertex AI yang dilatih secara khusus ke aplikasi Anda.

Konsol

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Pilih Lihat aplikasi di samping nama aplikasi Anda dari daftar.

  3. Di halaman Application Builder, pilih Add Vertex AI Model dari daftar komponen samping. Memilih opsi ini akan membuka menu samping.

  4. Dari menu Tambahkan Model Vertex AI, biarkan opsi Impor model terlatih dari Vertex AI dipilih, lalu pilih model dari daftar model AutoML Vertex AI yang ada.

  5. Berikan nama untuk model.

  6. Tentukan file YAML instance di Cloud Storage yang menentukan format satu instance yang digunakan dalam permintaan prediksi dan penjelasan.

  7. Opsional: Tentukan file YAML skema prediksi di Cloud Storage yang menentukan format satu prediksi atau penjelasan.

  8. Setelah memberikan informasi nama model, instance, dan prediksi, pilih Tambahkan model.

  9. Setelah tombol Add model diklik, akan ada model yang tertunda di sisi halaman pembuat grafik. Setelah beberapa detik, model siap digunakan.

Opsional. Melampirkan metadata aplikasi

Selain byte gambar, Anda memiliki opsi untuk menetapkan attach_application_metadata guna meminta platform aplikasi Vertex AI Vision untuk menyertakan metadata aplikasi yang akan dikirim ke penampung kustom.

Metadata memiliki skema berikut:

'appPlatformMetadata': {
     'application': STRING;
     'instanceId': STRING;
     'node': STRING;
     'processor': STRING;
   }

Opsional. Menambahkan topik Pub/Sub konfigurasi dinamis

Untuk mengontrol kecepatan frame secara dinamis yang dikirim Operator Kustom Vertex ke frame video ke penampung kustom vertex, Anda dapat membuat topik Pub/Sub. Tambahkan ke bagian Dynamic Configuration di setelan node.

konfigurasi dinamis

Jika topik Pub/Sub dikonfigurasi, kecepatan frame awal adalah 0. Selama pemrosesan video, Anda dapat mengirim pesan Pub/Sub ke topik Pub/Sub dalam format berikut secara real time untuk mengubah kecepatan frame:

{
  "stream_id": "input-stream-id",
  "fps": 5,
}

Kolom stream_id harus cocok dengan ID aliran input aplikasi.

Akun layanan dan izin

Kredensial layanan default container kustom telah dikonfigurasi ke akun layanan milik Google dari platform aplikasi Vertex AI Vision. Untuk mengakses layanan Google Cloud lain dari penampung, berikan izin yang sesuai ke: service-<var>PROJECT_NUMBER</var>@gcp-sa-visionai.iam.gserviceaccount.com

Opsional. Notifikasi peristiwa model dengan fungsi Cloud Run dan Pub/Sub

Di Vertex AI Vision, model menerima data media dari perangkat seperti kamera, menjalankan prediksi AI pada data, dan menghasilkan anotasi secara berkelanjutan. Anda sering kali mengirim data yang diproses tersebut ke tujuan data ("penampung data") seperti media warehouse atau BigQuery untuk tugas analitik lebih lanjut. Namun, Anda mungkin memiliki kasus saat beberapa anotasi harus ditangani secara berbeda, atau kebutuhan anotasi bersifat mendesak. Integrasi dengan fungsi Cloud Run dan Pub/Sub membantu Anda memenuhi kebutuhan ini.

Model yang didukung

Model berikut menawarkan pembuatan peristiwa fungsi Cloud Run dan integrasi notifikasi peristiwa Pub/Sub:

Mengonfigurasi fungsi Cloud Run untuk memproses output model

Untuk memicu notifikasi berbasis peristiwa, Anda harus menyiapkan fungsi Cloud Run terlebih dahulu untuk memproses output model dan membuat peristiwa.

Fungsi Cloud Run Anda terhubung ke model dan memproses outputnya sebagai tindakan pascapemrosesan. Fungsi Cloud Run yang harus Anda tampilkan adalah AppPlatformCloudFunctionResponse. Peristiwa (appplatformeventbody) dikirim ke topik Pub/Sub yang Anda konfigurasikan di langkah berikutnya.

Untuk melihat contoh fungsi Cloud Run, lihat Mengaktifkan notifikasi peristiwa model dengan Cloud Functions dan Pub/Sub.

Gunakan petunjuk berikut untuk mengirim streaming output model ke fungsi Cloud Run Anda:

Konsol

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Pilih Lihat aplikasi di samping nama aplikasi Anda dari daftar.

  3. Klik model yang didukung untuk membuka panel samping detail model.

  4. Di daftar pascapemrosesan pada bagian Notifikasi peristiwa, pilih fungsi Cloud Run yang ada, atau buat yang baru.

    Memilih gambar Cloud Functions pascapemrosesan di Cloud Console

Mengaktifkan notifikasi peristiwa model dengan Pub/Sub

Setelah menyiapkan fungsi Cloud Run untuk memproses output model dan menghasilkan peristiwa, Anda dapat menyiapkan notifikasi peristiwa dengan Pub/Sub. Untuk membaca pesan dari topik, Anda juga perlu Memilih dan membuat langganan Pub/Sub.

Konsol

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Pilih Lihat aplikasi di samping nama aplikasi Anda dari daftar.

  3. Klik model yang didukung untuk membuka panel samping detail model.

  4. Di bagian Notifikasi acara, pilih Siapkan notifikasi acara.

  5. Di jendela opsi Siapkan Pub/Sub untuk notifikasi peristiwa yang terbuka, pilih topik Pub/Sub yang ada, atau buat topik baru.

  6. Di kolom Frequency, tetapkan nilai bilangan bulat untuk nilai frekuensi dalam detik saat notifikasi untuk jenis peristiwa yang sama dapat dikirim.

    Menyiapkan gambar notifikasi peristiwa di Cloud Console

  7. Klik Siapkan.

Menghubungkan output model dengan node downstream

Setelah membuat node model, Anda dapat menghubungkan output-nya ke node lain.

Konsol

  1. Buka tab Applications di dasbor Vertex AI Vision.

    Buka tab Applications

  2. Pilih Lihat aplikasi di samping nama aplikasi Anda dari daftar.

  3. Klik node model yang menghasilkan output data di pembuat grafik aplikasi (misalnya, node model Jumlah Penghunian).

  4. Di panel setelan samping, klik tombol Tambahkan output.

  5. Tambahkan output baru dan pilih node output baru yang akan ditambahkan, atau pilih Node yang Tersedia yang ada untuk mengirim output.

Menghubungkan output ke tujuan data

Setelah membuat streaming penyerapan data dan menambahkan node pemrosesan ke aplikasi, Anda harus memilih tempat untuk mengirim data yang diproses. Tujuan data ini adalah titik akhir grafik aplikasi Anda yang menerima data aliran data tanpa menghasilkan data aliran data apa pun. Tujuan yang Anda pilih bergantung pada cara Anda menggunakan data output aplikasi.

gambar node konektor
Di konsol Google Cloud, tujuan data tersedia di bagian Konektor di halaman grafik aplikasi.

Anda dapat menghubungkan data output aplikasi ke tujuan data berikut:

  1. Vision Warehouse: Menyimpan data video asli atau yang dianalisis yang dapat Anda lihat dan buat kuerinya.

    Untuk informasi selengkapnya tentang cara mengirim data output aplikasi ke Vision Warehouse, lihat Menghubungkan dan menyimpan data ke warehouse.

  2. BigQuery: Menyimpan data di BigQuery untuk menggunakan kemampuan analisis offline-nya.

    Untuk informasi selengkapnya tentang cara mengirim data output aplikasi ke BigQuery, lihat Menghubungkan dan menyimpan data ke BigQuery.

  3. Data live stream: Jika menginginkan kontrol yang lebih terperinci untuk bertindak berdasarkan analisis real-time, Anda dapat menerima output live dari aplikasi.

    Untuk mengetahui informasi selengkapnya tentang streaming data output aplikasi secara langsung, lihat Mengaktifkan output live stream.

Mengupdate aplikasi

Aplikasi yang tidak di-deploy

Lakukan modifikasi pada aplikasi (seperti menambahkan atau menghapus node komponen) ; Vertex AI Vision akan otomatis menyimpan perubahan tersebut.

Langkah berikutnya

  • Pelajari cara men-deploy aplikasi untuk menyerap dan menganalisis data di Men-deploy aplikasi.
  • Baca petunjuk tentang cara memulai penyerapan data dari aliran input aplikasi di Membuat dan mengelola aliran data.
  • Pelajari cara mencantumkan aplikasi dan melihat instance aplikasi yang di-deploy di Mengelola aplikasi.
  • Pelajari cara membaca data input aplikasi dari aliran proses transfer atau data output model yang dianalisis di Membaca data aliran.