Mengirimkan permintaan pelabelan video

Layanan Pelabelan Data AI Platform mendukung empat jenis tugas pelabelan video:

  • Tugas klasifikasi, tempat pemberi label menetapkan satu atau beberapa label ke setiap video. Anda menentukan jumlah pemberi label untuk memberi label pada setiap video. Sebaiknya jumlah ini lima atau kurang. Layanan Pelabelan Data melakukan pemungutan suara mayoritas untuk menentukan label yang tepat. Anda juga dapat menentukan apakah akan menerapkan deteksi bidikan pada video atau tidak.
  • Tugas deteksi objek, tempat pemberi label memilih label, lalu menggambar satu atau beberapa kotak pembatas untuk diterapkan ke bagian gambar yang diekstrak dari video Anda. Mereka dapat memilih label lain dan mengulangi prosesnya hingga tidak ada lagi objek menarik yang dapat diidentifikasi dalam gambar yang diekstrak. Anda dapat menentukan kecepatan frame ekstraksi untuk menentukan jumlah gambar yang akan diekstrak dari video.
  • Tugas pelacakan objek, tempat pemberi label memilih label, lalu menggambar satu atau beberapa kotak pembatas untuk menunjukkan bagian video untuk objek tertentu, dan terus melacak setiap objek di seluruh video.
  • Tugas peristiwa, tempat pelabel memilih label, lalu memilih waktu mulai dan akhir untuk menerapkan label ke segmen atau titik dalam video.

Klasifikasi video

UI Web

  1. Buka UI Layanan Pelabelan Data.

  2. Pilih Set Data dari navigasi sebelah kiri.

    Halaman Set Data menampilkan status set data yang dibuat sebelumnya untuk project saat ini.

  3. Klik nama set data yang ingin Anda kirim untuk pelabelan.

    Set data dengan status Impor selesai dapat dikirim. Kolom Jenis data menunjukkan apakah set data menyertakan gambar, video, atau teks.

  4. Di halaman Dataset detail, klik tombol Create labeling task di kolom judul.

  5. Di halaman Tugas pelabelan baru, masukkan nama dan deskripsi untuk set data yang dianotasi.

    Set data yang dianotasi adalah versi set data ini setelah pemberi label manual memberi label.

  6. Dari drop-down Objective, pilih jenis tugas pemberian label yang ingin Anda lakukan pada set data ini.

    Daftar drop-down hanya menyertakan tujuan yang tersedia untuk jenis data dalam set data ini. Jika Anda tidak melihat tujuan yang diinginkan, kemungkinan Anda telah memilih set data dengan jenis data yang berbeda. Tutup halaman New labeling task dan pilih set data lain.

  7. Dari drop-down Set label, pilih set label yang ingin Anda terapkan oleh pemberi label ke item data dalam set ini.

    Daftar drop-down menyertakan semua set label yang terkait dengan project ini. Anda harus memilih set.

  8. Dari drop-down Petunjuk, pilih petunjuk yang ingin Anda berikan kepada pemberi label yang menggunakan set data ini.

    Daftar drop-down menyertakan semua petunjuk yang terkait dengan project ini. Anda harus menyertakan petunjuk dalam permintaan pelabelan.

  9. Dari drop-down labeler per data item, tentukan jumlah pemberi label yang Anda inginkan untuk meninjau setiap item dalam set data.

    Defaultnya adalah satu, tetapi Anda dapat meminta agar tiga atau lima pemberi label memberi label pada setiap item.

  10. Klik kotak centang untuk mengonfirmasi bahwa Anda memahami cara Anda akan ditagih untuk pelabelan.

  11. Klik Create.

Command-line

Tetapkan variabel lingkungan berikut:
  1. Variabel PROJECT_ID ke project ID Google Cloud Anda.

  2. variabel DATASET_ID ke ID set data Anda, dari respons saat Anda membuat set data. ID muncul di akhir nama set data lengkap: 

    projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID
  3. INSTRUCTION_RESOURCE_NAME ke nama resource petunjuk Anda.
  4. ANNOTATION_SPEC_SET_RESOURCE_NAME ke nama resource set label Anda.
curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  https://datalabeling.googleapis.com/v1beta1/projects/${PROJECT_ID}/datasets/${DATASET_ID}/video:label \
  -d '{
  "basicConfig": {
    "instruction": "${INSTRUCTION_RESOURCE_NAME}",
    "annotatedDatasetDisplayName": "curl_testing_annotated_dataset",
    "labelGroup": "test_label_group",
    "replica_count": 1
  },
  "feature": "CLASSIFICATION",
  "videoClassificationConfig": {
    "annotationSpecSetConfigs": ["annotationSpecSet": "${ANNOTATION_SPEC_SET_RESOURCE_NAME}"],
  },
}'

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan ID operasi untuk mendapatkan status tugas. Mendapatkan status operasi adalah contohnya.

{
  "name": "projects/data-labeling-codelab/operations/5c73dd6b_0000_2b34_a920_883d24fa2064",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.data-labeling.v1beta1.LabelVideoClassificationOperationMetadata",
    "dataset": "projects/data-labeling-codelab/datasets/5c73db3d_0000_23e0_a25b_94eb2c119c4c"
  }
}

Java

Sebelum dapat menjalankan contoh kode ini, Anda harus menginstal Library Klien Java. 
import com.google.api.gax.longrunning.OperationFuture;
import com.google.cloud.datalabeling.v1beta1.AnnotatedDataset;
import com.google.cloud.datalabeling.v1beta1.DataLabelingServiceClient;
import com.google.cloud.datalabeling.v1beta1.DataLabelingServiceSettings;
import com.google.cloud.datalabeling.v1beta1.HumanAnnotationConfig;
import com.google.cloud.datalabeling.v1beta1.LabelOperationMetadata;
import com.google.cloud.datalabeling.v1beta1.LabelVideoRequest;
import com.google.cloud.datalabeling.v1beta1.LabelVideoRequest.Feature;
import com.google.cloud.datalabeling.v1beta1.VideoClassificationConfig;
import com.google.cloud.datalabeling.v1beta1.VideoClassificationConfig.AnnotationSpecSetConfig;
import java.io.IOException;
import java.util.concurrent.ExecutionException;

class LabelVideo {

  // Start a Video Labeling Task
  static void labelVideo(
      String formattedInstructionName,
      String formattedAnnotationSpecSetName,
      String formattedDatasetName)
      throws IOException {
    // String formattedInstructionName = DataLabelingServiceClient.formatInstructionName(
    //      "YOUR_PROJECT_ID", "YOUR_INSTRUCTION_UUID");
    // String formattedAnnotationSpecSetName =
    //     DataLabelingServiceClient.formatAnnotationSpecSetName(
    //         "YOUR_PROJECT_ID", "YOUR_ANNOTATION_SPEC_SET_UUID");
    // String formattedDatasetName = DataLabelingServiceClient.formatDatasetName(
    //      "YOUR_PROJECT_ID", "YOUR_DATASET_UUID");


    DataLabelingServiceSettings settings =
        DataLabelingServiceSettings.newBuilder()
            .build();
    try (DataLabelingServiceClient dataLabelingServiceClient =
        DataLabelingServiceClient.create(settings)) {
      HumanAnnotationConfig humanAnnotationConfig =
          HumanAnnotationConfig.newBuilder()
              .setAnnotatedDatasetDisplayName("annotated_displayname")
              .setAnnotatedDatasetDescription("annotated_description")
              .setInstruction(formattedInstructionName)
              .build();

      AnnotationSpecSetConfig annotationSpecSetConfig =
          AnnotationSpecSetConfig.newBuilder()
              .setAnnotationSpecSet(formattedAnnotationSpecSetName)
              .setAllowMultiLabel(true)
              .build();

      VideoClassificationConfig videoClassificationConfig =
          VideoClassificationConfig.newBuilder()
              .setApplyShotDetection(true)
              .addAnnotationSpecSetConfigs(annotationSpecSetConfig)
              .build();

      LabelVideoRequest labelVideoRequest =
          LabelVideoRequest.newBuilder()
              .setParent(formattedDatasetName)
              .setBasicConfig(humanAnnotationConfig)
              .setVideoClassificationConfig(videoClassificationConfig)
              .setFeature(Feature.CLASSIFICATION)
              .build();

      OperationFuture<AnnotatedDataset, LabelOperationMetadata> operation =
          dataLabelingServiceClient.labelVideoAsync(labelVideoRequest);

      // You'll want to save this for later to retrieve your completed operation.
      System.out.format("Operation Name: %s\n", operation.getName());

      // Cancel the operation to avoid charges when testing.
      dataLabelingServiceClient.getOperationsClient().cancelOperation(operation.getName());
    } catch (IOException | InterruptedException | ExecutionException e) {
      e.printStackTrace();
    }
  }
}

Deteksi objek video

UI Web

  1. Buka UI Layanan Pelabelan Data.

  2. Pilih Set Data dari navigasi sebelah kiri.

    Halaman Set Data menampilkan status set data yang dibuat sebelumnya untuk project saat ini.

  3. Klik nama set data yang ingin Anda kirim untuk pelabelan.

    Set data dengan status Impor selesai dapat dikirim. Kolom Jenis data menunjukkan apakah set data menyertakan gambar, video, atau teks.

  4. Di halaman Dataset detail, klik tombol Create labeling task di kolom judul.

  5. Di halaman Tugas pelabelan baru, masukkan nama dan deskripsi untuk set data yang dianotasi.

    Set data yang dianotasi adalah versi set data ini setelah pemberi label manual memberi label.

  6. Dari drop-down Objective, pilih jenis tugas pemberian label yang ingin Anda lakukan pada set data ini.

    Daftar drop-down hanya menyertakan tujuan yang tersedia untuk jenis data dalam set data ini. Jika Anda tidak melihat tujuan yang diinginkan, kemungkinan Anda telah memilih set data dengan jenis data yang berbeda. Tutup halaman New labeling task dan pilih set data lain.

  7. Dari drop-down Set label, pilih set label yang ingin Anda terapkan oleh pemberi label ke item data dalam set ini.

    Daftar drop-down menyertakan semua set label yang terkait dengan project ini. Anda harus memilih set.

  8. Dari drop-down Petunjuk, pilih petunjuk yang ingin Anda berikan kepada pemberi label yang menggunakan set data ini.

    Daftar drop-down menyertakan semua petunjuk yang terkait dengan project ini. Anda harus menyertakan petunjuk dalam permintaan pelabelan.

  9. Dari drop-down labeler per data item, tentukan jumlah pemberi label yang Anda inginkan untuk meninjau setiap item dalam set data.

    Defaultnya adalah satu, tetapi Anda dapat meminta agar tiga atau lima pemberi label memberi label pada setiap item.

  10. Klik kotak centang untuk mengonfirmasi bahwa Anda memahami cara Anda akan ditagih untuk pelabelan.

  11. Klik Create.

Command-line

Tetapkan variabel lingkungan berikut:
  1. Variabel PROJECT_ID ke project ID Google Cloud Anda.

  2. variabel DATASET_ID ke ID set data Anda, dari respons saat Anda membuat set data. ID muncul di akhir nama set data lengkap: 

    projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID
  3. INSTRUCTION_RESOURCE_NAME ke nama resource petunjuk Anda.
  4. ANNOTATION_SPEC_SET_RESOURCE_NAME ke nama resource set label Anda.
curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  https://datalabeling.googleapis.com/v1beta1/projects/${PROJECT_ID}/datasets/${DATASET_ID}/video:label \
  -d '{
  "basicConfig": {
    "instruction": "${INSTRUCTION_RESOURCE_NAME}",
    "annotatedDatasetDisplayName": "curl_testing_annotated_dataset",
    "labelGroup": "test_label_group",
    "replica_count": 1
  },
  "feature": "OBJECT_DETECTION",
  "objectDetectionConfig": {
    "annotationSpecSet": "${ANNOTATION_SPEC_SET_RESOURCE_NAME}",
    "instructionMessage": "Detect an object",
    "extractionFrameRate": 4
  },
}'

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan ID operasi untuk mendapatkan status tugas. Mendapatkan status operasi adalah contohnya.

{
  "name": "projects/data-labeling-codelab/operations/5c73dd6b_0000_2b34_a920_883d24fa2064",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.data-labeling.v1beta1.LabelVideoObjectDetectionOperationMetadata",
    "dataset": "projects/data-labeling-codelab/datasets/5c73db3d_0000_23e0_a25b_94eb2c119c4c"
  }
}

Pelacakan objek video

UI Web

  1. Buka UI Layanan Pelabelan Data.

  2. Pilih Set Data dari navigasi sebelah kiri.

    Halaman Set Data menampilkan status set data yang dibuat sebelumnya untuk project saat ini.

  3. Klik nama set data yang ingin Anda kirim untuk pelabelan.

    Set data dengan status Impor selesai dapat dikirim. Kolom Jenis data menunjukkan apakah set data menyertakan gambar, video, atau teks.

  4. Di halaman Dataset detail, klik tombol Create labeling task di kolom judul.

  5. Di halaman Tugas pelabelan baru, masukkan nama dan deskripsi untuk set data yang dianotasi.

    Set data yang dianotasi adalah versi set data ini setelah pemberi label manual memberi label.

  6. Dari drop-down Objective, pilih jenis tugas pemberian label yang ingin Anda lakukan pada set data ini.

    Daftar drop-down hanya menyertakan tujuan yang tersedia untuk jenis data dalam set data ini. Jika Anda tidak melihat tujuan yang diinginkan, kemungkinan Anda telah memilih set data dengan jenis data yang berbeda. Tutup halaman New labeling task dan pilih set data lain.

  7. Dari drop-down Set label, pilih set label yang ingin Anda terapkan oleh pemberi label ke item data dalam set ini.

    Daftar drop-down menyertakan semua set label yang terkait dengan project ini. Anda harus memilih set.

  8. Dari drop-down Petunjuk, pilih petunjuk yang ingin Anda berikan kepada pemberi label yang menggunakan set data ini.

    Daftar drop-down menyertakan semua petunjuk yang terkait dengan project ini. Anda harus menyertakan petunjuk dalam permintaan pelabelan.

  9. Dari drop-down labeler per data item, tentukan jumlah pemberi label yang Anda inginkan untuk meninjau setiap item dalam set data.

    Defaultnya adalah satu, tetapi Anda dapat meminta agar tiga atau lima pemberi label memberi label pada setiap item.

  10. Klik kotak centang untuk mengonfirmasi bahwa Anda memahami cara Anda akan ditagih untuk pelabelan.

  11. Klik Create.

Command-line

Tetapkan variabel lingkungan berikut:
  1. Variabel PROJECT_ID ke project ID Google Cloud Anda.

  2. variabel DATASET_ID ke ID set data Anda, dari respons saat Anda membuat set data. ID muncul di akhir nama set data lengkap: 

    projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID
  3. INSTRUCTION_RESOURCE_NAME ke nama resource petunjuk Anda.
  4. ANNOTATION_SPEC_SET_RESOURCE_NAME ke nama resource set label Anda.
curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  https://datalabeling.googleapis.com/v1beta1/projects/${PROJECT_ID}/datasets/${DATASET_ID}/video:label \
  -d '{
  "basicConfig": {
    "instruction": "${INSTRUCTION_RESOURCE_NAME}",
    "annotatedDatasetDisplayName": "curl_testing_annotated_dataset",
    "labelGroup": "test_label_group",
    "replica_count": 1
  },
  "feature": "OBJECT_TRACKING",
  "objectTrackingConfig": {
    "annotationSpecSet": "${ANNOTATION_SPEC_SET_RESOURCE_NAME}"
  },
}'

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan ID operasi untuk mendapatkan status tugas. Mendapatkan status operasi adalah contohnya.

{
  "name": "projects/data-labeling-codelab/operations/5c73dd6b_0000_2b34_a920_883d24fa2064",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.data-labeling.v1beta1.LabelVideoObjectTrackingOperationMetadata",
    "dataset": "projects/data-labeling-codelab/datasets/5c73db3d_0000_23e0_a25b_94eb2c119c4c"
  }
}

Python

Sebelum dapat menjalankan contoh kode ini, Anda harus menginstal Library Klien Python. 
def label_video(
    dataset_resource_name, instruction_resource_name, annotation_spec_set_resource_name
):
    """Labels a video dataset."""
    from google.cloud import datalabeling_v1beta1 as datalabeling

    client = datalabeling.DataLabelingServiceClient()

    basic_config = datalabeling.HumanAnnotationConfig(
        instruction=instruction_resource_name,
        annotated_dataset_display_name="YOUR_ANNOTATED_DATASET_DISPLAY_NAME",
        label_group="YOUR_LABEL_GROUP",
        replica_count=1,
    )

    feature = datalabeling.LabelVideoRequest.Feature.OBJECT_TRACKING

    config = datalabeling.ObjectTrackingConfig(
        annotation_spec_set=annotation_spec_set_resource_name
    )

    response = client.label_video(
        request={
            "parent": dataset_resource_name,
            "basic_config": basic_config,
            "feature": feature,
            "object_tracking_config": config,
        }
    )

    print(f"Label_video operation name: {response.operation.name}")
    return response

Peristiwa video

UI Web

  1. Buka UI Layanan Pelabelan Data.

  2. Pilih Set Data dari navigasi sebelah kiri.

    Halaman Set Data menampilkan status set data yang dibuat sebelumnya untuk project saat ini.

  3. Klik nama set data yang ingin Anda kirim untuk pelabelan.

    Set data dengan status Impor selesai dapat dikirim. Kolom Jenis data menunjukkan apakah set data menyertakan gambar, video, atau teks.

  4. Di halaman Dataset detail, klik tombol Create labeling task di kolom judul.

  5. Di halaman Tugas pelabelan baru, masukkan nama dan deskripsi untuk set data yang dianotasi.

    Set data yang dianotasi adalah versi set data ini setelah pemberi label manual memberi label.

  6. Dari drop-down Objective, pilih jenis tugas pemberian label yang ingin Anda lakukan pada set data ini.

    Daftar drop-down hanya menyertakan tujuan yang tersedia untuk jenis data dalam set data ini. Jika Anda tidak melihat tujuan yang diinginkan, kemungkinan Anda telah memilih set data dengan jenis data yang berbeda. Tutup halaman New labeling task dan pilih set data lain.

  7. Dari drop-down Set label, pilih set label yang ingin Anda terapkan oleh pemberi label ke item data dalam set ini.

    Daftar drop-down menyertakan semua set label yang terkait dengan project ini. Anda harus memilih set.

  8. Dari drop-down Petunjuk, pilih petunjuk yang ingin Anda berikan kepada pemberi label yang menggunakan set data ini.

    Daftar drop-down menyertakan semua petunjuk yang terkait dengan project ini. Anda harus menyertakan petunjuk dalam permintaan pelabelan.

  9. Dari drop-down labeler per data item, tentukan jumlah pemberi label yang Anda inginkan untuk meninjau setiap item dalam set data.

    Defaultnya adalah satu, tetapi Anda dapat meminta agar tiga atau lima pemberi label memberi label pada setiap item.

  10. Klik kotak centang untuk mengonfirmasi bahwa Anda memahami cara Anda akan ditagih untuk pelabelan.

  11. Klik Create.

Command-line

Tetapkan variabel lingkungan berikut:
  1. Variabel PROJECT_ID ke project ID Google Cloud Anda.

  2. variabel DATASET_ID ke ID set data Anda, dari respons saat Anda membuat set data. ID muncul di akhir nama set data lengkap: 

    projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID
  3. INSTRUCTION_RESOURCE_NAME ke nama resource petunjuk Anda.
  4. ANNOTATION_SPEC_SET_RESOURCE_NAME ke nama resource set label Anda.
curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  https://datalabeling.googleapis.com/v1beta1/projects/${PROJECT_ID}/datasets/${DATASET_ID}/video:label \
  -d '{
  "basicConfig": {
    "instruction": "${INSTRUCTION_RESOURCE_NAME}",
    "annotatedDatasetDisplayName": "curl_testing_annotated_dataset",
    "labelGroup": "test_label_group",
    "replica_count": 1
  },
  "feature": "EVENT",
  "eventConfig": {
    "annotationSpecSets": ["${ANNOTATION_SPEC_SET_RESOURCE_NAME}]"
  },
}'

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan ID operasi untuk mendapatkan status tugas. Mendapatkan status operasi adalah contohnya.

{
  "name": "projects/data-labeling-codelab/operations/5c73dd6b_0000_2b34_a920_883d24fa2064",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.data-labeling.v1beta1.LabelVideoEventOperationMetadata",
    "dataset": "projects/data-labeling-codelab/datasets/5c73db3d_0000_23e0_a25b_94eb2c119c4c"
  }
}