使用客户端库为视频添加注释

使用客户端库为视频添加注释

本快速入门为您介绍 Video Intelligence API。在本快速入门中，您将设置 Google Cloud 项目和授权，然后请求 Video Intelligence 为视频添加注释。

准备工作

1. 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手，请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

2. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

3. 确保您的 Google Cloud 项目已启用结算功能。

4. 启用 Cloud Video Intelligence API。

   启用 API

5. 创建服务帐号：

   1. 在 Google Cloud 控制台中，转到创建服务帐号页面。

      转到“创建服务帐号”
   2. 选择您的项目。

   3. 在服务帐号名称字段中，输入一个名称。Google Cloud 控制台会根据此名称填充服务帐号 ID 字段。

      在服务帐号说明字段中，输入说明。例如，Service account for quickstart。

   4. 点击创建并继续。

   5. 点击完成以完成服务帐号的创建过程。

      不要关闭浏览器窗口。您将在下一步骤中用到它。

6. 创建服务帐号密钥：

   1. 在 Google Cloud 控制台中，点击您创建的服务帐号的电子邮件地址。
   2. 点击密钥。
   3. 点击添加密钥，然后点击创建新密钥。
   4. 点击创建。JSON 密钥文件将下载到您的计算机上。
   5. 点击关闭。

7. 将环境变量 GOOGLE_APPLICATION_CREDENTIALS 设置为包含凭据的 JSON 文件的路径。 此变量仅适用于当前的 shell 会话，因此，如果您打开新的会话，请重新设置该变量。

   示例：Linux 或 macOS

   export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

   将 KEY_PATH 替换为包含凭据的 JSON 文件的路径。

   例如：

   export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

   示例：Windows

   对于 PowerShell：

   $env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

   将 KEY_PATH 替换为包含凭据的 JSON 文件的路径。

   例如：

   $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

   对于命令提示符：

   set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

   将 KEY_PATH 替换为包含凭据的 JSON 文件的路径。

8. 安装 Google Cloud CLI。

9. 如需初始化 gcloud CLI，请运行以下命令：

   gcloud init

10. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

    注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

    转到“项目选择器”

11. 确保您的 Google Cloud 项目已启用结算功能。

12. 启用 Cloud Video Intelligence API。

    启用 API

13. 创建服务帐号：

    1. 在 Google Cloud 控制台中，转到创建服务帐号页面。

       转到“创建服务帐号”
    2. 选择您的项目。

    3. 在服务帐号名称字段中，输入一个名称。Google Cloud 控制台会根据此名称填充服务帐号 ID 字段。

       在服务帐号说明字段中，输入说明。例如，Service account for quickstart。

    4. 点击创建并继续。

    5. 点击完成以完成服务帐号的创建过程。

       不要关闭浏览器窗口。您将在下一步骤中用到它。

14. 创建服务帐号密钥：

    1. 在 Google Cloud 控制台中，点击您创建的服务帐号的电子邮件地址。
    2. 点击密钥。
    3. 点击添加密钥，然后点击创建新密钥。
    4. 点击创建。JSON 密钥文件将下载到您的计算机上。
    5. 点击关闭。

15. 将环境变量 GOOGLE_APPLICATION_CREDENTIALS 设置为包含凭据的 JSON 文件的路径。 此变量仅适用于当前的 shell 会话，因此，如果您打开新的会话，请重新设置该变量。

    示例：Linux 或 macOS

    export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

    将 KEY_PATH 替换为包含凭据的 JSON 文件的路径。

    例如：

    export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

    示例：Windows

    对于 PowerShell：

    $env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

    将 KEY_PATH 替换为包含凭据的 JSON 文件的路径。

    例如：

    $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

    对于命令提示符：

    set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

    将 KEY_PATH 替换为包含凭据的 JSON 文件的路径。

16. 安装 Google Cloud CLI。

17. 如需初始化 gcloud CLI，请运行以下命令：

    gcloud init

安装客户端库

Go

go get cloud.google.com/go/videointelligence/apiv1

Java

Node.js

在安装库之前，请确保已经为 Node.js 开发准备好环境。

npm install --save @google-cloud/video-intelligence

Python

在安装库之前，请确保已经为 Python 开发准备好环境。

pip install --upgrade google-cloud-videointelligence

其他语言

C#：请按照“客户端库”页面上的 C# 设置说明操作，然后访问 .NET 的 Video Intelligence 参考文档。

PHP：请按照客户端库页面上的 PHP 设置说明操作，然后访问 PHP 版 Video Intelligence 参考文档。

Ruby：请按照客户端库页面上的 Ruby 设置说明操作，然后访问 Ruby 版 Video Intelligence 参考文档。

标签检测

现在，您可以使用 Video Intelligence API 请求视频或视频片段中的信息，例如标签检测。请运行以下代码以执行您的第一个视频标签检测请求：

Go

// Sample video_quickstart uses the Google Cloud Video Intelligence API to label a video.
package main

import (
	"context"
	"fmt"
	"log"

	"github.com/golang/protobuf/ptypes"

	video "cloud.google.com/go/videointelligence/apiv1"
	videopb "cloud.google.com/go/videointelligence/apiv1/videointelligencepb"
)

func main() {
	ctx := context.Background()

	// Creates a client.
	client, err := video.NewClient(ctx)
	if err != nil {
		log.Fatalf("Failed to create client: %v", err)
	}
	defer client.Close()

	op, err := client.AnnotateVideo(ctx, &videopb.AnnotateVideoRequest{
		InputUri: "gs://cloud-samples-data/video/cat.mp4",
		Features: []videopb.Feature{
			videopb.Feature_LABEL_DETECTION,
		},
	})
	if err != nil {
		log.Fatalf("Failed to start annotation job: %v", err)
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		log.Fatalf("Failed to annotate: %v", err)
	}

	// Only one video was processed, so get the first result.
	result := resp.GetAnnotationResults()[0]

	for _, annotation := range result.SegmentLabelAnnotations {
		fmt.Printf("Description: %s\n", annotation.Entity.Description)

		for _, category := range annotation.CategoryEntities {
			fmt.Printf("\tCategory: %s\n", category.Description)
		}

		for _, segment := range annotation.Segments {
			start, _ := ptypes.Duration(segment.Segment.StartTimeOffset)
			end, _ := ptypes.Duration(segment.Segment.EndTimeOffset)
			fmt.Printf("\tSegment: %s to %s\n", start, end)
			fmt.Printf("\tConfidence: %v\n", segment.Confidence)
		}
	}
}

Java

import com.google.api.gax.longrunning.OperationFuture;
import com.google.cloud.videointelligence.v1.AnnotateVideoProgress;
import com.google.cloud.videointelligence.v1.AnnotateVideoRequest;
import com.google.cloud.videointelligence.v1.AnnotateVideoResponse;
import com.google.cloud.videointelligence.v1.Entity;
import com.google.cloud.videointelligence.v1.Feature;
import com.google.cloud.videointelligence.v1.LabelAnnotation;
import com.google.cloud.videointelligence.v1.LabelSegment;
import com.google.cloud.videointelligence.v1.VideoAnnotationResults;
import com.google.cloud.videointelligence.v1.VideoIntelligenceServiceClient;
import java.util.List;

public class QuickstartSample {

  /** Demonstrates using the video intelligence client to detect labels in a video file. */
  public static void main(String[] args) throws Exception {
    // Instantiate a video intelligence client
    try (VideoIntelligenceServiceClient client = VideoIntelligenceServiceClient.create()) {
      // The Google Cloud Storage path to the video to annotate.
      String gcsUri = "gs://cloud-samples-data/video/cat.mp4";

      // Create an operation that will contain the response when the operation completes.
      AnnotateVideoRequest request =
          AnnotateVideoRequest.newBuilder()
              .setInputUri(gcsUri)
              .addFeatures(Feature.LABEL_DETECTION)
              .build();

      OperationFuture<AnnotateVideoResponse, AnnotateVideoProgress> response =
          client.annotateVideoAsync(request);

      System.out.println("Waiting for operation to complete...");

      List<VideoAnnotationResults> results = response.get().getAnnotationResultsList();
      if (results.isEmpty()) {
        System.out.println("No labels detected in " + gcsUri);
        return;
      }
      for (VideoAnnotationResults result : results) {
        System.out.println("Labels:");
        // get video segment label annotations
        for (LabelAnnotation annotation : result.getSegmentLabelAnnotationsList()) {
          System.out.println(
              "Video label description : " + annotation.getEntity().getDescription());
          // categories
          for (Entity categoryEntity : annotation.getCategoryEntitiesList()) {
            System.out.println("Label Category description : " + categoryEntity.getDescription());
          }
          // segments
          for (LabelSegment segment : annotation.getSegmentsList()) {
            double startTime =
                segment.getSegment().getStartTimeOffset().getSeconds()
                    + segment.getSegment().getStartTimeOffset().getNanos() / 1e9;
            double endTime =
                segment.getSegment().getEndTimeOffset().getSeconds()
                    + segment.getSegment().getEndTimeOffset().getNanos() / 1e9;
            System.out.printf("Segment location : %.3f:%.3f\n", startTime, endTime);
            System.out.println("Confidence : " + segment.getConfidence());
          }
        }
      }
    }
  }
}

Node.js

在运行该示例之前，请确保已经为 Node.js 开发准备好环境。

// Imports the Google Cloud Video Intelligence library
const videoIntelligence = require('@google-cloud/video-intelligence');

// Creates a client
const client = new videoIntelligence.VideoIntelligenceServiceClient();

// The GCS uri of the video to analyze
const gcsUri = 'gs://cloud-samples-data/video/cat.mp4';

// Construct request
const request = {
  inputUri: gcsUri,
  features: ['LABEL_DETECTION'],
};

// Execute request
const [operation] = await client.annotateVideo(request);

console.log(
  'Waiting for operation to complete... (this may take a few minutes)'
);

const [operationResult] = await operation.promise();

// Gets annotations for video
const annotations = operationResult.annotationResults[0];

// Gets labels for video from its annotations
const labels = annotations.segmentLabelAnnotations;
labels.forEach(label => {
  console.log(`Label ${label.entity.description} occurs at:`);
  label.segments.forEach(segment => {
    segment = segment.segment;
    console.log(
      `\tStart: ${segment.startTimeOffset.seconds}` +
        `.${(segment.startTimeOffset.nanos / 1e6).toFixed(0)}s`
    );
    console.log(
      `\tEnd: ${segment.endTimeOffset.seconds}.` +
        `${(segment.endTimeOffset.nanos / 1e6).toFixed(0)}s`
    );
  });
});

Python

在运行该示例之前，请确保已经为 Python 开发准备好环境。

from google.cloud import videointelligence

video_client = videointelligence.VideoIntelligenceServiceClient()
features = [videointelligence.Feature.LABEL_DETECTION]
operation = video_client.annotate_video(
    request={
        "features": features,
        "input_uri": "gs://cloud-samples-data/video/cat.mp4",
    }
)
print("\nProcessing video for label annotations:")

result = operation.result(timeout=180)
print("\nFinished processing.")

# first result is retrieved because a single video was processed
segment_labels = result.annotation_results[0].segment_label_annotations
for i, segment_label in enumerate(segment_labels):
    print("Video label description: {}".format(segment_label.entity.description))
    for category_entity in segment_label.category_entities:
        print(
            "\tLabel category description: {}".format(category_entity.description)
        )

    for i, segment in enumerate(segment_label.segments):
        start_time = (
            segment.segment.start_time_offset.seconds
            + segment.segment.start_time_offset.microseconds / 1e6
        )
        end_time = (
            segment.segment.end_time_offset.seconds
            + segment.segment.end_time_offset.microseconds / 1e6
        )
        positions = "{}s to {}s".format(start_time, end_time)
        confidence = segment.confidence
        print("\tSegment {}: {}".format(i, positions))
        print("\tConfidence: {}".format(confidence))
    print("\n")

其他语言

C#：请按照“客户端库”页面上的 C# 设置说明操作，然后访问 .NET 的 Video Intelligence 参考文档。

PHP：请按照客户端库页面上的 PHP 设置说明操作，然后访问 PHP 版 Video Intelligence 参考文档。

Ruby：请按照客户端库页面上的 Ruby 设置说明操作，然后访问 Ruby 版 Video Intelligence 参考文档。

恭喜！您已向 Video Intelligence 发送了第一个请求。

结果怎么样？

成功了！

太棒了！ 您对本快速入门有何看法？我们可以在哪些方面做出改进？ 欢迎提供您的意见！

遇到了问题！

我们对此深表遗憾。 请告诉我们您遇到了什么问题。我们会予以修正。

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用，请按照以下步骤操作。

• 使用 Google Cloud 控制台删除不需要的项目。

后续步骤