Panduan memulai: Membuat teks menggunakan Vertex AI Gemini API

Dalam panduan memulai ini, Anda akan mengirim permintaan multimodal berikut ke Vertex AI Gemini API dan melihat responsnya:

• Perintah teks
• Perintah dan gambar
• Perintah dan file video (dengan trek audio)

Anda dapat menyelesaikan panduan memulai ini menggunakan SDK bahasa pemrograman di lingkungan lokal atau REST API.

Prasyarat

Untuk menyelesaikan panduan memulai ini, Anda harus:

• Menyiapkan project Google Cloud dan mengaktifkan Vertex AI API
• Di komputer lokal Anda:
  • Menginstal, melakukan inisialisasi, dan mengautentikasi dengan Google Cloud CLI
  • Menginstal SDK untuk bahasa Anda

Menyiapkan project Google Cloud

Siapkan project Google Cloud dan aktifkan Vertex AI API.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Make sure that billing is enabled for your Google Cloud project.

4. Aktifkan API Vertex AI.

   Mengaktifkan API

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

6. Make sure that billing is enabled for your Google Cloud project.

7. Aktifkan API Vertex AI.

   Mengaktifkan API

Menyiapkan Google Cloud CLI

Di komputer lokal, siapkan dan lakukan autentikasi dengan Google Cloud CLI. Jika Anda sudah memahami Gemini API di Google AI Studio, perhatikan bahwa Vertex AI Gemini API menggunakan Identity and Access Management, bukan kunci API, untuk mengelola akses.

1. Instal dan lakukan inisialisasiGoogle Cloud CLI.

2. Jika sebelumnya Anda telah menginstal gcloud CLI, pastikan komponen gcloud Anda diupdate dengan menjalankan perintah ini.

   gcloud components update

3. Untuk melakukan autentikasi dengan gcloud CLI, buat file Kredensial Default Aplikasi (ADC) lokal dengan menjalankan perintah ini. Alur web yang diluncurkan oleh perintah ini digunakan untuk memberikan kredensial pengguna Anda.

   gcloud auth application-default login

   Untuk informasi selengkapnya, lihat Menyiapkan Kredensial Default Aplikasi.

Catatan: Untuk menghindari pemberian project ID dan region ke Google Cloud CLI, Anda dapat menggunakan perintah gcloud config set untuk menetapkan project dan region default.

Menyiapkan SDK untuk bahasa pemrograman Anda

Di komputer lokal, klik salah satu tab berikut untuk menginstal SDK untuk bahasa pemrograman Anda.

Python

Instal dan update Vertex AI SDK untuk Python dengan menjalankan perintah ini.

pip3 install --upgrade "google-cloud-aiplatform>=1.64"

Node.js

Instal atau update aiplatform SDK untuk Node.js dengan menjalankan perintah ini.

npm install @google-cloud/vertexai

Java

Untuk menambahkan google-cloud-vertexai sebagai dependensi, tambahkan kode yang sesuai untuk lingkungan Anda.

Maven dengan BOM

Tambahkan HTML berikut ke pom.xml Anda:

<dependencyManagement>
<dependencies>
  <dependency>
    <artifactId>libraries-bom</artifactId>
    <groupId>com.google.cloud</groupId>
    <scope>import</scope>
    <type>pom</type>
    <version>26.34.0</version>
  </dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
  <groupId>com.google.cloud</groupId>
  <artifactId>google-cloud-vertexai</artifactId>
</dependency>
</dependencies>

Maven tanpa BOM

Tambahkan kode berikut ke pom.xml Anda:

<dependency>
  <groupId>com.google.cloud</groupId>
  <artifactId>google-cloud-vertexai</artifactId>
  <version>0.4.0</version>
</dependency>

Gradle tanpa BOM

Tambahkan kode berikut ke build.gradle Anda:

implementation 'com.google.cloud:google-cloud-vertexai:0.4.0'

Go

Tinjau paket Vertex AI API Go yang tersedia untuk menentukan paket mana yang paling sesuai dengan kebutuhan project Anda.

• (Direkomendasikan) cloud.google.com/go/vertexai

  vertexai adalah paket yang dibuat manusia yang memberikan akses ke kemampuan dan fitur umum.

  Paket ini direkomendasikan sebagai titik awal bagi sebagian besar developer yang mem-build dengan Vertex AI API. Untuk mengakses kemampuan dan fitur yang belum tercakup dalam paket ini, gunakan paket aiplatform yang dibuat otomatis.

  Untuk menginstal paket ini, jalankan perintah ini.

  go get cloud.google.com/go/vertexai

• cloud.google.com/go/aiplatform

  aiplatform adalah paket yang dibuat otomatis.

  Paket ini ditujukan untuk project yang memerlukan akses ke kemampuan dan fitur Vertex AI API yang belum disediakan oleh paket vertexai yang ditulis manusia.

  Untuk menginstal paket ini, jalankan perintah ini.

  go get cloud.google.com/go/aiplatform

C#

Instal paket Google.Cloud.AIPlatform.V1 dari NuGet. Gunakan metode pilihan Anda untuk menambahkan paket ke project. Misalnya, klik kanan project di Visual Studio, lalu pilih Manage NuGet Packages....

REST

1. Konfigurasikan variabel lingkungan Anda dengan memasukkan hal berikut. Ganti PROJECT_ID dengan ID project Google Cloud Anda.

   MODEL_ID="gemini-1.5-flash-002"
   PROJECT_ID="PROJECT_ID"

2. Gunakan Google Cloud CLI untuk menyediakan endpoint dengan menjalankan perintah ini.

   gcloud beta services identity create --service=aiplatform.googleapis.com --project=${PROJECT_ID}

Mengirim perintah ke Vertex AI Gemini API

Gunakan kode berikut untuk mengirim perintah ke Vertex AI Gemini API. Contoh ini menampilkan daftar nama yang mungkin untuk toko bunga khusus.

Anda dapat menjalankan kode dari command line, dengan menggunakan IDE, atau dengan menyertakan kode dalam aplikasi Anda.

Python

Untuk mengirim permintaan perintah, buat file Python (.py) dan salin kode berikut ke dalam file. Tetapkan nilai PROJECT_ID ke ID project Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

import vertexai
from vertexai.generative_models import GenerativeModel

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"
vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-1.5-flash-002")

response = model.generate_content(
    "What's a good name for a flower shop that specializes in selling bouquets of dried flowers?"
)

print(response.text)
# Example response:
# **Emphasizing the Dried Aspect:**
# * Everlasting Blooms
# * Dried & Delightful
# * The Petal Preserve
# ...

Node.js

Untuk mengirim permintaan perintah, buat file Node.js (.js) dan salin kode berikut ke dalam file. Ganti PROJECT_ID dengan ID project Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

const {VertexAI} = require('@google-cloud/vertexai');

/**
 * TODO(developer): Update these variables before running the sample.
 */
async function generate_from_text_input(projectId = 'PROJECT_ID') {
  const vertexAI = new VertexAI({project: projectId, location: 'us-central1'});

  const generativeModel = vertexAI.getGenerativeModel({
    model: 'gemini-1.5-flash-001',
  });

  const prompt =
    "What's a good name for a flower shop that specializes in selling bouquets of dried flowers?";

  const resp = await generativeModel.generateContent(prompt);
  const contentResponse = await resp.response;
  console.log(JSON.stringify(contentResponse));
}

Java

Untuk mengirim permintaan perintah, buat file Java (.java) dan salin kode berikut ke dalam file. Tetapkan your-google-cloud-project-id ke project ID Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

import com.google.cloud.vertexai.VertexAI;
import com.google.cloud.vertexai.api.GenerateContentResponse;
import com.google.cloud.vertexai.generativeai.GenerativeModel;
import com.google.cloud.vertexai.generativeai.ResponseHandler;
import java.io.IOException;

public class TextInput {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-google-cloud-project-id";
    String location = "us-central1";
    String modelName = "gemini-1.5-flash-001";
    String textPrompt =
        "What's a good name for a flower shop that specializes in selling bouquets of"
            + " dried flowers?";

    String output = textInput(projectId, location, modelName, textPrompt);
    System.out.println(output);
  }

  // Passes the provided text input to the Gemini model and returns the text-only response.
  // For the specified textPrompt, the model returns a list of possible store names.
  public static String textInput(
      String projectId, String location, String modelName, String textPrompt) throws IOException {
    // Initialize client that will be used to send requests. This client only needs
    // to be created once, and can be reused for multiple requests.
    try (VertexAI vertexAI = new VertexAI(projectId, location)) {
      GenerativeModel model = new GenerativeModel(modelName, vertexAI);

      GenerateContentResponse response = model.generateContent(textPrompt);
      String output = ResponseHandler.getText(response);
      return output;
    }
  }
}

Go

Untuk mengirim permintaan perintah, buat file Go (.go) dan salin kode berikut ke dalam file. Ganti projectID dengan ID project Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

import (
	"context"
	"encoding/json"
	"fmt"
	"io"

	"cloud.google.com/go/vertexai/genai"
)

func generateContentFromText(w io.Writer, projectID string) error {
	location := "us-central1"
	modelName := "gemini-1.5-flash-001"

	ctx := context.Background()
	client, err := genai.NewClient(ctx, projectID, location)
	if err != nil {
		return fmt.Errorf("error creating client: %w", err)
	}
	gemini := client.GenerativeModel(modelName)
	prompt := genai.Text(
		"What's a good name for a flower shop that specializes in selling bouquets of dried flowers?")

	resp, err := gemini.GenerateContent(ctx, prompt)
	if err != nil {
		return fmt.Errorf("error generating content: %w", err)
	}
	// See the JSON response in
	// https://pkg.go.dev/cloud.google.com/go/vertexai/genai#GenerateContentResponse.
	rb, err := json.MarshalIndent(resp, "", "  ")
	if err != nil {
		return fmt.Errorf("json.MarshalIndent: %w", err)
	}
	fmt.Fprintln(w, string(rb))
	return nil
}

C#

Untuk mengirim permintaan perintah, buat file C# (.cs) dan salin kode berikut ke dalam file. Tetapkan your-project-id ke project ID Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

using Google.Cloud.AIPlatform.V1;
using System;
using System.Threading.Tasks;

public class TextInputSample
{
    public async Task<string> TextInput(
        string projectId = "your-project-id",
        string location = "us-central1",
        string publisher = "google",
        string model = "gemini-1.5-flash-001")
    {

        var predictionServiceClient = new PredictionServiceClientBuilder
        {
            Endpoint = $"{location}-aiplatform.googleapis.com"
        }.Build();
        string prompt = @"What's a good name for a flower shop that specializes in selling bouquets of dried flowers?";

        var generateContentRequest = new GenerateContentRequest
        {
            Model = $"projects/{projectId}/locations/{location}/publishers/{publisher}/models/{model}",
            Contents =
            {
                new Content
                {
                    Role = "USER",
                    Parts =
                    {
                        new Part { Text = prompt }
                    }
                }
            }
        };

        GenerateContentResponse response = await predictionServiceClient.GenerateContentAsync(generateContentRequest);

        string responseText = response.Candidates[0].Content.Parts[0].Text;
        Console.WriteLine(responseText);

        return responseText;
    }
}

REST

Untuk mengirim permintaan perintah ini, jalankan perintah curl dari command line atau sertakan panggilan REST di aplikasi Anda.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:generateContent -d \
$'{
  "contents": {
    "role": "user",
    "parts": [
      {
        "text": "What\'s a good name for a flower shop that specializes in selling bouquets of dried flowers?"
      }
    ]
  }
}'

Model menampilkan respons. Perhatikan bahwa respons dihasilkan dalam beberapa bagian dengan setiap bagian dievaluasi secara terpisah untuk keamanan.

Mengirim perintah dan gambar ke Vertex AI Gemini API

Gunakan kode berikut untuk mengirim perintah yang menyertakan teks dan gambar ke Vertex AI Gemini API. Contoh ini menampilkan deskripsi gambar yang disediakan (gambar untuk contoh Java).

Python

Untuk mengirim permintaan perintah, buat file Python (.py) dan salin kode berikut ke dalam file. Tetapkan nilai PROJECT_ID ke ID project Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

import vertexai

from vertexai.generative_models import GenerativeModel, Part

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"
vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-1.5-flash-002")

response = model.generate_content(
    [
        Part.from_uri(
            "gs://cloud-samples-data/generative-ai/image/scones.jpg",
            mime_type="image/jpeg",
        ),
        "What is shown in this image?",
    ]
)

print(response.text)
# That's a lovely overhead shot of a rustic-style breakfast or brunch spread.
# Here's what's in the image:
# * **Blueberry scones:** Several freshly baked blueberry scones are arranged on parchment paper.
# They look crumbly and delicious.
# ...

Node.js

Untuk mengirim permintaan perintah, buat file Node.js (.js) dan salin kode berikut ke dalam file. Ganti PROJECT_ID dengan ID project Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

const {VertexAI} = require('@google-cloud/vertexai');

/**
 * TODO(developer): Update these variables before running the sample.
 */
async function createNonStreamingMultipartContent(
  projectId = 'PROJECT_ID',
  location = 'us-central1',
  model = 'gemini-1.5-flash-001',
  image = 'gs://generativeai-downloads/images/scones.jpg',
  mimeType = 'image/jpeg'
) {
  // Initialize Vertex with your Cloud project and location
  const vertexAI = new VertexAI({project: projectId, location: location});

  // Instantiate the model
  const generativeVisionModel = vertexAI.getGenerativeModel({
    model: model,
  });

  // For images, the SDK supports both Google Cloud Storage URI and base64 strings
  const filePart = {
    fileData: {
      fileUri: image,
      mimeType: mimeType,
    },
  };

  const textPart = {
    text: 'what is shown in this image?',
  };

  const request = {
    contents: [{role: 'user', parts: [filePart, textPart]}],
  };

  console.log('Prompt Text:');
  console.log(request.contents[0].parts[1].text);

  console.log('Non-Streaming Response Text:');

  // Generate a response
  const response = await generativeVisionModel.generateContent(request);

  // Select the text from the response
  const fullTextResponse =
    response.response.candidates[0].content.parts[0].text;

  console.log(fullTextResponse);
}

Java

Untuk mengirim permintaan perintah, buat file Java (.java) dan salin kode berikut ke dalam file. Tetapkan your-google-cloud-project-id ke project ID Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

import com.google.cloud.vertexai.VertexAI;
import com.google.cloud.vertexai.api.GenerateContentResponse;
import com.google.cloud.vertexai.generativeai.ContentMaker;
import com.google.cloud.vertexai.generativeai.GenerativeModel;
import com.google.cloud.vertexai.generativeai.PartMaker;
import java.io.IOException;

public class Quickstart {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-google-cloud-project-id";
    String location = "us-central1";
    String modelName = "gemini-1.5-flash-001";

    String output = quickstart(projectId, location, modelName);
    System.out.println(output);
  }

  // Analyzes the provided Multimodal input.
  public static String quickstart(String projectId, String location, String modelName)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs
    // to be created once, and can be reused for multiple requests.
    try (VertexAI vertexAI = new VertexAI(projectId, location)) {
      String imageUri = "gs://generativeai-downloads/images/scones.jpg";

      GenerativeModel model = new GenerativeModel(modelName, vertexAI);
      GenerateContentResponse response = model.generateContent(ContentMaker.fromMultiModalData(
          PartMaker.fromMimeTypeAndData("image/png", imageUri),
          "What's in this photo"
      ));

      return response.toString();
    }
  }
}

Go

Untuk mengirim permintaan perintah, buat file Go (.go) dan salin kode berikut ke dalam file. Ganti projectID dengan ID project Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

import (
	"context"
	"encoding/json"
	"fmt"
	"io"

	"cloud.google.com/go/vertexai/genai"
)

func tryGemini(w io.Writer, projectID string, location string, modelName string) error {
	// location := "us-central1"
	// modelName := "gemini-1.5-flash-001"

	ctx := context.Background()
	client, err := genai.NewClient(ctx, projectID, location)
	if err != nil {
		return fmt.Errorf("error creating client: %w", err)
	}
	gemini := client.GenerativeModel(modelName)

	img := genai.FileData{
		MIMEType: "image/jpeg",
		FileURI:  "gs://generativeai-downloads/images/scones.jpg",
	}
	prompt := genai.Text("What is in this image?")

	resp, err := gemini.GenerateContent(ctx, img, prompt)
	if err != nil {
		return fmt.Errorf("error generating content: %w", err)
	}
	rb, err := json.MarshalIndent(resp, "", "  ")
	if err != nil {
		return fmt.Errorf("json.MarshalIndent: %w", err)
	}
	fmt.Fprintln(w, string(rb))
	return nil
}

C#

Untuk mengirim permintaan perintah, buat file C# (.cs) dan salin kode berikut ke dalam file. Tetapkan your-project-id ke project ID Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

using Google.Api.Gax.Grpc;
using Google.Cloud.AIPlatform.V1;
using System.Text;
using System.Threading.Tasks;

public class GeminiQuickstart
{
    public async Task<string> GenerateContent(
        string projectId = "your-project-id",
        string location = "us-central1",
        string publisher = "google",
        string model = "gemini-1.5-flash-001"
    )
    {
        // Create client
        var predictionServiceClient = new PredictionServiceClientBuilder
        {
            Endpoint = $"{location}-aiplatform.googleapis.com"
        }.Build();

        // Initialize content request
        var generateContentRequest = new GenerateContentRequest
        {
            Model = $"projects/{projectId}/locations/{location}/publishers/{publisher}/models/{model}",
            GenerationConfig = new GenerationConfig
            {
                Temperature = 0.4f,
                TopP = 1,
                TopK = 32,
                MaxOutputTokens = 2048
            },
            Contents =
            {
                new Content
                {
                    Role = "USER",
                    Parts =
                    {
                        new Part { Text = "What's in this photo?" },
                        new Part { FileData = new() { MimeType = "image/png", FileUri = "gs://generativeai-downloads/images/scones.jpg" } }
                    }
                }
            }
        };

        // Make the request, returning a streaming response
        using PredictionServiceClient.StreamGenerateContentStream response = predictionServiceClient.StreamGenerateContent(generateContentRequest);

        StringBuilder fullText = new();

        // Read streaming responses from server until complete
        AsyncResponseStream<GenerateContentResponse> responseStream = response.GetResponseStream();
        await foreach (GenerateContentResponse responseItem in responseStream)
        {
            fullText.Append(responseItem.Candidates[0].Content.Parts[0].Text);
        }

        return fullText.ToString();
    }
}

REST

Anda dapat mengirim permintaan perintah ini dari IDE, atau menyematkan panggilan REST ke dalam aplikasi jika sesuai.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:generateContent -d \
$'{
  "contents": {
    "role": "user",
    "parts": [
      {
      "fileData": {
        "mimeType": "image/jpeg",
        "fileUri": "gs://generativeai-downloads/images/scones.jpg"
        }
      },
      {
        "text": "Describe this picture."
      }
    ]
  }
}'

Model menampilkan respons. Perhatikan bahwa respons dihasilkan dalam bagian dengan setiap bagian dievaluasi secara terpisah untuk keamanan.

Mengirim perintah dan video ke Vertex AI Gemini API

Gunakan kode berikut untuk mengirim perintah yang menyertakan teks, audio, dan video ke Vertex AI Gemini API. Contoh ini menampilkan deskripsi video yang disediakan, termasuk hal penting dari trek audio.

Anda dapat mengirim permintaan perintah ini menggunakan command line, menggunakan IDE, atau dengan menyertakan panggilan REST dalam aplikasi.

Python

Untuk mengirim permintaan perintah, buat file Python (.py) dan salin kode berikut ke dalam file. Tetapkan nilai PROJECT_ID ke ID project Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

import vertexai
from vertexai.generative_models import GenerativeModel, Part

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-1.5-flash-002")

prompt = """
Provide a description of the video.
The description should also contain anything important which people say in the video.
"""

video_file = Part.from_uri(
    uri="gs://cloud-samples-data/generative-ai/video/pixel8.mp4",
    mime_type="video/mp4",
)

contents = [video_file, prompt]

response = model.generate_content(contents)
print(response.text)
# Example response:
# Here is a description of the video.
# ... Then, the scene changes to a woman named Saeko Shimada..
# She says, "Tokyo has many faces. The city at night is totally different
# from what you see during the day."
# ...

Node.js

Untuk mengirim permintaan perintah, buat file Node.js (.js) dan salin kode berikut ke dalam file. Ganti PROJECT_ID dengan ID project Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

const {VertexAI} = require('@google-cloud/vertexai');

/**
 * TODO(developer): Update these variables before running the sample.
 */
async function analyze_video_with_audio(projectId = 'PROJECT_ID') {
  const vertexAI = new VertexAI({project: projectId, location: 'us-central1'});

  const generativeModel = vertexAI.getGenerativeModel({
    model: 'gemini-1.5-flash-001',
  });

  const filePart = {
    file_data: {
      file_uri: 'gs://cloud-samples-data/generative-ai/video/pixel8.mp4',
      mime_type: 'video/mp4',
    },
  };
  const textPart = {
    text: `
    Provide a description of the video.
    The description should also contain anything important which people say in the video.`,
  };

  const request = {
    contents: [{role: 'user', parts: [filePart, textPart]}],
  };

  const resp = await generativeModel.generateContent(request);
  const contentResponse = await resp.response;
  console.log(JSON.stringify(contentResponse));
}

Java

Untuk mengirim permintaan perintah, buat file Java (.java) dan salin kode berikut ke dalam file. Tetapkan your-google-cloud-project-id ke project ID Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

import com.google.cloud.vertexai.VertexAI;
import com.google.cloud.vertexai.api.GenerateContentResponse;
import com.google.cloud.vertexai.generativeai.ContentMaker;
import com.google.cloud.vertexai.generativeai.GenerativeModel;
import com.google.cloud.vertexai.generativeai.PartMaker;
import com.google.cloud.vertexai.generativeai.ResponseHandler;
import java.io.IOException;

public class VideoInputWithAudio {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-google-cloud-project-id";
    String location = "us-central1";
    String modelName = "gemini-1.5-flash-001";

    videoAudioInput(projectId, location, modelName);
  }

  // Analyzes the given video input, including its audio track.
  public static String videoAudioInput(String projectId, String location, String modelName)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs
    // to be created once, and can be reused for multiple requests.
    try (VertexAI vertexAI = new VertexAI(projectId, location)) {
      String videoUri = "gs://cloud-samples-data/generative-ai/video/pixel8.mp4";

      GenerativeModel model = new GenerativeModel(modelName, vertexAI);
      GenerateContentResponse response = model.generateContent(
          ContentMaker.fromMultiModalData(
              "Provide a description of the video.\n The description should also "
                  + "contain anything important which people say in the video.",
              PartMaker.fromMimeTypeAndData("video/mp4", videoUri)
          ));

      String output = ResponseHandler.getText(response);
      System.out.println(output);

      return output;
    }
  }
}

Go

Untuk mengirim permintaan perintah, buat file Go (.go) dan salin kode berikut ke dalam file. Ganti projectID dengan ID project Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

import (
	"context"
	"errors"
	"fmt"
	"io"
	"mime"
	"path/filepath"

	"cloud.google.com/go/vertexai/genai"
)

// generateMultimodalContent shows how to send video and text prompts to a model, writing the response to
// the provided io.Writer.
func generateMultimodalContent(w io.Writer, projectID, location, modelName string) error {
	// location := "us-central1"
	// modelName := "gemini-1.5-flash-001"
	ctx := context.Background()

	client, err := genai.NewClient(ctx, projectID, location)
	if err != nil {
		return fmt.Errorf("unable to create client: %w", err)
	}
	defer client.Close()

	model := client.GenerativeModel(modelName)

	// Given a video file URL, prepare video file as genai.Part
	part := genai.FileData{
		MIMEType: mime.TypeByExtension(filepath.Ext("pixel8.mp4")),
		FileURI:  "gs://cloud-samples-data/generative-ai/video/pixel8.mp4",
	}

	res, err := model.GenerateContent(ctx, part, genai.Text(`
			Provide a description of the video.
			The description should also contain anything important which people say in the video.
	`))
	if err != nil {
		return fmt.Errorf("unable to generate contents: %w", err)
	}

	if len(res.Candidates) == 0 ||
		len(res.Candidates[0].Content.Parts) == 0 {
		return errors.New("empty response from model")
	}

	fmt.Fprintf(w, "generated response: %s\n", res.Candidates[0].Content.Parts[0])
	return nil
}

C#

Untuk mengirim permintaan perintah, buat file C# (.cs) dan salin kode berikut ke dalam file. Tetapkan your-project-id ke project ID Google Cloud Anda. Setelah memperbarui nilai, jalankan kode.

using Google.Cloud.AIPlatform.V1;
using System;
using System.Threading.Tasks;

public class VideoInputWithAudio
{
    public async Task<string> DescribeVideo(
        string projectId = "your-project-id",
        string location = "us-central1",
        string publisher = "google",
        string model = "gemini-1.5-flash-001")
    {

        var predictionServiceClient = new PredictionServiceClientBuilder
        {
            Endpoint = $"{location}-aiplatform.googleapis.com"
        }.Build();

        string prompt = @"Provide a description of the video.
The description should also contain anything important which people say in the video.";

        var generateContentRequest = new GenerateContentRequest
        {
            Model = $"projects/{projectId}/locations/{location}/publishers/{publisher}/models/{model}",
            Contents =
            {
                new Content
                {
                    Role = "USER",
                    Parts =
                    {
                        new Part { Text = prompt },
                        new Part { FileData = new() { MimeType = "video/mp4", FileUri = "gs://cloud-samples-data/generative-ai/video/pixel8.mp4" }}
                    }
                }
            }
        };

        GenerateContentResponse response = await predictionServiceClient.GenerateContentAsync(generateContentRequest);

        string responseText = response.Candidates[0].Content.Parts[0].Text;
        Console.WriteLine(responseText);

        return responseText;
    }
}

REST

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:generateContent -d \
$'{
  "contents": {
    "role": "user",
    "parts": [
      {
      "fileData": {
        "mimeType": "video/mp4",
        "fileUri": "gs://cloud-samples-data/generative-ai/video/pixel8.mp4"
        }
      },
      {
        "text": "Provide a description of the video. The description should also contain anything important which people say in the video."
      }
    ]
  }
}'

Model menampilkan respons. Perhatikan bahwa respons dihasilkan dalam bagian dengan setiap bagian dievaluasi secara terpisah untuk keamanan.

Langkah selanjutnya

• Pelajari Gemini API di Vertex AI lebih lanjut.
• Jelajahi referensi SDK Vertex AI Gemini API untuk Python, Node.js, Java, Go, atau C#.
• Lihat Model API untuk Gemini di Vertex AI.
• Pelajari cara memanggil model Vertex AI menggunakan library OpenAI.