Guia de início rápido: gerar texto usando a API Vertex AI Gemini

Neste guia de início rápido, você vai enviar as seguintes solicitações multimodais para a API Vertex AI Gemini e conferir as respostas:

• Um comando de texto
• Uma instrução e uma imagem
• Uma instrução e um arquivo de vídeo (com uma faixa de áudio)

Você pode concluir este guia de início rápido usando um SDK de linguagem de programação no seu ambiente local ou na API REST.

Pré-requisitos

Para concluir este guia de início rápido, você precisa:

• Configurar um projeto do Google Cloud e ativar a API Vertex AI
• Na máquina local:
  • Instalar, inicializar e autenticar com a Google Cloud CLI
  • Instalar o SDK para seu idioma

Configure um projeto do Google Cloud

Configure seu projeto do Google Cloud e ative a API Vertex AI.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Vertex AI API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Vertex AI API.

   Enable the API

Configure a Google Cloud CLI

Na máquina local, configure e faça a autenticação com a Google Cloud CLI. Se você conhece a API Gemini no Google AI Studio, saiba que a API Gemini do Vertex AI usa o Identity and Access Management em vez de chaves de API para gerenciar o acesso.

1. Instale e inicialize a Google Cloud CLI.

2. Se você já instalou a CLI gcloud, execute este comando para garantir que os componentes gcloud sejam atualizados.

   gcloud components update

3. Para fazer a autenticação com a CLI gcloud, gere um arquivo local do Application Default Credentials (ADC, na sigla em inglês) executando este comando. O fluxo da Web iniciado pelo comando é usado para fornecer suas credenciais de usuário.

   gcloud auth application-default login

   Para mais informações, consulte Configurar o Application Default Credentials.

Observação: para evitar o fornecimento do ID e da região do projeto à Google Cloud CLI, use o comando gcloud config set para definir um projeto e uma região padrão.

Configurar o SDK para sua linguagem de programação

Na máquina local, clique em uma das guias a seguir para instalar o SDK para sua linguagem de programação.

Python

Instale e atualize o SDK da Vertex AI para Python executando este comando.

pip3 install --upgrade "google-cloud-aiplatform>=1.64"

Node.js

Instale ou atualize o SDK aiplatform para Node.js executando este comando.

npm install @google-cloud/vertexai

Java

Para adicionar google-cloud-vertexai como uma dependência, adicione o código apropriado para seu ambiente.

Maven com BoM

Adicione o seguinte HTML ao pom.xml:

<dependencyManagement>
<dependencies>
  <dependency>
    <artifactId>libraries-bom</artifactId>
    <groupId>com.google.cloud</groupId>
    <scope>import</scope>
    <type>pom</type>
    <version>26.34.0</version>
  </dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
  <groupId>com.google.cloud</groupId>
  <artifactId>google-cloud-vertexai</artifactId>
</dependency>
</dependencies>

Maven sem BOM

Adicione o seguinte ao pom.xml:

<dependency>
  <groupId>com.google.cloud</groupId>
  <artifactId>google-cloud-vertexai</artifactId>
  <version>0.4.0</version>
</dependency>

Gradle sem BoM

Adicione o seguinte ao seu build.gradle:

implementation 'com.google.cloud:google-cloud-vertexai:0.4.0'

Go

Analise os pacotes disponíveis da API Vertex AI em Go para determinar qual deles atende melhor às necessidades do seu projeto.

• (Recomendado) cloud.google.com/go/vertexai

  vertexai é um pacote criado por humanos que fornece acesso a recursos e capabilities comuns.

  Esse pacote é recomendado como ponto de partida para a maioria dos desenvolvedores que criam usando a API Vertex AI. Para acessar recursos e capabilities ainda não cobertos por esse pacote, use o pacote aiplatform gerado automaticamente.

  Para instalar esse pacote, execute este comando.

  go get cloud.google.com/go/vertexai

• cloud.google.com/go/aiplatform

  aiplatform é um pacote gerado automaticamente.

  Esse pacote é destinado a projetos que exigem acesso a recursos e capabilities da API Vertex AI ainda não fornecidos pelo pacote vertexai criado por humanos.

  Para instalar esse pacote, execute este comando.

  go get cloud.google.com/go/aiplatform

C#

Instale o pacote Google.Cloud.AIPlatform.V1 pelo NuGet. Use seu método preferido para adicionar pacotes ao projeto. Por exemplo, clique com o botão direito do mouse no projeto no Visual Studio e escolha Gerenciar pacotes NuGet....

REST

1. Insira o comando abaixo para configurar as variáveis de ambiente. Substitua PROJECT_ID pelo ID do projeto do Google Cloud.

   MODEL_ID="gemini-1.5-flash-002"
   PROJECT_ID="PROJECT_ID"

2. Use a Google Cloud CLI para provisionar o endpoint executando este comando.

   gcloud beta services identity create --service=aiplatform.googleapis.com --project=${PROJECT_ID}

Enviar uma solicitação para a API Vertex AI Gemini

Use o código abaixo para enviar uma solicitação à API Vertex AI Gemini. Este exemplo retorna uma lista de possíveis nomes para uma floricultura especializada.

É possível executar o código na linha de comando, usando um ambiente de desenvolvimento integrado ou incluindo o código no aplicativo.

Python

Para enviar uma solicitação de prompt, crie um arquivo Python (.py) e copie o código a seguir no arquivo. Defina o valor de PROJECT_ID como o ID do seu projeto do Google Cloud. Depois de atualizar os valores, execute o código.

import vertexai
from vertexai.generative_models import GenerativeModel

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"
vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-1.5-flash-002")

response = model.generate_content(
    "What's a good name for a flower shop that specializes in selling bouquets of dried flowers?"
)

print(response.text)
# Example response:
# **Emphasizing the Dried Aspect:**
# * Everlasting Blooms
# * Dried & Delightful
# * The Petal Preserve
# ...

Node.js

Para enviar uma solicitação de prompt, crie um arquivo Node.js (.js) e copie o código a seguir no arquivo. Substitua PROJECT_ID pelo ID do seu projeto do Google Cloud. Depois de atualizar os valores, execute o código.

const {VertexAI} = require('@google-cloud/vertexai');

/**
 * TODO(developer): Update these variables before running the sample.
 */
async function generate_from_text_input(projectId = 'PROJECT_ID') {
  const vertexAI = new VertexAI({project: projectId, location: 'us-central1'});

  const generativeModel = vertexAI.getGenerativeModel({
    model: 'gemini-1.5-flash-001',
  });

  const prompt =
    "What's a good name for a flower shop that specializes in selling bouquets of dried flowers?";

  const resp = await generativeModel.generateContent(prompt);
  const contentResponse = await resp.response;
  console.log(JSON.stringify(contentResponse));
}

Java

Para enviar uma solicitação de prompt, crie um arquivo Java (.java) e copie o código a seguir no arquivo. Defina your-google-cloud-project-id como o ID do projeto do Google Cloud. Depois de atualizar os valores, execute o código.

import com.google.cloud.vertexai.VertexAI;
import com.google.cloud.vertexai.api.GenerateContentResponse;
import com.google.cloud.vertexai.generativeai.GenerativeModel;
import com.google.cloud.vertexai.generativeai.ResponseHandler;
import java.io.IOException;

public class TextInput {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-google-cloud-project-id";
    String location = "us-central1";
    String modelName = "gemini-1.5-flash-001";
    String textPrompt =
        "What's a good name for a flower shop that specializes in selling bouquets of"
            + " dried flowers?";

    String output = textInput(projectId, location, modelName, textPrompt);
    System.out.println(output);
  }

  // Passes the provided text input to the Gemini model and returns the text-only response.
  // For the specified textPrompt, the model returns a list of possible store names.
  public static String textInput(
      String projectId, String location, String modelName, String textPrompt) throws IOException {
    // Initialize client that will be used to send requests. This client only needs
    // to be created once, and can be reused for multiple requests.
    try (VertexAI vertexAI = new VertexAI(projectId, location)) {
      GenerativeModel model = new GenerativeModel(modelName, vertexAI);

      GenerateContentResponse response = model.generateContent(textPrompt);
      String output = ResponseHandler.getText(response);
      return output;
    }
  }
}

Go

Para enviar uma solicitação de prompt, crie um arquivo Go (.go) e copie o código a seguir no arquivo. Substitua projectID pelo ID do projeto do Google Cloud. Depois de atualizar os valores, execute o código.

import (
	"context"
	"encoding/json"
	"fmt"
	"io"

	"cloud.google.com/go/vertexai/genai"
)

func generateContentFromText(w io.Writer, projectID string) error {
	location := "us-central1"
	modelName := "gemini-1.5-flash-001"

	ctx := context.Background()
	client, err := genai.NewClient(ctx, projectID, location)
	if err != nil {
		return fmt.Errorf("error creating client: %w", err)
	}
	gemini := client.GenerativeModel(modelName)
	prompt := genai.Text(
		"What's a good name for a flower shop that specializes in selling bouquets of dried flowers?")

	resp, err := gemini.GenerateContent(ctx, prompt)
	if err != nil {
		return fmt.Errorf("error generating content: %w", err)
	}
	// See the JSON response in
	// https://pkg.go.dev/cloud.google.com/go/vertexai/genai#GenerateContentResponse.
	rb, err := json.MarshalIndent(resp, "", "  ")
	if err != nil {
		return fmt.Errorf("json.MarshalIndent: %w", err)
	}
	fmt.Fprintln(w, string(rb))
	return nil
}

C#

Para enviar uma solicitação de prompt, crie um arquivo C# (.cs) e copie o código a seguir no arquivo. Defina your-project-id como o ID do projeto do Google Cloud. Depois de atualizar os valores, execute o código.

using Google.Cloud.AIPlatform.V1;
using System;
using System.Threading.Tasks;

public class TextInputSample
{
    public async Task<string> TextInput(
        string projectId = "your-project-id",
        string location = "us-central1",
        string publisher = "google",
        string model = "gemini-1.5-flash-001")
    {

        var predictionServiceClient = new PredictionServiceClientBuilder
        {
            Endpoint = $"{location}-aiplatform.googleapis.com"
        }.Build();
        string prompt = @"What's a good name for a flower shop that specializes in selling bouquets of dried flowers?";

        var generateContentRequest = new GenerateContentRequest
        {
            Model = $"projects/{projectId}/locations/{location}/publishers/{publisher}/models/{model}",
            Contents =
            {
                new Content
                {
                    Role = "USER",
                    Parts =
                    {
                        new Part { Text = prompt }
                    }
                }
            }
        };

        GenerateContentResponse response = await predictionServiceClient.GenerateContentAsync(generateContentRequest);

        string responseText = response.Candidates[0].Content.Parts[0].Text;
        Console.WriteLine(responseText);

        return responseText;
    }
}

REST

Para enviar essa solicitação de solicitação, execute o comando curl na linha de comando ou inclua a chamada REST no seu aplicativo.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:generateContent -d \
$'{
  "contents": {
    "role": "user",
    "parts": [
      {
        "text": "What\'s a good name for a flower shop that specializes in selling bouquets of dried flowers?"
      }
    ]
  }
}'

O modelo retorna uma resposta. A resposta é gerada em seções, e cada uma delas é avaliada separadamente quanto à segurança.

Enviar uma instrução e uma imagem para a API Vertex AI Gemini

Use o código abaixo para enviar um comando que inclua texto e uma imagem para a API Vertex AI Gemini. Esse exemplo retorna uma descrição da imagem fornecida (imagem para amostra Java).

Python

Para enviar uma solicitação de prompt, crie um arquivo Python (.py) e copie o código a seguir no arquivo. Defina o valor de PROJECT_ID como o ID do seu projeto do Google Cloud. Depois de atualizar os valores, execute o código.

import vertexai

from vertexai.generative_models import GenerativeModel, Part

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"
vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-1.5-flash-002")

response = model.generate_content(
    [
        Part.from_uri(
            "gs://cloud-samples-data/generative-ai/image/scones.jpg",
            mime_type="image/jpeg",
        ),
        "What is shown in this image?",
    ]
)

print(response.text)
# That's a lovely overhead shot of a rustic-style breakfast or brunch spread.
# Here's what's in the image:
# * **Blueberry scones:** Several freshly baked blueberry scones are arranged on parchment paper.
# They look crumbly and delicious.
# ...

Node.js

Para enviar uma solicitação de prompt, crie um arquivo Node.js (.js) e copie o código a seguir no arquivo. Substitua PROJECT_ID pelo ID do seu projeto do Google Cloud. Depois de atualizar os valores, execute o código.

const {VertexAI} = require('@google-cloud/vertexai');

/**
 * TODO(developer): Update these variables before running the sample.
 */
async function createNonStreamingMultipartContent(
  projectId = 'PROJECT_ID',
  location = 'us-central1',
  model = 'gemini-1.5-flash-001',
  image = 'gs://generativeai-downloads/images/scones.jpg',
  mimeType = 'image/jpeg'
) {
  // Initialize Vertex with your Cloud project and location
  const vertexAI = new VertexAI({project: projectId, location: location});

  // Instantiate the model
  const generativeVisionModel = vertexAI.getGenerativeModel({
    model: model,
  });

  // For images, the SDK supports both Google Cloud Storage URI and base64 strings
  const filePart = {
    fileData: {
      fileUri: image,
      mimeType: mimeType,
    },
  };

  const textPart = {
    text: 'what is shown in this image?',
  };

  const request = {
    contents: [{role: 'user', parts: [filePart, textPart]}],
  };

  console.log('Prompt Text:');
  console.log(request.contents[0].parts[1].text);

  console.log('Non-Streaming Response Text:');

  // Generate a response
  const response = await generativeVisionModel.generateContent(request);

  // Select the text from the response
  const fullTextResponse =
    response.response.candidates[0].content.parts[0].text;

  console.log(fullTextResponse);
}

Java

Para enviar uma solicitação de prompt, crie um arquivo Java (.java) e copie o código a seguir no arquivo. Defina your-google-cloud-project-id como o ID do projeto do Google Cloud. Depois de atualizar os valores, execute o código.

import com.google.cloud.vertexai.VertexAI;
import com.google.cloud.vertexai.api.GenerateContentResponse;
import com.google.cloud.vertexai.generativeai.ContentMaker;
import com.google.cloud.vertexai.generativeai.GenerativeModel;
import com.google.cloud.vertexai.generativeai.PartMaker;
import java.io.IOException;

public class Quickstart {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-google-cloud-project-id";
    String location = "us-central1";
    String modelName = "gemini-1.5-flash-001";

    String output = quickstart(projectId, location, modelName);
    System.out.println(output);
  }

  // Analyzes the provided Multimodal input.
  public static String quickstart(String projectId, String location, String modelName)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs
    // to be created once, and can be reused for multiple requests.
    try (VertexAI vertexAI = new VertexAI(projectId, location)) {
      String imageUri = "gs://generativeai-downloads/images/scones.jpg";

      GenerativeModel model = new GenerativeModel(modelName, vertexAI);
      GenerateContentResponse response = model.generateContent(ContentMaker.fromMultiModalData(
          PartMaker.fromMimeTypeAndData("image/png", imageUri),
          "What's in this photo"
      ));

      return response.toString();
    }
  }
}

Go

Para enviar uma solicitação de prompt, crie um arquivo Go (.go) e copie o código a seguir no arquivo. Substitua projectID pelo ID do projeto do Google Cloud. Depois de atualizar os valores, execute o código.

import (
	"context"
	"encoding/json"
	"fmt"
	"io"

	"cloud.google.com/go/vertexai/genai"
)

func tryGemini(w io.Writer, projectID string, location string, modelName string) error {
	// location := "us-central1"
	// modelName := "gemini-1.5-flash-001"

	ctx := context.Background()
	client, err := genai.NewClient(ctx, projectID, location)
	if err != nil {
		return fmt.Errorf("error creating client: %w", err)
	}
	gemini := client.GenerativeModel(modelName)

	img := genai.FileData{
		MIMEType: "image/jpeg",
		FileURI:  "gs://generativeai-downloads/images/scones.jpg",
	}
	prompt := genai.Text("What is in this image?")

	resp, err := gemini.GenerateContent(ctx, img, prompt)
	if err != nil {
		return fmt.Errorf("error generating content: %w", err)
	}
	rb, err := json.MarshalIndent(resp, "", "  ")
	if err != nil {
		return fmt.Errorf("json.MarshalIndent: %w", err)
	}
	fmt.Fprintln(w, string(rb))
	return nil
}

C#

Para enviar uma solicitação de prompt, crie um arquivo C# (.cs) e copie o código a seguir no arquivo. Defina your-project-id como o ID do projeto do Google Cloud. Depois de atualizar os valores, execute o código.

using Google.Api.Gax.Grpc;
using Google.Cloud.AIPlatform.V1;
using System.Text;
using System.Threading.Tasks;

public class GeminiQuickstart
{
    public async Task<string> GenerateContent(
        string projectId = "your-project-id",
        string location = "us-central1",
        string publisher = "google",
        string model = "gemini-1.5-flash-001"
    )
    {
        // Create client
        var predictionServiceClient = new PredictionServiceClientBuilder
        {
            Endpoint = $"{location}-aiplatform.googleapis.com"
        }.Build();

        // Initialize content request
        var generateContentRequest = new GenerateContentRequest
        {
            Model = $"projects/{projectId}/locations/{location}/publishers/{publisher}/models/{model}",
            GenerationConfig = new GenerationConfig
            {
                Temperature = 0.4f,
                TopP = 1,
                TopK = 32,
                MaxOutputTokens = 2048
            },
            Contents =
            {
                new Content
                {
                    Role = "USER",
                    Parts =
                    {
                        new Part { Text = "What's in this photo?" },
                        new Part { FileData = new() { MimeType = "image/png", FileUri = "gs://generativeai-downloads/images/scones.jpg" } }
                    }
                }
            }
        };

        // Make the request, returning a streaming response
        using PredictionServiceClient.StreamGenerateContentStream response = predictionServiceClient.StreamGenerateContent(generateContentRequest);

        StringBuilder fullText = new();

        // Read streaming responses from server until complete
        AsyncResponseStream<GenerateContentResponse> responseStream = response.GetResponseStream();
        await foreach (GenerateContentResponse responseItem in responseStream)
        {
            fullText.Append(responseItem.Candidates[0].Content.Parts[0].Text);
        }

        return fullText.ToString();
    }
}

REST

É possível enviar essa solicitação de comando do seu ambiente de desenvolvimento integrado ou incorporar a chamada REST ao aplicativo quando apropriado.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:generateContent -d \
$'{
  "contents": {
    "role": "user",
    "parts": [
      {
      "fileData": {
        "mimeType": "image/jpeg",
        "fileUri": "gs://generativeai-downloads/images/scones.jpg"
        }
      },
      {
        "text": "Describe this picture."
      }
    ]
  }
}'

O modelo retorna uma resposta. A resposta é gerada em seções, e cada uma delas é avaliada separadamente quanto à segurança.

Enviar um comando e um vídeo para a API Vertex AI Gemini

Use o código abaixo para enviar uma solicitação que inclua texto, áudio e vídeo para a API Vertex AI Gemini. Esse exemplo retorna uma descrição do vídeo fornecido, incluindo tudo o que for importante na faixa de áudio.

É possível enviar essa solicitação de comando usando a linha de comando, o ambiente de desenvolvimento integrado ou incluindo a chamada REST no aplicativo.

Python

Para enviar uma solicitação de prompt, crie um arquivo Python (.py) e copie o código a seguir no arquivo. Defina o valor de PROJECT_ID como o ID do seu projeto do Google Cloud. Depois de atualizar os valores, execute o código.

import vertexai
from vertexai.generative_models import GenerativeModel, Part

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-1.5-flash-002")

prompt = """
Provide a description of the video.
The description should also contain anything important which people say in the video.
"""

video_file = Part.from_uri(
    uri="gs://cloud-samples-data/generative-ai/video/pixel8.mp4",
    mime_type="video/mp4",
)

contents = [video_file, prompt]

response = model.generate_content(contents)
print(response.text)
# Example response:
# Here is a description of the video.
# ... Then, the scene changes to a woman named Saeko Shimada..
# She says, "Tokyo has many faces. The city at night is totally different
# from what you see during the day."
# ...

Node.js

Para enviar uma solicitação de prompt, crie um arquivo Node.js (.js) e copie o código a seguir no arquivo. Substitua PROJECT_ID pelo ID do seu projeto do Google Cloud. Depois de atualizar os valores, execute o código.

const {VertexAI} = require('@google-cloud/vertexai');

/**
 * TODO(developer): Update these variables before running the sample.
 */
async function analyze_video_with_audio(projectId = 'PROJECT_ID') {
  const vertexAI = new VertexAI({project: projectId, location: 'us-central1'});

  const generativeModel = vertexAI.getGenerativeModel({
    model: 'gemini-1.5-flash-001',
  });

  const filePart = {
    file_data: {
      file_uri: 'gs://cloud-samples-data/generative-ai/video/pixel8.mp4',
      mime_type: 'video/mp4',
    },
  };
  const textPart = {
    text: `
    Provide a description of the video.
    The description should also contain anything important which people say in the video.`,
  };

  const request = {
    contents: [{role: 'user', parts: [filePart, textPart]}],
  };

  const resp = await generativeModel.generateContent(request);
  const contentResponse = await resp.response;
  console.log(JSON.stringify(contentResponse));
}

Java

Para enviar uma solicitação de prompt, crie um arquivo Java (.java) e copie o código a seguir no arquivo. Defina your-google-cloud-project-id como o ID do projeto do Google Cloud. Depois de atualizar os valores, execute o código.

import com.google.cloud.vertexai.VertexAI;
import com.google.cloud.vertexai.api.GenerateContentResponse;
import com.google.cloud.vertexai.generativeai.ContentMaker;
import com.google.cloud.vertexai.generativeai.GenerativeModel;
import com.google.cloud.vertexai.generativeai.PartMaker;
import com.google.cloud.vertexai.generativeai.ResponseHandler;
import java.io.IOException;

public class VideoInputWithAudio {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-google-cloud-project-id";
    String location = "us-central1";
    String modelName = "gemini-1.5-flash-001";

    videoAudioInput(projectId, location, modelName);
  }

  // Analyzes the given video input, including its audio track.
  public static String videoAudioInput(String projectId, String location, String modelName)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs
    // to be created once, and can be reused for multiple requests.
    try (VertexAI vertexAI = new VertexAI(projectId, location)) {
      String videoUri = "gs://cloud-samples-data/generative-ai/video/pixel8.mp4";

      GenerativeModel model = new GenerativeModel(modelName, vertexAI);
      GenerateContentResponse response = model.generateContent(
          ContentMaker.fromMultiModalData(
              "Provide a description of the video.\n The description should also "
                  + "contain anything important which people say in the video.",
              PartMaker.fromMimeTypeAndData("video/mp4", videoUri)
          ));

      String output = ResponseHandler.getText(response);
      System.out.println(output);

      return output;
    }
  }
}

Go

Para enviar uma solicitação de prompt, crie um arquivo Go (.go) e copie o código a seguir no arquivo. Substitua projectID pelo ID do projeto do Google Cloud. Depois de atualizar os valores, execute o código.

import (
	"context"
	"errors"
	"fmt"
	"io"
	"mime"
	"path/filepath"

	"cloud.google.com/go/vertexai/genai"
)

// generateMultimodalContent shows how to send video and text prompts to a model, writing the response to
// the provided io.Writer.
func generateMultimodalContent(w io.Writer, projectID, location, modelName string) error {
	// location := "us-central1"
	// modelName := "gemini-1.5-flash-001"
	ctx := context.Background()

	client, err := genai.NewClient(ctx, projectID, location)
	if err != nil {
		return fmt.Errorf("unable to create client: %w", err)
	}
	defer client.Close()

	model := client.GenerativeModel(modelName)

	// Given a video file URL, prepare video file as genai.Part
	part := genai.FileData{
		MIMEType: mime.TypeByExtension(filepath.Ext("pixel8.mp4")),
		FileURI:  "gs://cloud-samples-data/generative-ai/video/pixel8.mp4",
	}

	res, err := model.GenerateContent(ctx, part, genai.Text(`
			Provide a description of the video.
			The description should also contain anything important which people say in the video.
	`))
	if err != nil {
		return fmt.Errorf("unable to generate contents: %w", err)
	}

	if len(res.Candidates) == 0 ||
		len(res.Candidates[0].Content.Parts) == 0 {
		return errors.New("empty response from model")
	}

	fmt.Fprintf(w, "generated response: %s\n", res.Candidates[0].Content.Parts[0])
	return nil
}

C#

Para enviar uma solicitação de prompt, crie um arquivo C# (.cs) e copie o código a seguir no arquivo. Defina your-project-id como o ID do projeto do Google Cloud. Depois de atualizar os valores, execute o código.

using Google.Cloud.AIPlatform.V1;
using System;
using System.Threading.Tasks;

public class VideoInputWithAudio
{
    public async Task<string> DescribeVideo(
        string projectId = "your-project-id",
        string location = "us-central1",
        string publisher = "google",
        string model = "gemini-1.5-flash-001")
    {

        var predictionServiceClient = new PredictionServiceClientBuilder
        {
            Endpoint = $"{location}-aiplatform.googleapis.com"
        }.Build();

        string prompt = @"Provide a description of the video.
The description should also contain anything important which people say in the video.";

        var generateContentRequest = new GenerateContentRequest
        {
            Model = $"projects/{projectId}/locations/{location}/publishers/{publisher}/models/{model}",
            Contents =
            {
                new Content
                {
                    Role = "USER",
                    Parts =
                    {
                        new Part { Text = prompt },
                        new Part { FileData = new() { MimeType = "video/mp4", FileUri = "gs://cloud-samples-data/generative-ai/video/pixel8.mp4" }}
                    }
                }
            }
        };

        GenerateContentResponse response = await predictionServiceClient.GenerateContentAsync(generateContentRequest);

        string responseText = response.Candidates[0].Content.Parts[0].Text;
        Console.WriteLine(responseText);

        return responseText;
    }
}

REST

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:generateContent -d \
$'{
  "contents": {
    "role": "user",
    "parts": [
      {
      "fileData": {
        "mimeType": "video/mp4",
        "fileUri": "gs://cloud-samples-data/generative-ai/video/pixel8.mp4"
        }
      },
      {
        "text": "Provide a description of the video. The description should also contain anything important which people say in the video."
      }
    ]
  }
}'

O modelo retorna uma resposta. A resposta é gerada em seções, e cada uma delas é avaliada separadamente quanto à segurança.

A seguir

• Saiba mais sobre a API Gemini na Vertex AI.
• Confira a referência do SDK da API Vertex AI Gemini para Python, Node.js, Java, Go ou C#.
• Consulte a API Model para Gemini na Vertex AI.
• Saiba como chamar modelos da Vertex AI usando a biblioteca da OpenAI.