Vertex AI Gemini API testen

Auf dieser Seite erfahren Sie, wie Sie mithilfe der Google Cloud Console, eines SDK für Programmiersprachen oder der REST API schnell Anfragen an die Vertex AI Gemini API senden.

Neu bei Google Cloud?

In Google Cloud einrichten

Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Die Einrichtung umfasst nur drei kurze Schritte:

Screenshots registrieren

Verwenden Sie die folgende Schaltfläche, um ein Konto zu erstellen. Kehren Sie anschließend zu dieser Seite zurück, um diese Einsteigeranleitung abzuschließen. Melden Sie sich mit Ihrem Konto an, um alle auf dieser Website verfügbaren Funktionen zu nutzen.

Konto erstellen

Weitere Informationen zur Einrichtung in Google Cloud finden Sie unter In Google Cloud einrichten.

Anfrage an die Vertex AI Gemini API senden

Wählen Sie einen der folgenden Tabs aus, um die Anleitung zum Senden einer Anfrage an die Vertex AI Gemini API aufzurufen:

Python

Wählen Sie ein Google Cloud-Projekt aus:
1. Öffnen Sie in der Google Cloud Console die Seite Dashboard.
  
  Zur Seite "Dashboard"
2. Klicken Sie oben auf der Seite auf die Liste der Projektauswahl. Wählen Sie im angezeigten Fenster Ressource auswählen ein Projekt aus.
3. Notieren Sie sich die im Abschnitt Projektinformationen angezeigte Projekt-ID. Sie benötigen die Projekt-ID für die nachfolgenden Schritte.
Aktivieren Sie Cloud Shell in der Google Cloud Console.

Cloud Shell aktivieren

Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.
Installieren oder aktualisieren Sie in Cloud Shell das Vertex AI SDK für Python. Führen Sie dazu den folgenden Befehl aus:
```
pip3 install "google-cloud-aiplatform>=1.38"
```

Senden Sie eine Prompt-Anfrage. Ersetzen Sie PROJECT_ID durch die ID Ihres Google Cloud-Projekts.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login

import vertexai
from vertexai.generative_models import GenerativeModel, Part

# Initialize Vertex AI
vertexai.init(project=project_id, location=location)
# Load the model
multimodal_model = GenerativeModel(model_name="gemini-1.0-pro-vision-001")
# Query the model
response = multimodal_model.generate_content(
    [
        # Add an example image
        Part.from_uri(
            "gs://generativeai-downloads/images/scones.jpg", mime_type="image/jpeg"
        ),
        # Add an example query
        "what is shown in this image?",
    ]
)
print(response)
return response.text

Weitere Informationen zum Installieren, Aktualisieren und Verwenden des Vertex AI SDK für Python finden Sie unter Vertex AI SDK für Python installieren und Vertex AI SDK für Python API-Referenzdokumentation installieren

Node.js

Wählen Sie ein Google Cloud-Projekt aus:
1. Öffnen Sie in der Google Cloud Console die Seite Dashboard.
  
  Zur Seite "Dashboard"
2. Klicken Sie oben auf der Seite auf die Liste der Projektauswahl. Wählen Sie im angezeigten Fenster Ressource auswählen ein Projekt aus.
3. Notieren Sie sich die im Abschnitt Projektinformationen angezeigte Projekt-ID. Sie benötigen die Projekt-ID für die nachfolgenden Schritte.
Aktivieren Sie Cloud Shell in der Google Cloud Console.

Cloud Shell aktivieren

Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.
Installieren oder aktualisieren Sie in Cloud Shell das Vertex AI SDK für Node.js, indem Sie den folgenden Befehl ausführen:
```
npm install @google-cloud/vertexai
```

Senden Sie eine Prompt-Anfrage. Ersetzen Sie PROJECT_ID durch die ID Ihres Google Cloud-Projekts.

const {VertexAI} = require('@google-cloud/vertexai');

/**
 * TODO(developer): Update these variables before running the sample.
 */
async function createNonStreamingMultipartContent(
  projectId = 'PROJECT_ID',
  location = 'us-central1',
  model = 'gemini-1.0-pro-vision',
  image = 'gs://generativeai-downloads/images/scones.jpg',
  mimeType = 'image/jpeg'
) {
  // Initialize Vertex with your Cloud project and location
  const vertexAI = new VertexAI({project: projectId, location: location});

  // Instantiate the model
  const generativeVisionModel = vertexAI.getGenerativeModel({
    model: model,
  });

  // For images, the SDK supports both Google Cloud Storage URI and base64 strings
  const filePart = {
    fileData: {
      fileUri: image,
      mimeType: mimeType,
    },
  };

  const textPart = {
    text: 'what is shown in this image?',
  };

  const request = {
    contents: [{role: 'user', parts: [filePart, textPart]}],
  };

  console.log('Prompt Text:');
  console.log(request.contents[0].parts[1].text);

  console.log('Non-Streaming Response Text:');
  // Create the response stream
  const responseStream =
    await generativeVisionModel.generateContentStream(request);

  // Wait for the response stream to complete
  const aggregatedResponse = await responseStream.response;

  // Select the text from the response
  const fullTextResponse =
    aggregatedResponse.candidates[0].content.parts[0].text;

  console.log(fullTextResponse);
}

Weitere Informationen zur Installation und Verwendung des Vertex AI Node.js SDK finden Sie in der Referenzdokumentation zum Vertex AI SDK für Node.js.

Java

So wählen Sie ein Google Cloud-Projekt aus:
1. Öffnen Sie in der Google Cloud Console die Seite Dashboard.
  
  Seite "Dashboard" öffnen
2. Klicken Sie oben auf der Seite auf die Liste der Projektauswahl. Wählen Sie im angezeigten Fenster Ressource auswählen ein Projekt aus.
3. Notieren Sie sich die im Abschnitt Projektinformationen angezeigte Projekt-ID. Sie benötigen die Projekt-ID für die nachfolgenden Schritte.
Java-Entwicklungsumgebung einrichten
Authentifizieren Sie sich über den folgenden Befehl: Ersetzen Sie PROJECT_ID durch Ihre Google Cloud-Projekt-ID und ACCOUNT durch Ihren Google Cloud-Nutzernamen.
```
gcloud config set project PROJECT_ID &&
gcloud auth login ACCOUNT
```

Fügen Sie google-cloud-vertexai als Abhängigkeit hinzu:

<!--If you are using Maven with BOM, add the following in your pom.xml-->
<dependencyManagement>
  <dependencies>
    <dependency>
      <groupId>com.google.cloud</groupId>
      <artifactId>libraries-bom</artifactId>
      <version>26.32.0</version>
      <type>pom</type>
      <scope>import</scope>
    </dependency>
  </dependencies>
</dependencyManagement>
<dependencies>
  <dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-vertexai</artifactId>
  </dependency>
</dependencies>

<!--If you are using Maven without BOM, add the following to your pom.xml-->
<dependency>
  <groupId>com.google.cloud</groupId>
  <artifactId>google-cloud-vertexai</artifactId>
  <version>0.4.0</version>
</dependency>

<!--If you are using Gradle without BOM, add the following to your build.gradle-->
implementation 'com.google.cloud:google-cloud-vertexai:0.4.0'

Senden Sie eine Prompt-Anfrage. Legen Sie projectID auf Ihre Google Cloud-Projekt-ID fest.

import com.google.cloud.vertexai.VertexAI;
import com.google.cloud.vertexai.api.GenerateContentResponse;
import com.google.cloud.vertexai.generativeai.ContentMaker;
import com.google.cloud.vertexai.generativeai.GenerativeModel;
import com.google.cloud.vertexai.generativeai.PartMaker;
import java.io.IOException;

public class Quickstart {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-google-cloud-project-id";
    String location = "us-central1";
    String modelName = "gemini-1.0-pro-vision";

    String output = quickstart(projectId, location, modelName);
    System.out.println(output);
  }

  // Analyzes the provided Multimodal input.
  public static String quickstart(String projectId, String location, String modelName)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs
    // to be created once, and can be reused for multiple requests.
    try (VertexAI vertexAI = new VertexAI(projectId, location)) {
      String imageUri = "gs://cloud-samples-data/vertex-ai/llm/prompts/landmark1.png";

      GenerativeModel model = new GenerativeModel(modelName, vertexAI);
      GenerateContentResponse response = model.generateContent(ContentMaker.fromMultiModalData(
          PartMaker.fromMimeTypeAndData("image/png", imageUri),
          "What's in this photo"
      ));

      return response.toString();
    }
  }
}

Weitere Informationen zur Installation und Verwendung des Vertex AI Java Development Kits (JDK) finden Sie in der Vertex AI JDK-Referenzdokumentation.

Go

Wählen Sie ein Google Cloud-Projekt aus:
1. Öffnen Sie in der Google Cloud Console die Seite Dashboard.
  
  Zur Seite "Dashboard"
2. Klicken Sie oben auf der Seite auf die Liste der Projektauswahl. Wählen Sie im angezeigten Fenster Ressource auswählen ein Projekt aus.
3. Notieren Sie sich die im Abschnitt Projektinformationen angezeigte Projekt-ID. Sie benötigen die Projekt-ID für die nachfolgenden Schritte.
Bereiten Sie Ihre Umgebung für die Go-Entwicklung vor.
Prüfen Sie die verfügbaren Go-Pakete für die Vertex AI API, um festzustellen, welches Paket die Anforderungen Ihres Projekts am besten erfüllt:
- Paket cloud.google.com/go/vertexai (cloud.google.com/go/vertexai)
  
  vertexai ist ein von Menschen erstelltes Paket, das Zugriff auf gängige Funktionen und Features bietet.
  
  Dieses Paket wird als Ausgangspunkt für die meisten Entwickler empfohlen, die mit der Vertex AI API erstellen. Verwenden Sie stattdessen das automatisch generierte aiplatform, um auf Funktionen und zuzugreifen, die noch nicht von diesem Paket abgedeckt sind.
- Paket cloud.google.com/go/aiplatform
  
  aiplatform ist ein automatisch generiertes Paket.
  
  Dieses Paket ist für Projekte gedacht, die Zugriff auf die Funktionen und Features der Vertex AI API benötigen, die noch nicht vom menschlichen vertexai-Paket bereitgestellt werden.

Führen Sie einen der folgenden Befehle aus, um das gewünschte Go-Paket entsprechend den Anforderungen Ihres Projekts zu installieren:

# Human authored package. Recommended for most developers.
go get cloud.google.com/go/vertexai


# Auto-generated package.
go get cloud.google.com/go/aiplatform

Senden Sie eine Prompt-Anfrage. Ersetzen Sie PROJECT_ID durch die ID Ihres Google Cloud-Projekts.

import (
	"context"
	"encoding/json"
	"fmt"
	"io"

	"cloud.google.com/go/vertexai/genai"
)

func tryGemini(w io.Writer, projectID string, location string, modelName string) error {
	// location := "us-central1"
	// modelName := "gemini-1.0-pro-vision-001"

	ctx := context.Background()
	client, err := genai.NewClient(ctx, projectID, location)
	if err != nil {
		return fmt.Errorf("error creating client: %w", err)
	}
	gemini := client.GenerativeModel(modelName)

	img := genai.FileData{
		MIMEType: "image/jpeg",
		FileURI:  "gs://generativeai-downloads/images/scones.jpg",
	}
	prompt := genai.Text("What is in this image?")

	resp, err := gemini.GenerateContent(ctx, img, prompt)
	if err != nil {
		return fmt.Errorf("error generating content: %w", err)
	}
	rb, err := json.MarshalIndent(resp, "", "  ")
	if err != nil {
		return fmt.Errorf("json.MarshalIndent: %w", err)
	}
	fmt.Fprintln(w, string(rb))
	return nil
}

Weitere Informationen zur Installation und Verwendung des Vertex AI SDK für Go finden Sie in der Referenzdokumentation zum Vertex AI SDK für Go.

C#

Bevor Sie dieses Beispiel anwenden, folgen Sie den C#-Einrichtungsschritten in der Vertex AI-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI C# API.

Richten Sie zur Authentifizierung bei Vertex AI Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.


using Google.Api.Gax.Grpc;
using Google.Cloud.AIPlatform.V1;
using System.Collections.Generic;
using System.Text;
using System.Threading.Tasks;

public class GeminiQuickstart
{
    public async Task<string> GenerateContent(
        string projectId = "your-project-id",
        string location = "us-central1",
        string publisher = "google",
        string model = "gemini-1.0-pro-vision"
    )
    {
        // Create client
        var predictionServiceClient = new PredictionServiceClientBuilder
        {
            Endpoint = $"{location}-aiplatform.googleapis.com"
        }.Build();

        // Prompt
        string prompt = "What's in this photo";
        string imageUri = "gs://generativeai-downloads/images/scones.jpg";

        // Initialize request argument(s)
        var content = new Content
        {
            Role = "USER"
        };
        content.Parts.AddRange(new List<Part>()
        {
            new() {
                Text = prompt
            },
            new() {
                FileData = new() {
                    MimeType = "image/png",
                    FileUri = imageUri
                }
            }
        });

        var generateContentRequest = new GenerateContentRequest
        {
            Model = $"projects/{projectId}/locations/{location}/publishers/{publisher}/models/{model}",
            GenerationConfig = new GenerationConfig
            {
                Temperature = 0.4f,
                TopP = 1,
                TopK = 32,
                MaxOutputTokens = 2048
            }
        };
        generateContentRequest.Contents.Add(content);

        // Make the request, returning a streaming response
        using PredictionServiceClient.StreamGenerateContentStream response = predictionServiceClient.StreamGenerateContent(generateContentRequest);

        StringBuilder fullText = new();

        // Read streaming responses from server until complete
        AsyncResponseStream<GenerateContentResponse> responseStream = response.GetResponseStream();
        await foreach (GenerateContentResponse responseItem in responseStream)
        {
            fullText.Append(responseItem.Candidates[0].Content.Parts[0].Text);
        }

        return fullText.ToString();
    }
}

REST

So wählen Sie ein Google Cloud-Projekt aus:
1. Öffnen Sie in der Google Cloud Console die Seite Dashboard.
  
  Seite "Dashboard" öffnen
2. Klicken Sie oben auf der Seite auf die Liste der Projektauswahl. Wählen Sie im angezeigten Fenster Ressource auswählen ein Projekt aus.
3. Notieren Sie sich die im Abschnitt Projektinformationen angezeigte Projekt-ID. Sie benötigen die Projekt-ID für die nachfolgenden Schritte.
Aktivieren Sie Cloud Shell in der Google Cloud Console.

Cloud Shell aktivieren
Konfigurieren Sie Umgebungsvariablen. Dazu geben Sie Folgendes ein. Ersetzen Sie PROJECT_ID durch die ID Ihres Google Cloud-Projekts.
```
MODEL_ID="gemini-1.0-pro-vision"
PROJECT_ID="PROJECT_ID"
```

Stellen Sie den Endpunkt bereit:

gcloud beta services identity create --service=aiplatform.googleapis.com --project=PROJECT_ID

Senden Sie eine Prompt-Anforderung mit dem folgenden curl-Befehl:

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:streamGenerateContent -d \
$'{
  "contents": {
    "role": "user",
    "parts": [
      {
      "fileData": {
        "mimeType": "image/jpeg",
        "fileUri": "gs://generativeai-downloads/images/scones.jpg"
        }
      },
      {
        "text": "Describe this picture."
      }
    ]
  }
}'

Wenn Sie zur Autorisierung von Cloud Shell aufgefordert werden, klicken Sie auf Autorisieren.

Das Modell gibt eine Antwort zurück. Beachten Sie, dass die Antwort in Abschnitten generiert wird, wobei jeder Abschnitt separat auf Sicherheit hin bewertet wird.

Console

Verwenden Sie Vertex AI Studio, um Ihre Prompts schnell zu entwerfen und zu iterieren. Wenn Ihre Prompts bereit ist, können Sie den Code für Ihren Prompt in einer der unterstützten Programmiersprachen abrufen.

Wählen Sie ein Google Cloud-Projekt aus:
1. Öffnen Sie in der Google Cloud Console die Seite Dashboard.
  
  Zur Seite "Dashboard"
2. Klicken Sie oben auf der Seite auf die Liste der Projektauswahl. Wählen Sie im angezeigten Fenster Ressource auswählen ein Projekt aus.
Rufen Sie in der Google Cloud Console die Seite „Vertex AI Studio“ auf.

Vertex AI Studio
Klicken Sie auf Multimodal.
Suchen Sie unter Beispiel-Prompts den prompt Text aus Bildern extrahieren und klicken Sie auf Öffnen.

Die Seite "Prompt" wird geöffnet und der Prompt wird in das Feld Prompt eingefügt.
Um den Prompt zu senden, klicken Sie auf Senden.

Das Modell gibt eine Antwort zurück.
Klicken Sie auf Code abrufen, um das Code-Äquivalent dieses Prompts aufzurufen.

Nächste Schritte

Referenz zur Vertex AI Gemini API
Weitere Informationen finden Sie in der Python SDK-Referenz für die Vertex AI Gemini API.
Multimodale Modelle