Claude-Modelle von Anthropic verwenden

Anthropic Claude-Modelle in Vertex AI bieten vollständig verwaltete und serverlose Modelle als APIs. Wenn Sie ein Claude-Modell für Vertex AI verwenden möchten, senden Sie eine Anfrage direkt an den API-Endpunkt von Vertex AI. Da Anthropic Claude-Modelle eine verwaltete API verwenden, muss keine Infrastruktur bereitgestellt oder verwaltet werden.

Sie können Ihre Claude-Antworten streamen, um die vom Endnutzer wahrgenommene Latenz zu reduzieren. Eine gestreamte Antwort verwendet vom Server gesendete Ereignisse (SSE, Server-Sent Events), um die Antwort schrittweise zu streamen.

Sie zahlen für Claude-Modelle, sobald Sie sie verwenden (Pay-as-you-go), oder Sie zahlen eine feste Gebühr, wenn Sie Durchsatz bereitstellen verwenden. Die Preise für Pay-as-you-go finden Sie auf der Preisseite für Vertex AI unter „Claude-Modelle von Anthropic“.

Verfügbare Anthropic Claude-Modelle

Die folgenden Modelle sind von Anthropic zur Verwendung in Vertex AI verfügbar. Rufen Sie die zugehörige Model Garden-Modellkarte auf, um auf ein Anthropic Claude-Modell zuzugreifen.

Claude 3.5 Sonnet

Claude 3.5 Sonnet ist das leistungsstärkste KI-Modell von Anthropic und bietet die Geschwindigkeit und Kosten von Claude 3 Sonnet, einem Mittelklassemodell. Claude 3.5 Sonnet zeigt, was mit generativer KI möglich ist. Claude 3.5 Sonnet ist für die folgenden Anwendungsfälle optimiert:

Programmieren, z. B. Schreiben, Bearbeiten und Ausführen von Code mit ausgefeilten Argumentations- und Fehlerbehebungsfunktionen.
Komplexe Anfragen vom Kundensupport bearbeiten, indem Sie den Nutzerkontext verstehen und mehrstufige Workflows orchestrieren.
Data Science und Analyse: Sie können unstrukturierte Daten nutzen und mehrere Tools einsetzen, um Erkenntnisse zu gewinnen.
Visuelle Verarbeitung, z. B. die Interpretation von Diagrammen und Grafiken, die visuelles Verständnis erfordern.
Inhalte in einem natürlicheren, menschlicheren Ton verfassen.

Zur Modellkarte „Claude 3.5 Sonnet“

Claude 3 Opus

Anthropic Claude 3 Opus ist das zweitleistungsstärkste KI-Modell von Anthropic und bietet eine starke Leistung bei hochkomplexen Aufgaben. Es ist beeindruckend fließend und hat menschenähnliches Verständnis, um mit offenen Prompts und ungesehenen Szenarien zurechtzukommen. Claude 3 Opus ist für die folgenden Anwendungsfälle optimiert:

Aufgabenautomatisierung, z. B. interaktives Codieren und Planen oder Ausführen komplexer Aktionen über APIs und Datenbanken
Aufgaben aus Forschung und Entwicklung, z. B. Recherche, Brainstorming, Hypothesenentwicklung und Produkttests.
Strategieaufgaben wie die erweiterte Analyse von Diagrammen und Grafiken, Finanzen und Markttrends sowie Prognosen.
Vision-Aufgaben, z. B. die Verarbeitung von Bildern, um eine Textausgabe zurückzugeben. Außerdem können Diagramme, Grafiken, technische Diagramme, Berichte und andere visuelle Inhalte analysiert werden.

Zur Claude 3 Opus-Modellkarte

Claude 3 Haiku

Anthropic Claude 3 Haiku ist das schnellste und kompakte Vision- und Textmodell von Anthropic. Es ermöglicht nahezu sofortige Antworten auf einfache Abfragen und bietet nahtlose KI-Funktionen, die menschliche Interaktionen nachahmen. Claude 3 Haiku ist für die folgenden Anwendungsfälle optimiert:

Live-Kundeninteraktionen und -übersetzungen.
Inhalte moderieren, um verdächtiges Verhalten oder verdächtige Kundenanfragen zu erkennen.
Aufgaben zur Kosteneinsparung, darunter Inventarverwaltung und Wissensextraktion aus unstrukturierten Daten.
Vision-Aufgaben wie das Verarbeiten von Bildern für die Ausgabe von Texten oder die Analyse von Diagrammen, Grafiken, technischen Diagrammen, Berichten und anderen visuellen Inhalten.

Zur Claude 3 Haiku-Modellkarte

Claude 3 Sonnet

Anthropic Claude 3 Sonnet ist die zuverlässige Kombination aus Kompetenz und Geschwindigkeit von Anthropic. Es wurde für skalierte KI-Bereitstellungen in einer Vielzahl von Anwendungsfällen entwickelt. Claude 3 Sonnet ist für die folgenden Anwendungsfälle optimiert:

Datenverarbeitung, einschließlich Retrieval Augmented Generation (RAG) und Suchabruf.
Vertriebsaufgaben wie Produktempfehlungen, Prognosen und zielgerichtetes Marketing.
Aufgaben zur Zeiteinsparung, darunter Codegenerierung, Qualitätskontrolle und optische Zeichenerkennung (Optical Character Recognition, OCR) in Bildern.
Vision-Aufgaben, z. B. die Verarbeitung von Bildern, um eine Textausgabe zurückzugeben. Außerdem können Diagramme, Grafiken, technische Diagramme, Berichte und andere visuelle Inhalte analysiert werden.

Zur Claude 3 Sonnet-Modellkarte

Claude-Modelle verwenden

Sie können Anthropic SDK- oder curl-Befehle verwenden, um Anfragen mit den folgenden Modellnamen an den Vertex AI-Endpunkt zu senden:

Verwenden Sie claude-3-5-sonnet@20240620 für Claude 3.5 Sonnet.
Verwenden Sie für Claude 3 Opus claude-3-opus@20240229.
Verwenden Sie für Claude 3 Haiku claude-3-haiku@20240307.
Verwenden Sie claude-3-sonnet@20240229 für Claude 3 Sonnet.

Aufgrund der möglichen Unterschiede zwischen den Modellversionen empfehlen wir die Verwendung der Anthropic Claude-Modellversionen, die ein Suffix enthalten, das mit einem @-Symbol beginnt (z. B. claude-3-5-sonnet@20240620 oder claude-3-haiku@20240307). Wenn Sie keine Modellversion angeben, wird immer die aktuelle Version verwendet. Dies kann sich versehentlich auf Ihre Workflows auswirken, wenn sich eine Modellversion ändert.

Vorbereitung

Führen Sie die folgenden Schritte aus, um Anthropic Claude-Modelle mit Vertex AI zu verwenden. Die Vertex AI API (aiplatform.googleapis.com) muss aktiviert sein, um Vertex AI verwenden zu können. Wenn Sie bereits ein Projekt mit aktivierter Vertex AI API haben, können Sie dieses Projekt verwenden, anstatt ein neues Projekt zu erstellen.

Sie müssen die erforderlichen Berechtigungen zum Aktivieren und Verwenden von Partnermodellen haben. Weitere Informationen finden Sie unter Erforderliche Berechtigungen erteilen.

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Enable the API

Rufen Sie eine der folgenden Model Garden-Modellkarten auf und klicken Sie auf Aktivieren:

Anthropic SDK verwenden

Mit dem Anthropic Claude SDK können Sie API-Anfragen an Anthropic Claude-Modelle senden. Weitere Informationen nachstehend:

Mit dem Anthropic Vertex SDK einen Streaming-Aufruf an ein Claude-Modell senden

Im folgenden Codebeispiel wird mit dem Anthropic Vertex SDK ein Streamingaufruf an ein Anthropic Claude-Modell ausgeführt.

Python

Informationen zur Installation des Vertex AI SDK for Python finden Sie unter Vertex AI SDK for Python installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API.

#     # TODO(developer): Vertex AI SDK - uncomment below & run
#     # pip3 install --upgrade --user google-cloud-aiplatform
#     # gcloud auth application-default login
#     # pip3 install -U 'anthropic[vertex]'
#
#     # TODO(developer): Update and un-comment below line
#     # PROJECT_ID = "your-project-id"
#
#     from anthropic import AnthropicVertex
#
#     client = AnthropicVertex(project_id=PROJECT_ID, region="us-east5")
#     result = []
#
#     with client.messages.stream(
#         model="claude-3-5-sonnet@20240620",
#         max_tokens=1024,
#         messages=[
#             {
#                 "role": "user",
#                 "content": "Send me a recipe for banana bread.",
#             }
#         ],
#     ) as stream:
#         for text in stream.text_stream:
#             print(text, end="", flush=True)
#             result.append(text)
#
#     # Example response:
#     # Here's a simple recipe for delicious banana bread:
#     # Ingredients:
#     # - 2-3 ripe bananas, mashed
#     # - 1/3 cup melted butter
#     # ...
#     # ...
#     # 8. Bake for 50-60 minutes, or until a toothpick inserted into the center comes out clean.
#     # 9. Let cool in the pan for a few minutes, then remove and cool completely on a wire rack.
#

Mit dem Anthropic Vertex SDK einen unären Aufruf an ein Claude-Modell senden

Im folgenden Codebeispiel wird mit dem Anthropic Vertex SDK ein unärer Aufruf an ein Anthropic Claude-Modell ausgeführt.

Python

Informationen zur Installation des Vertex AI SDK for Python finden Sie unter Vertex AI SDK for Python installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

from anthropic import AnthropicVertex

client = AnthropicVertex(project_id=PROJECT_ID, region="us-east5")
message = client.messages.create(
    model="claude-3-5-sonnet@20240620",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
)
print(message.model_dump_json(indent=2))
# Example response:
# {
#   "id": "msg_vrtx_0162rhgehxa9rvJM5BSVLZ9j",
#   "content": [
#     {
#       "text": "Here's a simple recipe for delicious banana bread:\n\nIngredients:\n- 2-3 ripe bananas...
#   ...

Curl-Befehl verwenden

Sie können einen curl-Befehl verwenden, um eine Anfrage an den Vertex AI-Endpunkt zu senden. Mit dem curl-Befehl wird angegeben, welches unterstützte Anthropic Claude-Modell Sie verwenden möchten.

Im folgenden Thema wird beschrieben, wie Sie einen Curl-Befehl erstellen. Außerdem finden Sie dort ein Beispiel für einen Curl-Befehl.

REST

Senden Sie zum Testen eines Text-Prompts mit der Vertex AI API eine POST-Anfrage an den Endpunkt des Publisher-Modells.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

LOCATION: Eine Region, die Anthropic Claude-Modelle unterstützt.

Hinweis: Wir empfehlen, API-Anfragen an die regionalen Endpunkte us-east5 (Ohio) oder europe-west1 (Belgien) zu senden, da diese Regionen die höchste verfügbare Kapazität haben.
Claude 3.5 Sonnet ist in den folgenden Regionen verfügbar:
- us-east5 (Ohio)
- asia-southeast1 (Singapore)
- europe-west1 (Belgium)
Claude 3 Opus ist in der folgenden Region verfügbar:
- us-east5 (Ohio)
Claude 3 Haiku ist in den folgenden Regionen verfügbar:
- us-east5 (Ohio)
- asia-southeast1 (Singapore)
- europe-west1 (Belgium)
Claude 3 Sonnet ist in den folgenden Regionen verfügbar:
- us-east5 (Ohio)
MODEL: Der Modellname, den Sie verwenden möchten.
ROLE: Die einer Nachricht zugeordnete Rolle. Sie können user oder assistant angeben. Die erste Nachricht muss die Rolle user verwenden. Claude-Modelle arbeiten mit abwechselnden user- und assistant-Runden. Wenn die endgültige Nachricht die Rolle assistant verwendet, wird der Antwortinhalt direkt vom Inhalt dieser Nachricht aus fortgesetzt. So können Sie einen Teil der Antwort des Modells einschränken.
STREAM ist ein boolescher Wert, mit dem angegeben wird, ob die Antwort gestreamt wird oder nicht. Streamen Sie Ihre Antwort, um die vom Endnutzer wahrgenommene Latenz zu reduzieren. Legen Sie true fest, um die Antwort zu streamen, und false, um die Antwort auf einmal zurückzugeben.
CONTENT: Der Inhalt, z. B. Text der user- oder assistant-Nachricht.
MAX_OUTPUT_TOKENS: Maximale Anzahl an Tokens, die in der Antwort generiert werden können. Ein Token besteht aus etwa 3,5 Zeichen. 100 Tokens entsprechen etwa 60–80 Wörtern.
Geben Sie kürzere Werte für kürzere Antworten und höhere Werte für längere Antworten an.
TOP_P (Optional): Der Wert „Top-P“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Die Tokens werden von den wahrscheinlichsten (siehe „Top-K“) bis zu den unwahrscheinlichsten Werten ausgewählt, bis die Summe ihrer Wahrscheinlichkeiten dem „Top-P“-Wert entspricht. Beispiel: Wenn die Tokens A, B und C eine Wahrscheinlichkeit von 0,3, 0,2 und 0,1 haben und der „Top-P“-Wert 0.5 ist, wählt das Modell anhand der Temperatur entweder A oder B als das nächste Token und C als Kandidaten ausschließen.
Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an.
TOP_K (Optional): Der Wert „Top-K“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Ein „Top-K“ von 1 bedeutet, dass das nächste ausgewählte Token unter den Tokens im Modell-Vokabular (auch als gierige Decodierung bezeichnet) am wahrscheinlichsten ist, während ein „Top-K“ von3 bedeutet, dass das nächste Token mithilfe der Temperatur aus den drei wahrscheinlichsten Tokens ausgewählt wird.
Für jeden Tokenauswahlschritt werden die „Top-K“-Tokens mit den höchsten Wahrscheinlichkeiten abgetastet. Anschließend werden Tokens weiter auf der Grundlage von „Top-P“ gefiltert, wobei das endgültige Token mithilfe von Temperaturproben ausgewählt wird.

Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an.

HTTP-Methode und URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict

JSON-Text der Anfrage:

{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": STREAM
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto bei der gcloud CLI angemeldet haben. Dazu haben Sie gcloud init oder gcloud auth login ausgeführt oder die Cloud Shell genutzt, die Sie automatisch bei der gcloud CLI anmeldet. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict"

PowerShell

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto bei der gcloud CLI angemeldet haben. Dazu führen Sie gcloud init oder gcloud auth login aus. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict" | Select-Object -Expand Content

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

Antwort

{
  "id":"msg_012NDLxqh6LsztWCU7zTb14C",
  "type":"message",
  "role":"assistant",
  "content":[{
    "type":"text",
    "text":"Hello! Nice to meet you."
  }],
  "model":"claude-2.1",
  "stop_reason":"end_turn",
  "stop_sequence":null,
  "usage":{
    "input_tokens":11,
    "output_tokens":11
  }
}

Beispiel: cURL-Befehls

MODEL_ID="MODEL"
LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:streamRawPredict -d \
'{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [{
    "role": "user",
    "content": "Hello!"
  }],
  "max_tokens": 50,
  "stream": true}'

Toolnutzung (Funktionsaufruf)

Anthropic Claude-Modelle unterstützen Tools und Funktionsaufrufe, um die Funktionen eines Modells zu verbessern. Weitere Informationen finden Sie in der Anthropic-Dokumentation unter Tool-Nutzung – Übersicht.

In den folgenden Beispielen wird gezeigt, wie Sie Tools mit dem Anthropic SDK oder dem Befehl „curl“ verwenden. In den Beispielen wird nach Restaurants in San Francisco gesucht, die derzeit geöffnet sind.

Python

Informationen zur Installation des Vertex AI SDK for Python finden Sie unter Vertex AI SDK for Python installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'
from anthropic import AnthropicVertex

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

client = AnthropicVertex(project_id=PROJECT_ID, region="us-east5")
message = client.messages.create(
    model="claude-3-5-sonnet@20240620",
    max_tokens=1024,
    tools=[
        {
            "name": "text_search_places_api",
            "description": "returns information about a set of places based on a string",
            "input_schema": {
                "type": "object",
                "properties": {
                    "textQuery": {
                        "type": "string",
                        "description": "The text string on which to search",
                    },
                    "priceLevels": {
                        "type": "array",
                        "description": "Price levels to query places, value can be one of [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE, PRICE_LEVEL_EXPENSIVE, PRICE_LEVEL_VERY_EXPENSIVE]",
                    },
                    "openNow": {
                        "type": "boolean",
                        "description": "whether those places are open for business.",
                    },
                },
                "required": ["textQuery"],
            },
        }
    ],
    messages=[
        {
            "role": "user",
            "content": "What are some affordable and good Italian restaurants open now in San Francisco??",
        }
    ],
)
print(message.model_dump_json(indent=2))
# Example response:
# {
#   "id": "msg_vrtx_018pk1ykbbxAYhyWUdP1bJoQ",
#   "content": [
#     {
#       "text": "To answer your question about affordable and good Italian restaurants
#       that are currently open in San Francisco....
# ...

REST

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

LOCATION: Eine Region, die Anthropic Claude-Modelle unterstützt.

Hinweis: Wir empfehlen, API-Anfragen an die regionalen Endpunkte us-east5 (Ohio) oder europe-west1 (Belgien) zu senden, da diese Regionen die höchste verfügbare Kapazität haben.
Claude 3.5 Sonnet ist in den folgenden Regionen verfügbar:
- us-east5 (Ohio)
- asia-southeast1 (Singapore)
- europe-west1 (Belgium)
Claude 3 Opus ist in der folgenden Region verfügbar:
- us-east5 (Ohio)
Claude 3 Haiku ist in den folgenden Regionen verfügbar:
- us-east5 (Ohio)
- asia-southeast1 (Singapore)
- europe-west1 (Belgium)
Claude 3 Sonnet ist in den folgenden Regionen verfügbar:
- us-east5 (Ohio)
MODEL ist der Modellname, den Sie verwenden möchten.
- Verwenden Sie für Claude 3 Opus claude-3-opus@20240229.
- Verwenden Sie claude-3-sonnet@20240229 für Claude 3 Sonnet.
- Verwenden Sie für Claude 3 Haiku claude-3-haiku@20240307.
ROLE: Die einer Nachricht zugeordnete Rolle. Sie können user oder assistant angeben. Die erste Nachricht muss die Rolle user verwenden. Claude-Modelle arbeiten mit abwechselnden user- und assistant-Runden. Wenn die endgültige Nachricht die Rolle assistant verwendet, wird der Antwortinhalt direkt vom Inhalt dieser Nachricht aus fortgesetzt. So können Sie einen Teil der Antwort des Modells einschränken.
STREAM: Ein boolescher Wert, mit dem angegeben wird, ob die Antwort gestreamt wird oder nicht. Streamen Sie Ihre Antwort, um die vom Endnutzer wahrgenommene Latenz zu reduzieren. Legen Sie true fest, um die Antwort zu streamen, und false, um die Antwort auf einmal zurückzugeben.
CONTENT: Der Inhalt, z. B. Text der user- oder assistant-Nachricht.
MAX_OUTPUT_TOKENS: Maximale Anzahl an Tokens, die in der Antwort generiert werden können. Ein Token besteht aus etwa 3,5 Zeichen. 100 Tokens entsprechen etwa 60–80 Wörtern.
Geben Sie kürzere Werte für kürzere Antworten und höhere Werte für längere Antworten an.

HTTP-Methode und URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict

JSON-Text der Anfrage:


{
  "anthropic_version": "vertex-2023-10-16",
  "max_tokens": MAX_TOKENS,
  "stream": STREAM,
  "tools": [
    {
      "name": "text_search_places_api",
      "description": "Returns information about a set of places based on a string",
      "input_schema": {
        "type": "object",
        "properties": {
          "textQuery": {
            "type": "string",
            "description": "The text string on which to search"
          },
          "priceLevels": {
            "type": "array",
            "description": "Price levels to query places, value can be one of [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE, PRICE_LEVEL_EXPENSIVE, PRICE_LEVEL_VERY_EXPENSIVE]",
          },
          "openNow": {
            "type": "boolean",
            "description": "Describes whether a place is open for business at
            the time of the query."
          },
        },
        "required": ["textQuery"]
      }
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": "What are some affordable and good Italian restaurants that are open now in San Francisco??"
    }
  ]
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

Antwort

{
  "id": "msg_vrtx_01ErR7VMNQdnvDt3n7Nmc4ER",
  "type": "message",
  "role": "assistant",
  "model": "claude-3-opus-20240229",
  "content": [
    {
      "type": "text",
      "text": "\nTo find affordable and good Italian restaurants that are currently open in San Francisco, the text_search_places_api tool seems most relevant. \n\nThe required textQuery parameter can be inferred as \"Italian restaurants in San Francisco\", since the user specified Italian restaurants and the location of San Francisco.\n\nTwo optional parameters are also relevant:\nopenNow - this should be set to true, since the user specified they want restaurants open now\npriceLevels - to find affordable restaurants, this can be set to [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE]\n\nWith the textQuery provided and the two optional parameters that can help narrow the results to match the user's criteria, we have enough information to make a good call to the text_search_places_api tool to try to answer the user's request.\n"
    },
    {
      "type": "tool_use",
      "id": "toolu_vrtx_01TAJCTkxe8HhRoaQ69N4ouP",
      "name": "text_search_places_api",
      "input": {
        "textQuery": "Italian restaurants in San Francisco",
        "openNow": true,
        "priceLevels": [
          "PRICE_LEVEL_INEXPENSIVE",
          "PRICE_LEVEL_MODERATE"
        ]
      }
    }
  ],
  "stop_reason": "tool_use",
  "stop_sequence": null,
  "usage": {
    "input_tokens": 727,
    "output_tokens": 308
  }
}

Verfügbarkeit: Anthropic Claude-Region

Hinweis: Wir empfehlen, API-Anfragen an die regionalen Endpunkte us-east5 (Ohio) oder europe-west1 (Belgien) zu senden, da diese Regionen die höchste verfügbare Kapazität haben.

Claude 3.5 Sonnet ist in den folgenden Regionen verfügbar:

us-east5 (Ohio)
asia-southeast1 (Singapore)
europe-west1 (Belgium)

Claude 3 Opus ist in der folgenden Region verfügbar:

us-east5 (Ohio)

Claude 3 Haiku ist in den folgenden Regionen verfügbar:

us-east5 (Ohio)
asia-southeast1 (Singapore)
europe-west1 (Belgium)

Claude 3 Sonnet ist in den folgenden Regionen verfügbar:

us-east5 (Ohio)

Kontingente für Anthropic Claude und unterstützte Kontextlänge

Bei Claude-Modellen gilt ein Kontingent für jede Region, in der das Modell verfügbar ist. Das Kontingent wird in Abfragen pro Minute (Queries per minute, QPM) und in Tokens pro Minute (Tokens per minute, TPM) angegeben. TPM umfasst sowohl Eingabe- als auch Ausgabetokens.

Das Standardkontingentlimit und die unterstützte Kontextlänge für Claude 3.5 Sonnet sind:

Region	Kontingentsystem	Unterstützte Kontextlänge
`us-east5 (Ohio)`	Unterstützt dynamisches gemeinsames Kontingent	200.000 Tokens
`asia-southeast1 (Singapore)`	Unterstützt dynamisches gemeinsames Kontingent	200.000 Tokens
`europe-west1 (Belgium)`	Unterstützt dynamisches gemeinsames Kontingent	200.000 Tokens

Das Standardkontingentlimit und die unterstützte Kontextlänge für Claude 3 Opus sind:

Region	Standardkontingentlimit	Unterstützte Kontextlänge
`us-east5 (Ohio)`	Unterstützt dynamisches gemeinsames Kontingent	200.000 Tokens

Das Standardkontingentlimit und die unterstützte Kontextlänge für Claude 3 Haiku sind:

Region	Standardkontingentlimit	Unterstützte Kontextlänge
`us-east5 (Ohio)`	Unterstützt dynamisches gemeinsames Kontingent	200.000 Tokens
`asia-southeast1 (Singapore)`	Unterstützt dynamisches gemeinsames Kontingent	200.000 Tokens
`europe-west1 (Belgium)`	Unterstützt dynamisches gemeinsames Kontingent	200.000 Tokens

Das Standardkontingentlimit und die unterstützte Kontextlänge für Claude 3 Sonnet sind:

Region	Standardkontingentlimit	Unterstützte Kontextlänge
`us-east5 (Ohio)`	Unterstützt dynamisches gemeinsames Kontingent	200.000 Tokens

Wenn Sie eines der Kontingente für die generative AI auf Vertex AI erhöhen möchten, können Sie über die Google Cloud Console eine Kontingenterhöhung anfordern. Weitere Informationen zu Kontingenten finden Sie unter Mit Kontingenten arbeiten.