Usa i modelli Claude 3 di Anthropic

I modelli antropici di Claude 3 su Vertex AI offrono modelli completamente gestiti e serverless come API. Per usare un modello Claude su Vertex AI, invia una richiesta direttamente all'endpoint API Vertex AI. Poiché i modelli di Antropica Claude 3 utilizzano un'API gestita, non è necessario gestire o eseguire il provisioning dell'infrastruttura.

Puoi trasmettere in streaming le tue risposte Claude per ridurre la percezione della latenza da parte dell'utente finale. Una risposta in streaming utilizza eventi inviati dal server (SSE) per trasmettere la risposta in modo incrementale.

I modelli Claude vengono pagati nel momento in cui li utilizzi. Per saperne di più, consulta la sezione sui modelli Anthropic Claude nella pagina dei prezzi di Vertex AI.

Per visualizzare un esempio di utilizzo di un modello Anthropic Claude 3 su Vertex AI, esegui il blocco note Jupyter "Use an Anthropic Claude AI" su Vertex AI in uno dei seguenti ambienti:

Apri in Colab | Apri in Colab Enterprise | Apri nei blocchi note gestiti dall'utente di Vertex AI Workbench | Visualizza su GitHub

Modelli Antropic Claude disponibili

I seguenti modelli sono disponibili da Anthropic per l'utilizzo in Vertex AI. Per accedere a un modello Anthropic Claude 3, vai alla relativa scheda.

Opus di Claude 3 (anteprima)

Anteprima

Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

L'antropico Claude 3 Opus (anteprima) è il modello antropico più capace di eseguire rapidamente attività complesse. È progettato per esplorare prompt aperti e nuovi scenari.

Claude 3 Opus (anteprima) è ottimizzato per i seguenti casi d'uso:

• Automazione delle attività, come programmazione e programmazione interattive o esecuzione di azioni complesse su API e database.

• Attività di ricerca e sviluppo, come analisi della ricerca, generazione di brainstorming e ipotesi e test dei prodotti.

• Attività strategiche, come l'analisi avanzata di grafici, i dati finanziari e le tendenze di mercato e le previsioni.

• Attività di visione artificiale, come l'elaborazione di immagini per restituire un output di testo. Inoltre, analisi di tabelle, grafici, diagrammi tecnici, report e altri contenuti visivi.

Vai alla scheda del modello Opus di Claude 3

Sonetto di Claude 3

Antropic Claude 3 Sonnet offre un equilibrio tra intelligenza e velocità per i carichi di lavoro aziendali. È un modello ad alta resistenza per AI su larga scala, disponibile a un prezzo competitivo. Claude 3 Sonnet è ottimizzato per i seguenti casi d'uso:

• Elaborazione dei dati, tra cui la generazione aumentata al recupero (RAG) e il recupero delle ricerche.

• attività di vendita, come suggerimenti sui prodotti, previsioni e marketing mirato.

• Attività salvatempo, ad esempio generazione di codice, controllo qualità e riconoscimento ottico dei caratteri (OCR) nelle immagini.

• Attività di visione artificiale, come l'elaborazione di immagini per restituire un output di testo. Inoltre, analisi di tabelle, grafici, diagrammi tecnici, report e altri contenuti visivi.

Vai alla scheda del modello Sonnet Claude 3

Haiku Claude 3

L'antropico Claude 3 Haiku è il modello più rapido e compatto disponibile su Anthropic. ed è progettata per rispondere rapidamente a domande e richieste. Puoi usarla per creare esperienze AI che imitano le interazioni umane. Claude 3 Haiku è ottimizzato per i seguenti casi d'uso:

• Interazioni in tempo reale e traduzioni con i clienti.

• Moderazione dei contenuti per rilevare comportamenti sospetti o richieste dei clienti.

• Attività di risparmio sui costi, come la gestione dell'inventario e l'estrazione delle conoscenze da dati non strutturati.

• attività di visione, come l'elaborazione di immagini per restituire un output di testo, analisi di diagrammi, grafici, diagrammi tecnici, report e altri contenuti visivi.

Vai alla scheda del modello Haiku di Claude 3

Utilizzare i modelli Claude

Puoi utilizzare un SDK Anthropic o i comandi curl per inviare richieste all'endpoint Vertex AI utilizzando i seguenti nomi di modello:

• Per Claude 3 Opus (anteprima), utilizza claude-3-opus@20240229.
• Per il Sonetto di Claude 3, utilizza claude-3-sonnet@20240229.
• Per gli haiku di Claude 3, utilizza claude-3-haiku@20240307.

Sconsigliamo di utilizzare le versioni del modello Antropico Claude 3 che non includono un suffisso che inizia con un simbolo @ (claude-3-opus, claude-3-sonnet o claude-3-haiku).

Nota: la dimensione massima consentita del file immagine è 5 MB e puoi includere fino a 20 immagini in una singola richiesta.

Prima di iniziare

Per utilizzare i modelli Antropic Claude 3 con Vertex AI, devi eseguire i seguenti passaggi. Per poter usare Vertex AI, devi abilitare l'API Vertex AI (aiplatform.googleapis.com). Se hai già un progetto con l'API Vertex AI abilitata, puoi utilizzare questo progetto anziché crearne uno nuovo.

Assicurati di disporre delle autorizzazioni necessarie per abilitare i modelli Antropic Claude 3. Per ulteriori informazioni, vedi Concedere le autorizzazioni richieste.

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

   Vai al selettore progetti

3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

4. Attiva l'API Vertex AI.

   Abilita l'API

5. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

   Vai al selettore progetti

6. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

7. Attiva l'API Vertex AI.

   Abilita l'API

8. Assicurati di disporre delle autorizzazioni per abilitare i modelli Anthropic Claude e per inviare un prompt. Per maggiori informazioni, consulta Impostare le autorizzazioni richieste per abilitare i modelli Claude e inviare prompt.
9. Vai a una delle seguenti schede del modello di Model Garden e fai clic su enable:
   • Vai alla scheda del modello Opus di Claude 3
   • Vai alla scheda del modello Sonnet Claude 3
   • Vai alla scheda del modello Haiku di Claude 3

Usa l'SDK Anthropic

Puoi effettuare richieste API ai modelli Anthropic Claude utilizzando l'SDK Anthropic Claude. Per scoprire di più, consulta questo articolo:

• Riferimento per l'API Claude messages
• Libreria API Python antropica
• Libreria API Anthropic Vertex AI TypeScript

Effettua una chiamata in streaming a un modello Claude 3 utilizzando l'SDK Anthropic Vertex

Il seguente esempio di codice utilizza l'SDK Anthropic Vertex per eseguire una chiamata di flusso a un modello Anthropic Claude 3.

Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

from anthropic import AnthropicVertex

client = AnthropicVertex(region=region, project_id=project_id)
result = []

with client.messages.stream(
    model="claude-3-sonnet@20240229",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)
        result.append(text)

Effettua una chiamata unaria a un modello Claude 3 utilizzando l'SDK Anthropic Vertex

Il seguente esempio di codice utilizza l'SDK Anthropic Vertex per eseguire una chiamata unaria a un modello Anthropic Claude 3.

Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

from anthropic import AnthropicVertex

client = AnthropicVertex(region=region, project_id=project_id)
message = client.messages.create(
    model="claude-3-sonnet@20240229",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
)
print(message.model_dump_json(indent=2))

Utilizzare un comando curl

Puoi utilizzare un comando curl per effettuare una richiesta all'endpoint Vertex AI. Il comando curl specifica il modello Anthropic Claude supportato che vuoi utilizzare:

• Per Claude 3 Opus (anteprima), utilizza claude-3-opus@20240229.
• Per il Sonetto di Claude 3, utilizza claude-3-sonnet@20240229.
• per gli haiku di Claude 3, usa claude-3-haiku@20240307.

Sconsigliamo di utilizzare le versioni del modello Antropico Claude 3 che non includono un suffisso che inizia con un simbolo @ (claude-3-opus, claude-3-sonnet o claude-3-haiku).

Il seguente argomento mostra come creare un comando curl e include un comando curl di esempio. Il comando curl di esempio utilizza il modello sonnet Claude 3.

REST

Per testare un prompt di testo utilizzando l'API Vertex AI, invia una richiesta POST all'endpoint del modello del publisher.

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

• LOCATION: una regione che supporta i modelli Antropic Claude.
  Claude 3 Opus è disponibile nelle seguenti regioni:
  • us-east5 (Ohio)
  Claude 3 Sonnet è disponibile nelle seguenti regioni:
  • us-central1 (Iowa)
  • asia-southeast1 (Singapore)
  Claude 3 Haiku è disponibile nelle seguenti regioni:
  • us-central1 (Iowa)
  • europe-west4 (Netherlands)
• MODEL: il nome del modello che vuoi utilizzare.
  • Per Claude 3 Opus, utilizza claude-3-opus@20240229.
  • Per il Sonetto di Claude 3, utilizza claude-3-sonnet@20240229.
  • Per gli haiku di Claude 3, utilizza claude-3-haiku@20240307.
• ROLE: il ruolo associato a un messaggio. Puoi specificare un user o un assistant. Il primo messaggio deve utilizzare il ruolo user. I modelli Claude funzionano con curve alternate (user e assistant). Se il messaggio finale utilizza il ruolo assistant, il contenuto della risposta continuerà immediatamente dai contenuti del messaggio. Puoi utilizzarlo per vincolare parte della risposta del modello.
• STREAM: un valore booleano che specifica se la risposta viene trasmessa o meno. Trasmetti in streaming la tua risposta per ridurre la percezione della latenza di utilizzo finale. Imposta su true per trasmettere la risposta in streaming e false per restituire la risposta tutta contemporaneamente.
• CONTENT: i contenuti, ad esempio il testo, del messaggio user o assistant.
• MAX_OUTPUT_TOKENS: numero massimo di token che è possibile generare nella risposta. Un token è costituito da circa 3,5 caratteri. 100 token corrispondono a circa 60-80 parole.

  Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.

• TOP_P (Facoltativo): Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati dal più probabile (vedi top-K) al meno probabile finché la somma delle loro probabilità equivale al valore top-P. Ad esempio, se i token A, B e C hanno una probabilità di 0,3, 0,2 e 0,1 e il valore di top-P è 0.5, il modello selezionerà A o B come token successivo utilizzando la temperatura ed esclude C come candidato.

  Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.

• TOP_K(Facoltativo): Top-K cambia il modo in cui il modello seleziona i token per l'output. Un top-K pari a 1 indica che il token successivo selezionato è il più probabile tra tutti i token nel vocabolario del modello (detta anche decodifica greedy), mentre un top-K pari a 3 indica che il token successivo viene selezionato tra i tre token più probabili utilizzando la temperatura.

  Per ogni fase di selezione dei token, vengono campionati i token top-K con le probabilità più elevate. Quindi, i token vengono ulteriormente filtrati in base a top-P e il token finale viene selezionato utilizzando il campionamento con temperatura.

  Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.

Metodo HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict

Corpo JSON della richiesta:

{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": STREAM
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

arricciatura

Nota: il comando seguente presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che ti consente di accedere automaticamente all'interfaccia a riga di comando gcloud. Puoi controllare l'account attualmente attivo eseguendo gcloud auth list.

Salva il corpo della richiesta in un file denominato request.json ed esegui questo comando:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict"

PowerShell

Nota: il seguente comando presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login . Puoi controllare l'account attualmente attivo eseguendo gcloud auth list.

Salva il corpo della richiesta in un file denominato request.json ed esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict" | Select-Object -Expand Content

Dovresti ricevere una risposta in formato JSON simile alla seguente.

Risposta

{
  "id":"msg_012NDLxqh6LsztWCU7zTb14C",
  "type":"message",
  "role":"assistant",
  "content":[{
    "type":"text",
    "text":"Hello! Nice to meet you."
  }],
  "model":"claude-2.1",
  "stop_reason":"end_turn",
  "stop_sequence":null,
  "usage":{
    "input_tokens":11,
    "output_tokens":11
  }
}

Comando curl di esempio

MODEL_ID="claude-3-sonnet@20240229"
LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:streamRawPredict -d \
'{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [{
    "role": "user",
    "content": "Hello!"
  }],
  "max_tokens": 50,
  "stream": true}'

Disponibilità della regione di Claude antropica

Claude 3 Opus è disponibile nella seguente regione:

• us-east5 (Ohio)

Claude 3 Sonnet è disponibile nelle seguenti regioni:

• us-central1 (Iowa)
• asia-southeast1 (Singapore)

Claude 3 Haiku è disponibile nelle seguenti regioni:

• us-central1 (Iowa)
• europe-west4 (Netherlands)

Quote di Claude Antropica e lunghezza del contesto supportata

Per i modelli Claude 3, viene applicata una quota per ogni regione in cui il modello è disponibile. La quota è specificata in query al minuto (QPM) e token al minuto (TPM). TPM include i token di input e di output.

Il limite di quota predefinito e la lunghezza del contesto supportata per Claude 3 Opus (anteprima) sono:

Regione	Limite quota predefinito	Lunghezza del contesto supportata
us-east5 (Ohio)	15 Q/M, 50.000 T/M	200.000 token

Il limite di quota predefinito e la lunghezza del contesto supportata per Claude 3 Sonnet sono:

Regione	Limite quota predefinito	Lunghezza del contesto supportata
us-central1 (Iowa)	60 Q/M, 50.000 T/M	200.000 token
asia-southeast1 (Singapore)	60 Q/M, 50.000 T/M	200.000 token

Il limite di quota predefinito e la lunghezza del contesto supportata per Claude 3 Haiku sono:

Regione	Limite quota predefinito	Lunghezza del contesto supportata
us-central1 (Iowa)	60 Q/M, 50.000 T/M	200.000 token
europe-west4 (Netherlands)	60 Q/M, 50.000 T/M	200.000 token

Se vuoi aumentare una qualsiasi delle quote per Generative AI su Vertex AI, puoi utilizzare la console Google Cloud per richiedere un aumento della quota. Per scoprire di più sulle quote, consulta Utilizzare le quote.

Abilita i modelli Claude per gli utenti

Affinché un utente possa attivare i modelli Anthropic Claude ed effettuare una richiesta di prompt, un amministratore deve impostare le autorizzazioni richieste e verificare che il criterio dell'organizzazione consenta l'utilizzo delle API richieste.

Imposta le autorizzazioni richieste

Per utilizzare i modelli Anthropic Claude, sono necessari i ruoli e le autorizzazioni seguenti:

1. All'utente deve essere concesso il ruolo Gestore entitlement approvvigionamento consumer Identity and Access Management (IAM). Gli utenti a cui è stato concesso questo ruolo possono attivare un modello Anthropic Claude in Model Garden.

2. All'utente deve essere concessa l'autorizzazione aiplatform.endpoints.predict. Questa autorizzazione è inclusa nel ruolo IAM Utente Vertex AI. Per ulteriori informazioni, consulta Utente Vertex AI e Controllo dell'accesso.

Console

1. Per concedere a un utente i ruoli IAM Gestore entitlement approvvigionamento consumer a un utente, vai alla pagina IAM.

   Vai a IAM

2. Nella colonna Entità, trova l'entità utente per cui vuoi abilitare l'accesso ai modelli Anthropic Claude, quindi fai clic su Modifica entità in quella riga.

3. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

4. In Seleziona un ruolo, scegli Gestore entitlement approvvigionamento consumer.

5. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

6. In Seleziona un ruolo, scegli Utente Vertex AI.

7. Fai clic su Salva.

gcloud

1. Nella console Google Cloud, attiva Cloud Shell.

   Attiva Cloud Shell

2. Concedi il ruolo Gestore entitlement approvvigionamento consumer necessario per abilitare i modelli Anthropic Claude in Model Garden

   gcloud projects add-iam-policy-binding  PROJECT_ID \
   --member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager
   

3. Concedi il ruolo Utente Vertex AI che include l'autorizzazione aiplatform.endpoints.predict necessaria per effettuare richieste di prompt:

   gcloud projects add-iam-policy-binding  PROJECT_ID \
   --member=PRINCIPAL --role=roles/aiplatform.user
   

   Sostituisci PRINCIPAL con l'identificatore dell'entità. L'identificatore ha il formato user|group|serviceAccount:email o domain:domain, ad esempio user:[e-mail], group:[e-mail], serviceAccount:[e-mail] o domain:example.domain.com.

   L'output è un elenco di associazioni di criteri che include quanto segue:

   - members:
     - user:PRINCIPAL
     role: roles/roles/consumerprocurement.entitlementManager
   

   Per saperne di più, vedi Concedere un singolo ruolo e gcloud projects add-iam-policy-binding.

Imposta il criterio dell'organizzazione

Per abilitare i modelli Anthropic Claude, il criterio dell'organizzazione per consentire l'utilizzo delle seguenti API:

• Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com
• API Commerce Agreement - commerceagreement.googleapis.com

Se la tua organizzazione imposta un criterio dell'organizzazione per limitare l'utilizzo del servizio, un amministratore dell'organizzazione deve verificare che cloudcommerceconsumerprocurement.googleapis.com e commerceagreement.googleapis.com siano consentiti impostando il criterio dell'organizzazione.