Utiliser les modèles Claude 3 d'Anthropic

Les modèles Anthropic Claude 3 sur Vertex AI offrent des modèles entièrement gérés et sans serveur en tant qu'API. Pour utiliser un modèle Claude sur Vertex AI, envoyez une requête directement au point de terminaison de l'API Vertex AI. Étant donné que les modèles Anthropic Claude 3 utilisent une API gérée, il n'est pas nécessaire de provisionner ni de gérer l'infrastructure.

Vous pouvez diffuser vos réponses Claude en streaming pour réduire la perception de la latence côté utilisateur. Une réponse en streaming utilise des événements envoyés par le serveur (SSE) pour diffuser la réponse de manière incrémentielle.

Les modèles Claude vous sont facturés à mesure que vous les utilisez. Pour en savoir plus, consultez la section sur les modèles Anthropic Claude de la page des tarifs de Vertex Generative AI.

Modèles Anthropic Claude disponibles

Les modèles suivants sont disponibles auprès d'Anthropic pour une utilisation dans Vertex Generative AI. Pour accéder à un modèle Anthropic Claude 3, accédez à sa fiche de modèle Model Garden.

Claude 3 Opus (preview)

Anthropic Claude 3 Opus (preview) est le modèle Anthropic le plus performant pour effectuer rapidement des tâches complexes. Il est conçu pour parcourir les requêtes ouvertes et les nouveaux scénarios.

Claude 3 Opus (preview) est optimisé pour les cas d'utilisation suivants :

Automatisation des tâches, comme le codage et la planification interactifs, ou l'exécution d'actions complexes via des API et des bases de données.
Tâches de recherche et de développement, telles que l'examen de la recherche, le brainstorming, la génération d'hypothèses et les tests de produits.
Tâches stratégiques, telles que l'analyse avancée de graphiques et de graphes, les données financières et les tendances du marché, ainsi que les prévisions
Tâches de vision, telles que le traitement d'images pour renvoyer une sortie textuelle. Analyse de diagrammes, de graphiques, de schémas techniques, de rapports et d'autres contenus visuels.

Accéder à la fiche de modèle Claude 3 Opus

Claude 3 Sonnet

Anthropic Claude 3 Sonnet offre un équilibre entre intelligence et vitesse pour les charges de travail d'entreprise. Il s'agit d'un modèle haute durabilité pour l'IA évolutive, disponible à un prix compétitif. Claude 3 Sonnet est optimisé pour les cas d'utilisation suivants :

Traitement des données, y compris la génération augmentée de récupération (RAG) et la récupération de recherche
Tâches de vente, telles que la recommandation de produits, les prévisions et le marketing ciblé
Tâches permettant de gagner du temps, telles que la génération de code, le contrôle qualité et la reconnaissance optique des caractères (OCR) dans les images.
Tâches de vision, telles que le traitement d'images pour renvoyer une sortie textuelle. Analyse de diagrammes, de graphiques, de schémas techniques, de rapports et d'autres contenus visuels.

Accéder à la fiche de modèle Claude 3 Sonnet

Claude 3 Haiku

Anthropic Claude 3 Haiku est le modèle le plus rapide et le plus compact disponible sur Anthropic. Il est conçu pour répondre rapidement aux requêtes et aux demandes. Vous pouvez l'utiliser pour créer des expériences d'IA qui imitent des interactions humaines. Claude 3 Haiku est optimisé pour les cas d'utilisation suivants :

Interactions et traductions avec les clients en direct.
Modération de contenus pour détecter les comportements suspects ou les demandes des clients.
Tâches permettant d'économiser des coûts, telles que la gestion des stocks et l'extraction de connaissances à partir de données non structurées.
Tâches de vision, telles que le traitement d'images pour renvoyer une sortie textuelle, l'analyse de graphiques, de diagrammes techniques, des rapports et d'autres contenus visuels.

Accéder à la fiche de modèle Claude 3 Haiku

Utiliser des modèles Claude

Vous pouvez utiliser un SDK Anthropic ou des commandes curl pour envoyer des requêtes au point de terminaison d'IA générative Vertex à l'aide des noms de modèles suivants :

Pour Claude 3 Opus (preview), utilisez claude-3-opus@20240229.
Pour Claude 3 Sonnet, utilisez claude-3-sonnet@20240229.
Pour Claude 3 Haiku, utilisez claude-3-haiku@20240307.

Nous vous déconseillons d'utiliser les versions de modèle Anthropic Claude 3 qui n'incluent pas de suffixe commençant par un symbole @ (claude-3-opus, claude-3-sonnet ou claude-3-haiku).

Avant de commencer

Pour utiliser des modèles Anthropic Claude 3 avec l'IA générative Vertex, vous devez effectuer les étapes suivantes. Vous devez activer l'API Vertex AI (aiplatform.googleapis.com) pour pouvoir utiliser l'IA générative Vertex. Si vous disposez déjà d'un projet pour lequel l'API Vertex AI est activée, vous pouvez utiliser ce projet au lieu de créer un projet.

Assurez-vous de disposer des autorisations requises pour activer les modèles Anthropic Claude 3. Pour en savoir plus, consultez la section Accorder les autorisations requises.

Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Activez l'API Vertex AI

Activer l'API

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Activez l'API Vertex AI

Activer l'API

Assurez-vous de disposer des autorisations nécessaires pour activer les modèles Anthropic Claude et pour envoyer une requête. Pour en savoir plus, consultez la page Définir les autorisations requises pour activer les modèles Claude et envoyer des requêtes.
Accédez à l'une des fiches de modèles du jardin de modèles suivantes, puis cliquez sur activer :

Utiliser le SDK Anthropic

Vous pouvez envoyer des requêtes API aux modèles Anthropic Claude à l'aide du SDK Anthropic Claude. Pour en savoir plus, consultez les ressources suivantes :

Effectuer un appel en flux continu à un modèle Claude 3 à l'aide du SDK Vertex d'Anthropic

L'exemple de code suivant utilise le SDK Vertex Anthropic pour effectuer un appel en flux continu à un modèle Anthropic Claude 3.

Python

Pour savoir comment installer ou mettre à jour le SDK Vertex AI pour Python, consultez la section Installer le SDK Vertex AI pour Python. Pour en savoir plus, consultez la documentation de référence de l'API Python.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

from anthropic import AnthropicVertex

client = AnthropicVertex(region=region, project_id=project_id)
result = []

with client.messages.stream(
    model="claude-3-sonnet@20240229",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)
        result.append(text)

Effectuer un appel unaire à un modèle Claude 3 à l'aide du SDK Vertex d'Anthropic

L'exemple de code suivant utilise le SDK Vertex Anthropic pour effectuer un appel unaire à un modèle Anthropic Claude 3.

Python

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

from anthropic import AnthropicVertex

client = AnthropicVertex(region=region, project_id=project_id)
message = client.messages.create(
    model="claude-3-sonnet@20240229",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
)
print(message.model_dump_json(indent=2))

Utiliser une commande curl

Vous pouvez utiliser une commande curl pour envoyer une requête au point de terminaison d'IA générative Vertex. La commande curl spécifie le modèle Anthropic Claude compatible que vous souhaitez utiliser :

Pour Claude 3 Opus (preview), utilisez claude-3-opus@20240229.
Pour Claude 3 Sonnet, utilisez claude-3-sonnet@20240229.
Pour Claude 3 Haiku, utilisez claude-3-haiku@20240307.

Nous vous déconseillons d'utiliser les versions de modèle Anthropic Claude 3 qui n'incluent pas de suffixe commençant par un symbole @ (claude-3-opus, claude-3-sonnet ou claude-3-haiku).

La rubrique suivante explique comment créer une commande curl et inclut un exemple de commande curl. L'exemple de commande curl utilise le modèle Claude 3 Sonnet.

REST

Pour tester une requête de texte à l'aide de l'API Vertex AI, envoyez une requête POST au point de terminaison du modèle de l'éditeur.

Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

LOCATION : région compatible avec les modèles Anthropic Claude.
Claude 3 Opus est disponible dans les régions suivantes :
- us-east5 (Ohio)
Claude 3 Sonnet est disponible dans les régions suivantes :
- us-central1 (Iowa)
- asia-southeast1 (Singapore)
Claude 3 Haiku est disponible dans les régions suivantes :
- us-central1 (Iowa)
- europe-west4 (Netherlands)
MODEL : nom du modèle que vous souhaitez utiliser.
- Pour Claude 3 Opus, utilisez claude-3-opus@20240229.
- Pour Claude 3 Sonnet, utilisez claude-3-sonnet@20240229.
- Pour Claude 3 Haiku, utilisez claude-3-haiku@20240307.
ROLE : rôle associé à un message. Vous pouvez spécifier user ou assistant. Le premier message doit utiliser le rôle user. Les modèles Claude fonctionnent avec des tours user et assistant alternés. Si le message final utilise le rôle assistant, le contenu de la réponse continue immédiatement à partir du contenu de ce message. Cela vous permet de limiter une partie de la réponse du modèle.
STREAM : valeur booléenne qui spécifie si la réponse est diffusée ou non. Diffusez votre réponse en streaming pour réduire la perception de la latence d'utilisation finale. Définissez la valeur sur true pour diffuser la réponse et sur false pour la renvoyer simultanément.
CONTENT : contenu, tel que le texte, du message user ou assistant.
MAX_OUTPUT_TOKENS : nombre maximal de jetons pouvant être générés dans la réponse. Un jeton correspond environ à 3,5 caractères. 100 jetons correspondent à environ 60-80 mots.
Spécifiez une valeur inférieure pour obtenir des réponses plus courtes et une valeur supérieure pour des réponses potentiellement plus longues.
TOP_P (facultatif) : Top-P modifie la façon dont le modèle sélectionne les jetons pour la sortie. Les jetons sont sélectionnés de la valeur la plus élevée (voir top-K) à la moins probable jusqu'à ce que la somme de leurs probabilités soit égale à la valeur top-P. Par exemple, si les jetons A, B et C ont une probabilité de 0,3, 0,2 et 0,1 et que la valeur de top-P est supérieure à 0.5, le modèle sélectionne A ou B comme jeton suivant en utilisant la température et exclut C comme candidat.
Spécifiez une valeur inférieure pour les réponses moins aléatoires et une valeur plus élevée pour les réponses plus aléatoires.
TOP_K (facultatif) : Top-K modifie la façon dont le modèle sélectionne les jetons pour la sortie. Un top-K de 1 signifie que le prochain jeton sélectionné est le plus probable parmi tous les jetons du vocabulaire du modèle (également appelé décodage gourmand), tandis que le top-K de 3 signifie que le jeton suivant est sélectionné parmi les trois jetons les plus probables en utilisant la température.
Pour chaque étape de sélection du jeton, les jetons top-K avec les probabilités les plus élevées sont échantillonnés. Les jetons sont ensuite filtrés en fonction du top-P avec le jeton final sélectionné à l'aide de l'échantillonnage de température.

Spécifiez une valeur inférieure pour les réponses moins aléatoires et une valeur plus élevée pour les réponses plus aléatoires.

Méthode HTTP et URL :

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict

Corps JSON de la requête :

{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": STREAM
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Remarque : La commande suivante suppose que vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict"

PowerShell

Remarque : La commande suivante suppose que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON semblable à la suivante.

Réponse

{
  "id":"msg_012NDLxqh6LsztWCU7zTb14C",
  "type":"message",
  "role":"assistant",
  "content":[{
    "type":"text",
    "text":"Hello! Nice to meet you."
  }],
  "model":"claude-2.1",
  "stop_reason":"end_turn",
  "stop_sequence":null,
  "usage":{
    "input_tokens":11,
    "output_tokens":11
  }
}

Exemple de commande curl

MODEL_ID="claude-3-sonnet@20240229"
LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:streamRawPredict -d \
'{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [{
    "role": "user",
    "content": "Hello!"
  }],
  "max_tokens": 50,
  "stream": true}'

Disponibilité d'Anthropic Claude par région

Claude 3 Opus est disponible dans les régions suivantes :

us-east5 (Ohio)

Claude 3 Sonnet est disponible dans les régions suivantes :

us-central1 (Iowa)
asia-southeast1 (Singapore)

Claude 3 Haiku est disponible dans les régions suivantes :

us-central1 (Iowa)
europe-west4 (Netherlands)

Quotas d'Anthropic Claude et longueur de contexte acceptée

Pour les modèles Claude 3, un quota s'applique pour chaque région où le modèle est disponible. Le quota est spécifié en requêtes par minute (RPM) et en jetons par minute (TPM). Le TPM inclut à la fois les jetons d'entrée et de sortie.

Les limites de quota par défaut et la longueur de contexte acceptée pour Claude 3 Opus (bêta) sont les suivantes :

Région	Limite de quota par défaut	Longueur de contexte acceptée
`us-east5 (Ohio)`	15 RPM, 50 000 TPM	200 000 jetons

Voici les limites de quota et la longueur de contexte acceptée par défaut pour Claude 3 Sonnet :

Région	Limite de quota par défaut	Longueur de contexte acceptée
`us-central1 (Iowa)`	60 RPM, 50 000 TPM	200 000 jetons
`asia-southeast1 (Singapore)`	60 RPM, 50 000 TPM	200 000 jetons

Les limites de quota par défaut et la longueur de contexte acceptée pour Claude 3 Haiku sont les suivantes :

Région	Limite de quota par défaut	Longueur de contexte acceptée
`us-central1 (Iowa)`	60 RPM, 50 000 TPM	200 000 jetons
`europe-west4 (Netherlands)`	60 RPM, 50 000 TPM	200 000 jetons

Si vous souhaitez augmenter vos quotas pour l'IA générative sur Vertex AI, vous pouvez en faire la demande via la console Google Cloud. Pour en savoir plus sur les quotas, consultez la page Utiliser des quotas.

Activer les modèles Claude pour les utilisateurs

Pour qu'un utilisateur puisse activer les modèles Anthropic Claude et envoyer une requête, un administrateur doit définir les autorisations requises et vérifier que la règle d'administration autorise l'utilisation des API requises.

Définir les autorisations requises

Les rôles et les autorisations suivants sont requis pour utiliser les modèles Anthropic Claude :

L'utilisateur doit disposer du rôle IAM (Identity and Access Management) de gestionnaire des droits d'approvisionnement des consommateurs. Tout utilisateur disposant de ce rôle peut activer un modèle Anthropic Claude dans Model Garden.
L'utilisateur doit disposer de l'autorisation aiplatform.endpoints.predict. Cette autorisation est incluse dans le rôle IAM "Utilisateur Vertex AI". Pour en savoir plus, consultez les sections Utilisateur Vertex AI et Contrôle des accès.

Console

Pour attribuer les rôles IAM "Gestionnaire des droits d'approvisionnement des consommateurs" à un utilisateur, accédez à la page IAM.

Accéder à IAM
Dans la colonne Compte principal, recherchez le compte principal d'utilisateur pour lequel vous souhaitez activer l'accès aux modèles Anthropic Claude, puis cliquez sur Modifiez le compte principal sur cette ligne.
Dans le volet Modifier les accès, cliquez sur Ajouter un autre rôle.
Dans Sélectionner un rôle, sélectionnez Gestionnaire des droits d'approvisionnement des consommateurs.
Dans le volet Modifier les accès, cliquez sur Ajouter un autre rôle.
Dans le champ Sélectionner un rôle, sélectionnez Utilisateur Vertex AI.
Cliquez sur Enregistrer.

gcloud

Dans la console Google Cloud, activez Cloud Shell.

Activer Cloud Shell
Attribuez le rôle de gestionnaire des droits d'approvisionnement des consommateurs requis pour activer les modèles Anthropic Claude dans Model Garden
```
gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager
```
Attribuez le rôle d'utilisateur Vertex AI qui inclut l'autorisation aiplatform.endpoints.predict requise pour effectuer des requêtes :
```
gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user
```
Remplacez PRINCIPAL par l'identifiant du compte principal. L'identifiant se présente sous la forme user|group|serviceAccount:email ou domain:domain (par exemple, user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com ou domain:example.domain.com.

Le résultat est une liste de liaisons de stratégie qui incluent les éléments suivants :
```
- members:
  - user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager
```
Pour plus d'informations, consultez les sections Attribuer un seul rôle et gcloud projects add-iam-policy-binding.

Définir la règle d'administration

Pour activer les modèles Anthropic Claude, la règle d'administration autorisant l'utilisation des API suivantes :

API Cloud Commerce Consumer Procurement – cloudcommerceconsumerprocurement.googleapis.com
API Commerce Agreement – commerceagreement.googleapis.com

Si votre organisation définit une règle d'administration pour restreindre l'utilisation des services, un administrateur de l'organisation doit vérifier que cloudcommerceconsumerprocurement.googleapis.com et commerceagreement.googleapis.com sont autorisés en définissant la règle d'administration.