Essayez les modèles Gemini 1.5, les derniers modèles multimodaux de Vertex AI, et découvrez ce que vous pouvez créer avec une fenêtre de contexte pouvant comprendre jusqu'à deux millions de jetons. Essayez les modèles Gemini 1.5, les derniers modèles multimodaux de Vertex AI, et découvrez ce que vous pouvez créer avec une fenêtre de contexte pouvant comprendre jusqu'à deux millions de jetons.

Utiliser Private Service Connect pour la prédiction en ligne

Private Service Connect vous permet d'accéder de manière sécurisée aux prédictions en ligne de Vertex AI à partir de plusieurs projets et réseaux VPC, sans avoir besoin d'adresses IP publiques, d'un accès à Internet public ou d'une plage d'adresses IP internes explicitement appariées.

Nous vous recommandons d'utiliser Private Service Connect pour les cas d'utilisation de prédiction en ligne qui présentent les exigences suivantes:

Exiger des connexions privées et sécurisées
Nécessitent une faible latence
Ne doivent pas être accessibles au public

Private Service Connect utilise une règle de transfert dans votre réseau VPC pour envoyer du trafic unidirectionnel au service de prédiction en ligne Vertex AI. La règle de transfert se connecte à un rattachement de service qui expose le service Vertex AI à votre réseau VPC. Pour en savoir plus, consultez À propos de l'accès aux services Vertex AI via des points de terminaison Private Service Connect. Pour en savoir plus sur la configuration de Private Service Connect, consultez la présentation de Private Service Connect dans la documentation du cloud privé virtuel (VPC).

Créer le point de terminaison

Utilisez l'une des méthodes suivantes pour créer un point de terminaison de prédiction en ligne avec Private Service Connect activé:

Console

Dans la console Google Cloud, dans Vertex AI, accédez à la page Prédiction en ligne.

Accéder à la page Prédiction en ligne
Cliquez sur Créer.
Indiquez un nom à afficher pour le point de terminaison.
Sélectionnez Privé.
Sélectionnez Private Service Connect.
Cliquez sur Sélectionner des ID de projet.
Sélectionnez les projets à ajouter à la liste d'autorisation pour le point de terminaison.
Cliquez sur Continuer.
Choisissez les caractéristiques de votre modèle. Pour en savoir plus, consultez la section Déployer un modèle sur un point de terminaison.
Cliquez sur Créer pour créer votre point de terminaison et y déployer votre modèle.
Notez l'ID du point de terminaison dans la réponse. Vous en aurez besoin pour la valeur VERTEXAI_ENDPOINT_ID lorsque vous créerez le point de terminaison Private Service Connect ultérieurement.

API

REST

Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

VERTEXAI_PROJECT_ID : ID du projet Google Cloud dans lequel créer le point de terminaison de prédiction en ligne.
REGION : région dans laquelle vous utilisez Vertex AI.
VERTEXAI_ENDPOINT_NAME: nom à afficher du point de terminaison de prédiction en ligne.
ALLOWED_PROJECTS : liste d'ID de projet Google Cloud séparés par une virgule, chacun entre guillemets, par exemple ["PROJECTID1", "PROJECTID2"]. Si un projet ne figure pas dans cette liste, vous ne pourrez pas envoyer de requêtes de prédiction au point de terminaison Vertex AI à partir de ce projet. Veillez à inclure VERTEXAI_PROJECT_ID dans cette liste afin de pouvoir appeler le point de terminaison à partir du même projet.

Méthode HTTP et URL :

POST https://REGION-aiplatform.googleapis.com/v1/projects/VERTEXAI_PROJECT_ID/locations/REGION/endpoints

Corps JSON de la requête :

{
  "displayName": "VERTEXAI_ENDPOINT_NAME",
  "privateServiceConnectConfig": {
    "enablePrivateServiceConnect": true,
    "projectAllowlist": ["ALLOWED_PROJECTS"]
  }
}

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

Remarque : La commande suivante suppose que vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://REGION-aiplatform.googleapis.com/v1/projects/VERTEXAI_PROJECT_ID/locations/REGION/endpoints"

PowerShell (Windows)

Remarque : La commande suivante suppose que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://REGION-aiplatform.googleapis.com/v1/projects/VERTEXAI_PROJECT_ID/locations/REGION/endpoints" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/VERTEXAI_PROJECT_NUMBER/locations/REGION/endpoints/VERTEXAI_ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-11-05T17:45:42.812656Z",
      "updateTime": "2020-11-05T17:45:42.812656Z"
    }
  }
}

Notez VERTEXAI_ENDPOINT_ID. Vous en aurez besoin pour déployer votre modèle lors d'une prochaine étape.

Déployer le modèle

Après avoir créé votre point de terminaison de prédiction en ligne avec Private Service Connect activé, déployez votre modèle sur ce point de terminaison en suivant les étapes décrites dans la section Déployer un modèle sur un point de terminaison.

Obtenir le rattachement de service

Lorsque vous déployez le modèle, un rattachement de service est créé pour le point de terminaison de prédiction en ligne. Exécutez la commande gcloud ai endpoints describe pour obtenir l'URI du rattachement de service.

Indiquez uniquement la valeur serviceAttachment dans les détails du point de terminaison :
```
gcloud ai endpoints describe VERTEXAI_ENDPOINT_ID \
--project=VERTEXAI_PROJECT_ID \
--region=REGION \
| grep -i serviceAttachment
```
Remplacez les éléments suivants :
- VERTEXAI_ENDPOINT_ID: ID du point de terminaison de prédiction en ligne que vous venez de créer
- VERTEXAI_PROJECT_ID : ID du projet Google Cloud dans lequel vous avez créé votre point de terminaison de prédiction en ligne
- REGION : région de la requête.
Le résultat ressemble à ce qui suit :
```
serviceAttachment: projects/ac74a9f84c2e5f2a1-tp/regions/us-central1/serviceAttachments/gkedpm-c6e6a854a634dc99472bb802f503c1
```
Notez la chaîne entière dans le champ serviceAttachment. Il s'agit de l'URI de rattachement de service.

Créer un point de terminaison Private Service Connect

Vous pouvez réserver une adresse IP interne pour le point de terminaison Private Service Connect et créer un point de terminaison Private Service Connect avec cette adresse. Pour créer le point de terminaison, vous avez besoin de l'URI du rattachement de service.

Pour réserver une adresse IP interne pour le point de terminaison Private Service Connect, utilisez la commande gcloud compute addresses create :
```
gcloud compute addresses create ADDRESS_NAME \
--project=VPC_PROJECT_ID \
--region=REGION \
--subnet=SUBNETWORK \
--addresses=INTERNAL_IP_ADDRESS
```
Remplacez les éléments suivants :
- ADDRESS_NAME: nom de l'adresse IP interne.
- VPC_PROJECT_ID: ID du projet Google Cloud qui héberge votre réseau VPC. Si votre point de terminaison de prédiction en ligne et votre point de terminaison Private Service Connect sont hébergés dans le même projet, utilisez VERTEXAI_PROJECT_ID pour ce paramètre.
- REGION: région Google Cloud dans laquelle le point de terminaison Private Service Connect doit être créé
- SUBNETWORK: nom du sous-réseau VPC contenant l'adresse IP
- INTERNAL_IP_ADDRESS: adresse IP interne à réserver. Ce paramètre est facultatif.
  - Si ce paramètre est spécifié, l'adresse IP doit être comprise dans la plage d'adresses IP principale du sous-réseau. L'adresse IP peut être une adresse RFC 1918 ou un sous-réseau avec des plages non-RFC.
  - Si ce paramètre est omis, une adresse IP interne est attribuée automatiquement.
  - Pour plus d'informations, consultez la page Réserver une nouvelle adresse IPv4 ou IPv6 interne statique.
Pour vérifier que l'adresse IP est réservée, utilisez la commande gcloud compute addresses list :
```
gcloud compute addresses list --filter="name=(ADDRESS_NAME)" \
--project=VPC_PROJECT_ID
```
Dans la réponse, vérifiez qu'un état RESERVED s'affiche pour l'adresse IP.
Pour créer le point de terminaison Private Service Connect et le faire pointer vers le rattachement de service de prédiction en ligne, utilisez la commande gcloud compute forwarding-rules create :
```
gcloud compute forwarding-rules create PSC_ENDPOINT_NAME \
    --address=ADDRESS_NAME \
    --project=VPC_PROJECT_ID \
    --region=REGION \
    --network=VPC_NETWORK_NAME \
    --target-service-attachment=SERVICE_ATTACHMENT_URI
```
Remplacez les éléments suivants :
- PSC_ENDPOINT_NAME: nom du point de terminaison Private Service Connect.
- VPC_NETWORK_NAME : nom du réseau VPC dans lequel le point de terminaison doit être créé
- SERVICE_ATTACHMENT_URI: rattachement de service que vous avez noté précédemment.
Pour vérifier que le rattachement de service accepte le point de terminaison, utilisez la commande gcloud compute forwarding-rules describe :
```
gcloud compute forwarding-rules describe PSC_ENDPOINT_NAME \
--project=VPC_PROJECT_ID \
--region=REGION
```
Dans la réponse, vérifiez qu'un état ACCEPTED s'affiche pour le champ pscConnectionStatus.

Facultatif : Obtenir l'adresse IP interne

Si vous n'avez pas spécifié de valeur pour INTERNAL_IP_ADDRESS lorsque vous avez créé le point de terminaison Private Service Connect, vous pouvez obtenir l'adresse qui a été allouée automatiquement à l'aide de la commande gcloud compute forwarding-rules describe :

gcloud compute forwarding-rules describe PSC_ENDPOINT_NAME \
--project=VERTEXAI_PROJECT_ID \
--region=REGION \
| grep -i IPAddress

Remplacez les éléments suivants :

PSC_ENDPOINT_NAME : nom de votre point de terminaison Private Service Connect
VERTEXAI_PROJECT_ID : ID de votre projet.
REGION: nom de la région pour cette requête

Obtenir des prédictions en ligne

L'obtention de prédictions en ligne à partir d'un point de terminaison avec Private Service Connect est semblable à l'obtention de prédictions en ligne à partir de points de terminaison publics, à l'exception des points suivants:

La requête doit être envoyée à partir d'un projet spécifié dans la projectAllowlist lors de la création du point de terminaison de prédiction en ligne.
Si l'accès mondial n'est pas activé, la requête doit être envoyée depuis la même région.
Pour obtenir des prédictions à l'aide de REST, vous devez vous connecter à l'aide de l'adresse IP statique du point de terminaison, sauf si vous créez un enregistrement DNS pour l'adresse IP interne. Par exemple, vous devez envoyer vos requêtes predict au point de terminaison suivant :
```
https://INTERNAL_IP_ADDRESS/v1/projects/VERTEXAI_PROJECT_ID/locations/REGION/endpoints/VERTEXAI_ENDPOINT_ID:predict
```
Remplacez INTERNAL_IP_ADDRESS par l'adresse IP publique que vous avez réservée précédemment.

Facultatif : Créer un enregistrement DNS pour l'adresse IP interne

Nous vous recommandons de créer un enregistrement DNS afin de pouvoir obtenir des prédictions en ligne à partir de votre point de terminaison compatible avec Private Service Connect sans avoir à spécifier l'adresse IP interne.

Pour en savoir plus, consultez la section Autres méthodes de configuration du DNS.

Créez une zone DNS privée à l'aide de la commande gcloud dns managed-zones create. Cette zone est associée au réseau VPC dans lequel le point de terminaison Private Service Connect a été créé.

DNS_NAME_SUFFIX="prediction.p.vertexai.goog."  # DNS names have "." at the end.
gcloud dns managed-zones create ZONE_NAME \
--project=VPC_PROJECT_ID \
--dns-name=$DNS_NAME_SUFFIX \
--networks=VPC_NETWORK_NAME \
--visibility=private \
--description="A DNS zone for Vertex AI endpoints using Private Service Connect."