Utilisez Vertex AI pour envoyer une invite textuelle au LLM (grand modèle de langage) de Google PaLM 2 et recevoir une réponse. Testez et personnalisez des invites pour répondre aux besoins de votre application.
Avant de commencer
Avant de pouvoir essayer des invites textuelles, vous devez effectuer les opérations suivantes :
- Configurer un projet et un environnement de développement L'ID de projet est nécessaire pour exécuter l'exemple de code.
- Vous familiariser avec les paramètres de texte que vous devez remplacer avant d'exécuter l'exemple de code.
- Passer en revue les cas d'utilisation de texte pour vous aider à identifier le type d'exemple à créer.
Essayer les invites textuelles
Sélectionnez un onglet, puis suivez les instructions pour exécuter l'exemple.
REST
Pour tester une invite de texte à l'aide de l'API Vertex AI, envoyez une requête POST au point de terminaison du modèle de l'éditeur.
Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :
- PROJECT_ID : l'ID de votre projet.
- PROMPT : une invite est une requête en langage naturel envoyée à un modèle de langage pour recevoir une réponse. Les invites peuvent contenir des questions, des instructions, des informations contextuelles, des exemples et du texte pour le modèle à terminer ou à continuer. (N'ajoutez pas de guillemets autour de l'invite ici.)
- TEMPERATURE : La température est utilisée pour l'échantillonnage pendant la génération des réponses, qui se produit lorsque
topP
ettopK
sont appliqués. La température permet de contrôler le degré de hasard dans la sélection des jetons. Les températures inférieures sont idéales pour les requêtes qui nécessitent une réponse moins ouverte ou créative, tandis que des températures plus élevées peuvent conduire à des résultats plus diversifiés ou créatifs. Une température de0
signifie que les jetons de probabilité les plus élevés sont toujours sélectionnés. Dans ce cas, les réponses pour une requête donnée sont principalement déterministes, mais une petite quantité de variation est toujours possible.Si le modèle renvoie une réponse trop générique ou trop courte, ou s'il renvoie une réponse de remplacement, essayez d'augmenter la température.
- MAX_OUTPUT_TOKENS : nombre maximal de jetons pouvant être générés dans la réponse. Un jeton correspond environ à quatre caractères. 100 jetons correspondent à environ 60-80 mots.
Spécifiez une valeur inférieure pour obtenir des réponses plus courtes et une valeur supérieure pour des réponses potentiellement plus longues.
- TOP_P : Top-P modifie la façon dont le modèle sélectionne les jetons pour la sortie. Les jetons sont sélectionnés de la valeur la plus élevée (voir top-K) à la moins probable jusqu'à ce que la somme de leurs probabilités soit égale à la valeur top-P. Par exemple, si les jetons A, B et C ont une probabilité de 0,3, 0,2 et 0,1 et que la valeur de top-P est supérieure à
0.5
, le modèle sélectionne A ou B comme jeton suivant en utilisant la température et exclut C comme candidat.Spécifiez une valeur inférieure pour les réponses moins aléatoires et une valeur plus élevée pour les réponses plus aléatoires.
- TOP_K : Top-K modifie la façon dont le modèle sélectionne les jetons pour la sortie. Un top-K de
1
signifie que le prochain jeton sélectionné est le plus probable parmi tous les jetons du vocabulaire du modèle (également appelé décodage gourmand), tandis que le top-K de3
signifie que le jeton suivant est sélectionné parmi les trois jetons les plus probables en utilisant la température.Pour chaque étape de sélection du jeton, les jetons top-K avec les probabilités les plus élevées sont échantillonnés. Les jetons sont ensuite filtrés en fonction du top-P avec le jeton final sélectionné à l'aide de l'échantillonnage de température.
Spécifiez une valeur inférieure pour les réponses moins aléatoires et une valeur plus élevée pour les réponses plus aléatoires.
Méthode HTTP et URL :
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict
Corps JSON de la requête :
{ "instances": [ { "prompt": "PROMPT"} ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "topP": TOP_P, "topK": TOP_K } }
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Enregistrez le corps de la requête dans un fichier nommé request.json
, puis exécutez la commande suivante :
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict"
PowerShell
Enregistrez le corps de la requête dans un fichier nommé request.json
, puis exécutez la commande suivante :
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict" | Select-Object -Expand Content
Vous devriez recevoir une réponse JSON semblable à la suivante.
Python
Pour savoir comment installer ou mettre à jour le SDK pour Python, consultez la page Installer le SDK Vertex AI pour Python. Pour en savoir plus, consultez la documentation de référence de l'API Python.
C#
Avant d'essayer cet exemple, suivez les instructions de configuration pour C# décrites dans le guide de démarrage rapide de Vertex AI à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Vertex AI C#.
Pour vous authentifier auprès de Vertex AI, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Avant d'essayer cet exemple, suivez les instructions de configuration pour Node.js décrites dans le guide de démarrage rapide de Vertex AI à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Vertex AI Node.js.
Pour vous authentifier auprès de Vertex AI, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Avant d'essayer cet exemple, suivez les instructions de configuration pour Java décrites dans le guide de démarrage rapide de Vertex AI à l'aide des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Vertex AI Java.
Pour vous authentifier auprès de Vertex AI, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Console
Pour tester une invite de texte à l'aide de Vertex AI Studio dans la console Google Cloud, procédez comme suit :
- Dans la section "Vertex AI" de la console Google Cloud, accédez à la page Vertex AI Studio.
- S'il n'est pas déjà sélectionné, sélectionnez votre projet.
- Cliquez sur l'onglet Premiers pas.
- Cliquez sur Invite textuelle
Sélectionnez la méthode de saisie de l'invite :
- Forme libre est recommandé pour les invites zero-shot. Sinon, saisissez des invites few-shot.
- Structuré est recommandé pour concevoir des invites few-shot dans Vertex AI Studio.
Forme libre
Saisissez l'invite dans le champ de texte Invite.
Structurées
La méthode structurée de saisie des invites sépare les composants d'une invite dans différents champs :
- Contexte : Saisissez des instructions pour la tâche que vous souhaitez que le modèle exécute, et incluez toutes les informations contextuelles que le modèle doit référencer.
- Exemples : pour les invites few-shot, ajoutez des exemples d'entrées/sortie qui illustrent les schémas de comportement que le modèle doit imiter. L'ajout d'un préfixe tel que entrée ou sortie est facultatif. Facultatif : Si vous choisissez d'ajouter des préfixes, veillez à ce qu'ils soient cohérents dans tous les exemples.
- Exécuter : Dans le champ Entrée, saisissez l'entrée de l'invite pour laquelle vous souhaitez obtenir une réponse. L'ajout d'un préfixe pour les données d'entrée et de sortie de test est facultatif. Si vos exemples comportent des préfixes, le test doit avoir les mêmes préfixes.
Configurer le modèle et les paramètres.
- Cliquez sur Envoyer.
- Facultatif : Pour enregistrer votre invite dans Mes invites, cliquez sur Enregistrer.
- Facultatif : Pour obtenir le code Python ou la commande curl de votre invite, cliquez sur Afficher le code.
Réponse en streaming à partir d'un modèle textuel
Pour afficher des exemples de code de requêtes et de réponses avec l'API REST, consultez la page Exemples d'utilisation de l'API REST.
Pour afficher des exemples de requêtes et de réponses de code à l'aide du SDK Vertex AI pour Python, consultez la page Exemples d'utilisation du SDK Vertex AI pour Python.
Étapes suivantes
- Découvrez comment concevoir des invites textuelles et des invites de chat écrit.
- Découvrez comment tester des invites dans Vertex AI Studio.
- Découvrez les représentations vectorielles continues de texte.
- Essayez de régler un modèle de langage de fondation.
- Découvrez les bonnes pratiques d'IA responsable et les filtres de sécurité de Vertex AI.