Cette page a été traduite par l'API Cloud Translation.

Démonstration: générer des embeddings multimodaux

Cette démonstration vous montre comment générer des embeddings multimodaux en transmettant une entrée multimodale, telle qu'un texte et une image, à un modèle d'embedding à l'aide du SDK Vertex AI pour ABAP.

Avant de commencer

Avant d'exécuter cette démonstration, assurez-vous que vous ou vos administrateurs avez rempli les conditions préalables suivantes :

Activer l'API Vertex AI dans votre projet Google Cloud.
Configurer l'authentification pour accéder à l'API Vertex AI.
Configurer les paramètres de génération de modèle. Pour générer des représentations vectorielles continues, seuls les paramètres suivants sont obligatoires: Client Key, Model Key, Model ID, Google Cloud Region Location et Publisher.

Générer des embeddings multimodaux

Pour générer des embeddings multimodaux, procédez comme suit:

Dans l'interface utilisateur graphique de SAP, exécutez le code de transaction /GOOG/SDK_IMG.

Vous pouvez également exécuter le code de transaction SPRO, puis cliquer sur SAP Reference IMG (IMG de référence SAP).
Accédez à SDK ABAP pour Google Cloud > Démonstrations.
Ouvrez Démonstration: Appeler des modèles d'embedding multimodaux.
Sélectionnez Générer des embeddings multimodaux.
Dans le champ Clé client, saisissez la clé client pour l'authentification.
Dans le champ Clé du modèle, saisissez la clé du modèle, qui est configurée dans les paramètres de génération du modèle.
Dans le champ Dimensions, saisissez le nombre de dimensions pour les embeddings de sortie, par exemple 1408. Pour les représentations vectorielles continues multimodales, les dimensions disponibles sont les suivantes: 128, 256, 512 et 1408.
Indiquez les valeurs des champs suivants, le cas échéant :
- URI GCS de l'image: pour ajouter une image à votre requête, spécifiez l'URI de l'image stockée dans un bucket Cloud Storage.
- Importer une image: pour ajouter une image à votre demande, importez-la depuis votre système local.
- URI GCS de la vidéo: pour ajouter une vidéo à votre requête, spécifiez l'URI de la vidéo stockée dans un bucket Cloud Storage.
Vous pouvez spécifier l'URI d'un fichier à partir de Cloud Storage ou importer un fichier depuis votre système local.
Dans le champ Saisir le texte, saisissez le texte à saisir.
Exécutez le programme. La zone Réponse du LLM affiche les embeddings générés.