Cette page explique comment générer des embeddings multimodaux à l'aide du modèle multimodal Vertex AI compatible, multimodalembedding@001
.
Vous pouvez utiliser les modèles d'embedding multimodaux Vertex AI mentionnés dans Modèles compatibles.
Sur cette page, nous partons du principe que vous connaissez AlloyDB pour PostgreSQL et les concepts d'IA générative. Pour en savoir plus sur les embeddings, consultez Que sont les embeddings ?
Avant de commencer
Avant d'utiliser les embeddings multimodaux, procédez comme suit :
- Vérifiez que l'extension
google_ml_integration
est installée. - Vérifiez que l'indicateur
google_ml_integration.enable_model_support
est défini suron
. - Intégration à Vertex AI
- Accédez aux données dans Cloud Storage pour générer des embeddings multimodaux.
Intégrer Vertex AI et installer l'extension
- Intégration à Vertex AI
- Assurez-vous que la dernière version de
google_ml_integration
est installée.Pour vérifier la version installée, exécutez la commande suivante :
SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration'; extversion ------------ 1.4.3 (1 row)
Si l'extension n'est pas installée ou si la version installée est antérieure à la version 1.4.3, mettez-la à jour en exécutant les commandes suivantes :
CREATE EXTENSION IF NOT EXISTS google_ml_integration; ALTER EXTENSION google_ml_integration UPDATE;
Si vous rencontrez des problèmes lors de l'exécution des commandes précédentes ou si l'extension n'est pas mise à jour vers la version 1.4.3 après l'exécution des commandes précédentes, contactez l'assistance AlloyDB.
Une fois que vous avez vérifié que la version est à jour, installez la fonctionnalité d'aperçu en exécutant la procédure
upgrade_to_preview_version
:CALL google_ml.upgrade_to_preview_version(); SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration'; extversion ------------ 1.4.4 (1 row)
Accéder aux données dans Cloud Storage pour générer des embeddings multimodaux
- Pour générer des embeddings multimodaux, référencez le contenu dans Cloud Storage à l'aide d'un URI
gs://
. - Accédez au contenu Cloud Storage via l'agent de service Vertex AI de votre projet actuel. Par défaut, l'agent de service Vertex AI est déjà autorisé à accéder au bucket du même projet. Pour en savoir plus, consultez l'index des rôles et autorisations IAM.
Pour accéder aux données d'un bucket Cloud Storage dans un autre projet Google Cloud , exécutez la commande gcloud CLI suivante pour attribuer le rôle Lecteur des objets de l'espace de stockage (
roles/storage.objectViewer
) à l'agent de service Vertex AI de votre projet AlloyDB.gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \ --member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \ --role="roles/storage.objectViewer"
Pour en savoir plus, consultez Définir et gérer des stratégies IAM sur des buckets.
Pour générer des embeddings multimodaux, sélectionnez l'un des schémas suivants.
Étapes suivantes
Enregistrez un point de terminaison de modèle avec la gestion des points de terminaison de modèle.
Interrogez vos données à l'aide d'opérateurs SQL optimisés par l'IA.