Cette page a été traduite par l'API Cloud Translation.

Générer des embeddings de texte à l'aide d'un modèle ouvert et de la fonction ML.GENERATE_EMBEDDING

Ce tutoriel explique comment créer un modèle distant basé sur le modèle de représentation vectorielle continue de texte Open Source Qwen3-Embedding-0.6B, puis comment utiliser ce modèle avec la fonction ML.GENERATE_EMBEDDING pour intégrer des avis de films à partir de la table publique bigquery-public-data.imdb.reviews.

Autorisations requises

Pour exécuter ce tutoriel, vous devez disposer des rôles IAM (Identity and Access Management) suivants :

Créer et utiliser des ensembles de données, des connexions et des modèles BigQuery : administrateur BigQuery (roles/bigquery.admin).
Accordez des autorisations au compte de service de la connexion : Administrateur IAM du projet (roles/resourcemanager.projectIamAdmin).
Déployer et annuler le déploiement de modèles dans Vertex AI : administrateur Vertex AI (roles/aiplatform.admin).

Ces rôles prédéfinis contiennent les autorisations requises pour effectuer les tâches décrites dans ce document. Pour afficher les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Créez un ensemble de données : bigquery.datasets.create
Créer, déléguer et utiliser une connexion : bigquery.connections.*
Définissez la connexion par défaut : bigquery.config.*
Définissez les autorisations du compte de service : resourcemanager.projects.getIamPolicy et resourcemanager.projects.setIamPolicy.
Déployer et annuler le déploiement d'un modèle Vertex AI :
- aiplatform.endpoints.deploy
- aiplatform.endpoints.undeploy
Créez un modèle et exécutez l'inférence :
- bigquery.jobs.create
- bigquery.models.create
- bigquery.models.getData
- bigquery.models.updateData
- bigquery.models.updateMetadata

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Coûts

Dans ce document, vous utilisez les composants facturables de Google Cloudsuivants :

BigQuery ML: You incur costs for the data that you process in BigQuery.
Vertex AI: You incur costs for calls to the Vertex AI model that's represented by the remote model.

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût.

Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Pour en savoir plus sur les tarifs de BigQuery, consultez la page Tarifs de BigQuery dans la documentation BigQuery.

Les modèles ouverts que vous déployez sur Vertex AI sont facturés à l'heure machine. Cela signifie que la facturation commence dès que le point de terminaison est entièrement configuré et se poursuit jusqu'à ce que vous le désactiviez. Pour en savoir plus sur les tarifs de Vertex AI, consultez la page Tarifs de Vertex AI.

Avant de commencer

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.
Enable the APIs

Déployer un modèle Qwen3-Embedding-0.6B sur Vertex AI

Déployez le modèle Qwen/Qwen3-Embedding-0.6B depuis Hugging Face vers Vertex AI en suivant les instructions de la section Déployer des modèles Hugging Face. Lors du déploiement, vous devez sélectionner Public (point de terminaison partagé) comme valeur du champ Accès au point de terminaison dans le workflow de déploiement.

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

Console

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à la page "BigQuery"
Dans le volet Explorateur, cliquez sur le nom de votre projet.
Cliquez sur Afficher les actions > Créer un ensemble de données.
Sur la page Créer un ensemble de données, procédez comme suit :
- Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.
- Pour Type d'emplacement, sélectionnez Multirégional, puis sélectionnez US (plusieurs régions aux États-Unis).
- Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

bq

Pour créer un ensemble de données, exécutez la commande bq mk en spécifiant l'option --location. Pour obtenir la liste complète des paramètres possibles, consultez la documentation de référence sur la commande bq mk --dataset.

Créez un ensemble de données nommé bqml_tutorial avec l'emplacement des données défini sur US et une description de BigQuery ML tutorial dataset :
```
bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial
```
Au lieu d'utiliser l'option --dataset, la commande utilise le raccourci -d. Si vous omettez -d et --dataset, la commande crée un ensemble de données par défaut.
Vérifiez que l'ensemble de données a été créé :
```
bq ls
```

API

Appelez la méthode datasets.insert avec une ressource d'ensemble de données définie.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Avant d'essayer cet exemple, suivez les instructions de configuration pour BigQuery DataFrames du guide de démarrage rapide de BigQuery DataFrames. Pour en savoir plus, consultez la documentation de référence sur BigQuery DataFrames.

Pour vous authentifier auprès de BigQuery, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer les ADC pour un environnement de développement local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Créer le modèle distant

Créez un modèle distant représentant un modèle Vertex AI hébergé :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery
Dans l'éditeur de requête, exécutez l'instruction suivante :

CREATE OR REPLACE MODEL `bqml_tutorial.qwen3_embedding_model`
REMOTE WITH CONNECTION DEFAULT
OPTIONS (ENDPOINT = 'https://ENDPOINT_REGION-aiplatform.googleapis.com/v1/projects/ENDPOINT_PROJECT_ID/locations/ENDPOINT_REGION/endpoints/ENDPOINT_ID');

Remplacez les éléments suivants :

ENDPOINT_REGION : région dans laquelle le modèle ouvert est déployé.
ENDPOINT_PROJECT_ID : projet dans lequel le modèle ouvert est déployé.
ENDPOINT_ID : ID du point de terminaison HTTPS utilisé par le modèle ouvert. Vous pouvez obtenir l'ID du point de terminaison en recherchant le modèle ouvert sur la page Prédiction en ligne et en copiant la valeur dans le champ ID.

L'exemple suivant montre le format d'un point de terminaison HTTP valide :

https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/endpoints/1234.

L'exécution de la requête prend plusieurs secondes, après quoi le modèle qwen3_embedding_model apparaît dans l'ensemble de données bqml_tutorial dans le volet Explorateur. Étant donné que la requête utilise une instruction CREATE MODEL pour créer un modèle, il n'y a aucun résultat de requête.

Effectuer un embedding de texte

Effectuez un embedding de texte sur des avis de films IMDB à l'aide du modèle distant et de la fonction ML.GENERATE_EMBEDDING :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery
Dans l'éditeur de requête, saisissez l'instruction suivante pour effectuer l'embedding de texte sur cinq avis de films :
```
SELECT
  *
FROM
  ML.GENERATE_EMBEDDING(
    MODEL `bqml_tutorial.qwen3_embedding_model`,
    (
      SELECT
        review AS content,
        *
      FROM
        `bigquery-public-data.imdb.reviews`
      LIMIT 5
    )
  );
```
Les résultats incluent les colonnes suivantes :
- ml_generate_embedding_result : tableau de valeurs doubles représentant les embeddings générés.
- ml_generate_embedding_status : état de réponse d'API pour la ligne correspondante. Si l'opération a abouti, cette valeur est vide.
- content : texte d'entrée à partir duquel extraire les embeddings.
- Toutes les colonnes de la table bigquery-public-data.imdb.reviews.

Annuler le déploiement du modèle

Si vous choisissez de ne pas supprimer votre projet comme recommandé, veillez à annuler le déploiement du modèle d'embedding Qwen3 dans Vertex AI pour éviter de continuer à être facturé.

Effectuer un nettoyage

Attention : La suppression d'un projet a les effets suivants :

Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

In the Google Cloud console, go to the Manage resources page.
Go to Manage resources
In the project list, select the project that you want to delete, and then click Delete.
In the dialog, type the project ID, and then click Shut down to delete the project.

Étapes suivantes

Découvrez comment utiliser les embeddings textuels pour la recherche sémantique et la génération augmentée par récupération (RAG).