Effectuer des prédictions à l'aide de modèles distants sur Vertex AI

Présentation

Vous pouvez enregistrer un point de terminaison Vertex AI en tant que modèle distant et l'appeler directement depuis BigQuery avec ML.PREDICT.

Cela peut être utile lorsqu'un modèle est trop volumineux pour être importé dans BigQuery ou lorsque vous souhaitez utiliser un point d'inférence unique pour les cas d'utilisation en ligne, par lot et par micro-lot.

Ce tutoriel utilise un modèle d'analyse des sentiments personnalisé en ajustant un modèle BERT à l'aide d'avis sur des films IMDB en texte brut. Le modèle obtenu utilise des entrées de texte (avis de films) et renvoie des scores de sentiments compris entre (0, 1). Le modèle est enregistré dans Vertex AI Model Registry et diffusé sur un point de terminaison Vertex AI. De là, le modèle est ajouté à BigQuery en tant que modèle distant. Vous pouvez utiliser le modèle distant dans BigQuery pour obtenir des prédictions de sentiments dans une colonne de texte (avis de films issus de la table de 100 000 lignes bigquery-public-data.imdb.reviews).

Consultez le tutoriel sur le modèle distant BQML pour obtenir un tutoriel GitHub sur la version en Python.

Présentation du workflow

• Configuration du tutoriel
• Créer un modèle de ML
• Déployer un modèle sur Vertex AI
• Créer un modèle distant BigQuery ML
• Effectuer un nettoyage

Configuration du tutoriel

Ce tutoriel utilise les composants facturables suivants de Google Cloud : Cloud Storage, Vertex AI et BigQuery. À la fin du tutoriel, vous supprimerez les composants facturables.

1. Cliquez ici pour activer les API pour les connexions aux ressources Vertex AI, Cloud Storage et BigQuery.
2. Cloud Storage : pour créer un bucket dans l'emplacement multirégional US par défaut, suivez ces instructions.

Créer un modèle de ML

Créez un modèle à l'aide du tutoriel sur le modèle distant BQML, qui inclut un modèle de prédiction d'analyse des sentiments créé par réglage d'un modèle BERT avec ajout d'une couche de classification.

Nous avons déjà entraîné un exemple de modèle et l'avons importé dans gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/ pour vous permettre de l'utiliser directement.

Déployer un modèle sur Vertex AI

Suivez les instructions pour enregistrer le modèle dans Vertex AI Model Registry.

Suivez les instructions pour déployer le modèle de Vertex AI Model Registry sur un point de terminaison Vertex AI.

Nous vous recommandons de définir le nombre maximal de nœuds de calcul. Cela active la fonctionnalité d'autoscaling du côté de Vertex AI et permet au point de terminaison de traiter plus de requêtes lorsque votre table de données BigQuery contient un grand nombre de lignes.

Modèle distant BigQuery ML

La création d'un modèle distant BigQuery ML se compose de deux éléments : une connexion de ressource cloud BigQuery et un modèle distant BigQuery qui utilise la connexion.

Créer une connexion de ressource cloud BigQuery

Vous devez disposer d'une connexion à une ressource cloud pour vous connecter à Vertex AI.

Sélectionnez l'une des options suivantes :

Console

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Pour créer une connexion, cliquez sur Ajouter, puis sur Connexions aux sources de données externes.

3. Dans la liste Type de connexion, sélectionnez Modèles distants Vertex AI, fonctions distantes et BigLake (ressource Cloud).

4. Dans le champ ID de connexion, saisissez un nom pour votre connexion.

5. Cliquez sur Créer une connexion.

6. Cliquez sur Accéder à la connexion.

7. Dans le volet Informations de connexion, copiez l'ID du compte de service à utiliser à l'étape suivante.

bq

1. Dans un environnement de ligne de commande, créez une connexion :

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   Le paramètre --project_id remplace le projet par défaut.

   Remplacez les éléments suivants :

   • REGION : votre région de connexion
   • PROJECT_ID : ID de votre projet Google Cloud
   • CONNECTION_ID : ID de votre connexion

   Lorsque vous créez une ressource de connexion, BigQuery crée un compte de service système unique et l'associe à la connexion.

   Dépannage : Si vous obtenez l'erreur de connexion suivante, mettez à jour le Google Cloud SDK :

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Récupérez et copiez l'ID du compte de service pour l'utiliser lors d'une prochaine étape :

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   Le résultat ressemble à ce qui suit :

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Ajoutez la section suivante à votre fichier main.tf.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Remplacez les éléments suivants :

• CONNECTION_ID : ID de votre connexion
• PROJECT_ID : ID de votre projet Google Cloud
• REGION : votre région de connexion

Configurer l'accès

Pour attribuer au compte de service de la connexion un rôle approprié permettant d'accéder au service Vertex AI, procédez comme suit :

1. Accédez à la page IAM et administration.

   Accéder à IAM et administration

2. Cliquez sur Accorder l'accès.

3. Dans le champ Nouveaux comptes principaux, saisissez l'ID du compte de service que vous avez copié précédemment.

4. Dans le champ Sélectionner un rôle, sélectionnez Vertex AI, puis le rôle Utilisateur Vertex AI.

5. Cliquez sur Enregistrer.

Créer votre ensemble de données

Vous allez créer un ensemble de données BigQuery pour stocker votre modèle de ML :

1. Dans la console Google Cloud, accédez à la page "BigQuery".

   Accéder à la page "BigQuery"

2. Dans le volet Explorateur, cliquez sur le nom de votre projet.

3. Cliquez sur Afficher les actions > Créer un ensemble de données.

   

4. Sur la page Créer un ensemble de données, procédez comme suit :

   • Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.

   • Pour Type d'emplacement, sélectionnez Multirégional, puis sélectionnez US (plusieurs régions aux États-Unis).

     Les ensembles de données publics sont stockés dans l'emplacement multirégional US. Par souci de simplicité, stockez votre ensemble de données dans le même emplacement.

   • Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

     

Créer un modèle distant BigQuery ML

Pour afficher le schéma d'entrée et de sortie du modèle TensorFlow en envoyant une requête au point de terminaison :

Exemple de requête :

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:predict -d "{'instances': [{ 'text': 'This is an amazing movie'}, { 'text': 'The movie was terrible'}]}"

Exemple de réponse :

{
  "predictions": [
    [
      [ 0.999410391 ]
    ],
    [
      [ 0.000628352049 ]
    ]
  ]
}

Lors de la création d'un modèle distant, les noms et les types de champs d'entrée et de sortie doivent être identiques aux entrées et aux sorties de Vertex AI.

Pour le modèle avec un seul résultat, Vertex AI ne renvoie pas le nom du champ. Dans CREATE MODEL, vous pouvez spécifier n'importe quel nom de champ.

L'exemple suivant montre comment créer un modèle distant à l'aide d'une connexion :

CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
    INPUT (text STRING)
    OUTPUT(scores ARRAY<FLOAT64>)
    REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
    OPTIONS(endpoint = 'ENDPOINT_URL')

Obtenir des prédictions avec ML.PREDICT

Obtenez des prédictions à partir du modèle distant dans BigQuery à l'aide de la fonction ML.PREDICT. Ici, 10 000 enregistrements sont sélectionnés et envoyés pour la prédiction. Le modèle distant utilise par défaut une taille de lot de 128 instances pour ses requêtes.

SELECT *
FROM ML.PREDICT (
    MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
    (
        SELECT review as text
        FROM `bigquery-public-data.imdb.reviews`
        LIMIT 10000
    )
)

Régions où le service est disponible

Il existe deux types de zones dans BigQuery :

• Une région est un emplacement géographique spécifique, par exemple Londres.
• Une zone multirégionale correspond à un secteur géographique de grande étendue, par exemple les États-Unis, et comporte au moins deux emplacements géographiques.

Région unique

Dans un ensemble de données BigQuery dans une seule région, vous ne pouvez créer qu'un modèle distant utilisant un point de terminaison Vertex AI déployé dans la même région. Un modèle distant dans la région BigQuery us-central1 ne peut utiliser qu'un Vertex AI dans us-central1. Ainsi, pour les régions uniques, les modèles distants ne sont disponibles que dans les régions compatibles à la fois avec Vertex AI et BigQuery.

Emplacements multirégionaux

Dans un ensemble de données BigQuery multirégional (US, EU), vous ne pouvez créer qu'un modèle distant qui utilise un modèle distant déployé dans une région située dans la même zone géographique (US, EU). Par exemple, un modèle distant dans BigQuery multirégional aux États-Unis ne peut utiliser qu'un point de terminaison Vertex AI déployé dans une seule région de la zone géographique des États-Unis, par exemple, us-central1, us-east4, us-west2, etc.

Un modèle distant dans un emplacement BigQuery multirégional de l'UE ne peut utiliser qu'un point de terminaison Vertex AI déployé dans une région unique des États membres de l'Union européenne, par exemple europe-north1, europe-west3, etc.

Pour en savoir plus sur les régions et les zones multirégionales BigQuery, consultez la page Emplacements des ensembles de données. Pour en savoir plus sur les régions Vertex AI, consultez les emplacements Vertex AI.

Utiliser VPC Service Controls

VPC Service Controls est une fonctionnalité de Google Cloud qui vous permet de configurer un périmètre sécurisé pour vous protéger contre l'exfiltration de données. Pour utiliser VPC Service Controls avec des modèles distants afin de renforcer la sécurité, suivez le guide VPC Service Controls pour créer un périmètre de service.

Ajoutez le projet BigQuery de la requête en utilisant la fonction distante dans le périmètre. Ajoutez le projet de point de terminaison au périmètre et définissez l'API Vertex AI dans les services restreints en fonction de votre type de point de terminaison. Pour en savoir plus, consultez la page Vertex AI VPC Service Controls.

Effectuer un nettoyage

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.