Utiliser BigQuery ML pour prédire le poids d'un manchot

---

Dans ce tutoriel, vous allez utiliser un modèle de régression linéaire dans BigQuery ML pour prédire le poids d'un manchot en fonction de ses données démographiques. Une régression linéaire est un type de modèle de régression qui génère une valeur continue à partir d'une combinaison linéaire de caractéristiques d'entrée.

Ce tutoriel utilise l'ensemble de données bigquery-public-data.ml_datasets.penguins.

Objectifs

Dans ce tutoriel, vous allez effectuer les tâches suivantes :

• Créer un modèle de régression linéaire.
• évaluer le modèle ;
• Effectuer des prédictions à l'aide du modèle.

Remarque : Ce tutoriel traite de la régression linéaire en SQL pur. Pour suivre un tutoriel sur la régression linéaire utilisant Python et BigQuery DataFrames sur le même ensemble de données, consultez la page Créer un modèle de régression avec BigQuery DataFrames.

Coûts

Ce tutoriel utilise des composants facturables de Google Cloud dont :

• BigQuery
• BigQuery ML

Pour en savoir plus sur le coût de BigQuery, consultez la page Tarifs de BigQuery.

Pour en savoir plus sur les coûts associés à BigQuery ML, consultez la page Tarifs de BigQuery ML.

Avant de commencer

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery API.

   Enable the API

Autorisations requises

Pour créer le modèle à l'aide de BigQuery ML, vous devez disposer des autorisations IAM suivantes :

• bigquery.jobs.create
• bigquery.models.create
• bigquery.models.getData
• bigquery.models.updateData
• bigquery.models.updateMetadata

Pour exécuter une inférence, vous devez disposer des autorisations suivantes :

• bigquery.models.getData sur le modèle
• bigquery.jobs.create

Créer un ensemble de données

Vous allez créer un ensemble de données BigQuery pour stocker votre modèle de ML :

1. Dans la console Google Cloud, accédez à la page "BigQuery".

   Accéder à la page "BigQuery"

2. Dans le volet Explorateur, cliquez sur le nom de votre projet.

3. Cliquez sur Afficher les actions > Créer un ensemble de données.

   

4. Sur la page Créer un ensemble de données, procédez comme suit :

   • Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.

   • Pour Type d'emplacement, sélectionnez Multirégional, puis sélectionnez US (plusieurs régions aux États-Unis).

     Les ensembles de données publics sont stockés dans l'emplacement multirégional US. Par souci de simplicité, stockez votre ensemble de données dans le même emplacement.

   • Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

     

Créer le modèle

Créez un modèle de régression linéaire à l'aide de l'exemple d'ensemble de données Analytics pour BigQuery.

SQL

Vous pouvez créer un modèle de régression linéaire à l'aide de l'instruction CREATE MODEL et en spécifiant LINEAR_REG pour le type de modèle. La création du modèle comprend l'entraînement du modèle.

Voici quelques points utiles à connaître concernant l'instruction CREATE MODEL :

• L'option input_label_cols spécifie la colonne de l'instruction SELECT à utiliser comme colonne d'étiquette. Ici, la colonne d'étiquette est body_mass_g. Pour les modèles de régression linéaire, la colonne d'étiquette doit être renseignée avec des valeurs réelles (les valeurs de colonne doivent être des nombres réels).

• L'instruction SELECT de cette requête utilise les colonnes suivantes de la table bigquery-public-data.ml_datasets.penguins pour prédire le poids d'un manchot :

  • species : espèces de manchots.
  • island : île sur laquelle vit le manchot.
  • culmen_length_mm : longueur du culmen du manchot en millimètres.
  • culmen_depth_mm : profondeur du culmen du manchot en millimètres.
  • flipper_length_mm : longueur des nageoires du manchot en millimètres.
  • sex : sexe du manchot.

• La clause WHERE de l'instruction SELECT de cette requête, WHERE body_mass_g IS NOT NULL, exclut les lignes dont la colonne body_mass_g contient NULL.

Exécutez la requête permettant de créer le modèle de régression linéaire :

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, saisissez la requête suivante :

   CREATE OR REPLACE MODEL `bqml_tutorial.penguins_model`
   OPTIONS
     (model_type='linear_reg',
     input_label_cols=['body_mass_g']) AS
   SELECT
     *
   FROM
     `bigquery-public-data.ml_datasets.penguins`
   WHERE
     body_mass_g IS NOT NULL;

3. La création du modèle penguins_model prend environ 30 secondes. Pour afficher le modèle, accédez au volet Explorateur, développez l'ensemble de données bqml_tutorial, puis le dossier Modèles.

BigQuery DataFrames

Avant d'essayer cet exemple, suivez les instructions de configuration pour BigQuery DataFrames du guide de démarrage rapide de BigQuery DataFrames. Pour en savoir plus, consultez la documentation de référence sur BigQuery DataFrames.

Pour vous authentifier auprès de BigQuery, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'ADC pour un environnement de développement local.

from bigframes.ml.linear_model import LinearRegression
import bigframes.pandas as bpd

# Load data from BigQuery
bq_df = bpd.read_gbq("bigquery-public-data.ml_datasets.penguins")

# Drop rows with nulls to get training data
training_data = bq_df.dropna(subset=["body_mass_g"])

# Specify your feature (or input) columns and the label (or output) column:
feature_columns = training_data.drop(columns=["body_mass_g"])
label_columns = training_data[["body_mass_g"]]

# Create the linear model
model = LinearRegression()
model.fit(feature_columns, label_columns)
model.to_gbq(
    your_model_id,  # For example: "bqml_tutorial.penguins_model"
    replace=True,
)

La création du modèle prend environ 30 secondes. Pour afficher le modèle, accédez au volet Explorateur, développez l'ensemble de données bqml_tutorial, puis le dossier Modèles.

Obtenir des statistiques d'entraînement

Pour afficher les résultats de l'entraînement du modèle, vous pouvez utiliser la fonction ML.TRAINING_INFO ou afficher les statistiques dans la console Google Cloud. Dans ce tutoriel, vous utilisez la console Google Cloud.

Pour créer un modèle, un algorithme de machine learning examine de nombreux exemples et essaie de trouver un modèle qui minimise la perte. Ce processus est appelé "minimisation du risque empirique".

La perte est la pénalité liée à une mauvaise prédiction, exprimée sous la forme d'un nombre qui indique à quel point la prédiction du modèle est fausse pour un exemple donné. Si la prédiction du modèle est parfaite, la perte est nulle. Sinon, la perte est supérieure à zéro. L'objectif de l'entraînement d'un modèle est de trouver un ensemble de pondérations et de biais présentant une faible perte pour tous les exemples (en moyenne).

Pour afficher les statistiques d'entraînement du modèle qui ont été générées lors de l'exécution de la requête CREATE MODEL, procédez comme suit :

1. Dans le volet Explorateur, développez l'ensemble de données bqml_tutorial, puis le dossier Modèles. Cliquez sur penguins_model pour ouvrir le volet d'informations du modèle.

2. Cliquez sur l'onglet Entraînement, puis sur Table. Le résultat doit ressembler à ce qui suit :

   

   La colonne Training Data Loss (Perte de données d'entraînement) représente la métrique de perte calculée après entraînement du modèle dans l'ensemble de données d'entraînement. Étant donné que vous avez effectué une régression linéaire, cette colonne affiche la valeur de l'erreur quadratique moyenne. Une stratégie d'optimisation normal_equation est automatiquement utilisée pour cet entraînement. Une seule itération suffit donc pour converger vers le modèle final. Pour en savoir plus sur la définition de la stratégie d'optimisation des modèles, consultez la page optimize_strategy.

Évaluer le modèle

Après avoir créé le modèle, évaluez ses performances à l'aide de la fonction ML.EVALUATE ou de la fonction BigQuery DataFrames score pour comparer les valeurs de prédiction générées par le modèle aux données réelles.

SQL

En entrée, la fonction ML.EVALUATE utilise le modèle entraîné et un ensemble de données correspondant au schéma des données que vous avez utilisé pour entraîner le modèle. Dans un environnement de production, vous devez évaluer le modèle sur des données différentes de celles que vous avez utilisées pour l'entraîner. Si vous exécutez ML.EVALUATE sans fournir de données d'entrée, la fonction récupère les métriques d'évaluation calculées pendant l'entraînement. Ces métriques sont calculées à l'aide de l'ensemble de données d'évaluation réservé automatiquement :

    SELECT
      *
    FROM
      ML.EVALUATE(MODEL bqml_tutorial.penguins_model);
    

Exécutez la requête ML.EVALUATE :

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, saisissez la requête suivante :

     SELECT
       *
     FROM
       ML.EVALUATE(MODEL `bqml_tutorial.penguins_model`,
         (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           body_mass_g IS NOT NULL));
     

BigQuery DataFrames

Avant d'essayer cet exemple, suivez les instructions de configuration pour BigQuery DataFrames du guide de démarrage rapide de BigQuery DataFrames. Pour en savoir plus, consultez la documentation de référence sur BigQuery DataFrames.

Pour vous authentifier auprès de BigQuery, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'ADC pour un environnement de développement local.

import bigframes.pandas as bpd

# Select the model you will be evaluating. `read_gbq_model` loads model data from
# BigQuery, but you could also use the `model` object from the previous steps.
model = bpd.read_gbq_model(
    your_model_id,  # For example: "bqml_tutorial.penguins_model"
)

# Score the model with input data defined in an earlier step to compare
# model predictions on feature_columns to true labels in label_columns.
score = model.score(feature_columns, label_columns)
# Expected output results:
# index  mean_absolute_error  mean_squared_error  mean_squared_log_error  median_absolute_error  r2_score  explained_variance
#   0        227.012237         81838.159892            0.00507                173.080816        0.872377    0.872377
#   1 rows x 6 columns

Le résultat doit ressembler à ce qui suit :

Étant donné que vous avez effectué une régression linéaire, les résultats incluent les colonnes suivantes :

• mean_absolute_error
• mean_squared_error
• mean_squared_log_error
• median_absolute_error
• r2_score
• explained_variance

Le score R² est une métrique importante dans les résultats de l'évaluation. Le score R² est une mesure statistique qui détermine si les prédictions de la régression linéaire se rapprochent des données réelles. Une valeur 0 indique que le modèle n'apporte aucune explication sur la variabilité des données de réponse autour de la moyenne. Une valeur 1 indique que le modèle explique toute la variabilité des données de réponse autour de la moyenne.

Vous pouvez également consulter le volet d'informations du modèle dans la console Google Cloud pour afficher les métriques d'évaluation :

Utiliser le modèle pour prédire les résultats

Maintenant que vous avez évalué le modèle, l'étape suivante consiste à vous en servir pour prédire un résultat. Vous pouvez exécuter la fonction ML.PREDICT ou la fonction BigQuery DataFrames predict sur le modèle pour prédire la masse corporelle en grammes de tous les manchots vivant sur les îles Biscoe.

SQL

En entrée, la fonction ML.PREDICT prend le modèle entraîné et un ensemble de données correspondant au schéma de données que vous avez utilisé pour entraîner le modèle, à l'exclusion de la colonne d'étiquette.

Exécutez la requête ML.PREDICT :

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, saisissez la requête suivante :

   SELECT
   *
   FROM
   ML.PREDICT(MODEL `bqml_tutorial.penguins_model`,
     (
     SELECT
       *
     FROM
       `bigquery-public-data.ml_datasets.penguins`
     WHERE island = 'Biscoe'));

BigQuery DataFrames

Avant d'essayer cet exemple, suivez les instructions de configuration pour BigQuery DataFrames du guide de démarrage rapide de BigQuery DataFrames. Pour en savoir plus, consultez la documentation de référence sur BigQuery DataFrames.

Pour vous authentifier auprès de BigQuery, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'ADC pour un environnement de développement local.

# Select the model you'll use for predictions. `read_gbq_model` loads
# model data from BigQuery, but you could also use the `model` object
# object from previous steps.
model = bpd.read_gbq_model(
    your_model_id,
    # For example: "bqml_tutorial.penguins_model",
)

# Load data from BigQuery
bq_df = bpd.read_gbq("bigquery-public-data.ml_datasets.penguins")

# Use 'contains' function to filter by island containing the string
# "Biscoe".
biscoe_data = bq_df.loc[bq_df["island"].str.contains("Biscoe")]

result = model.predict(biscoe_data)

# Expected output results:
#     predicted_body_mass_g  	      species	                island	 culmen_length_mm  culmen_depth_mm   body_mass_g 	flipper_length_mm	sex
# 23	  4681.782896	   Gentoo penguin (Pygoscelis papua)	Biscoe	      <NA>	            <NA>	        <NA>	          <NA>	        <NA>
# 332	  4740.7907	       Gentoo penguin (Pygoscelis papua)	Biscoe	      46.2	            14.4	        214.0	          4650.0	    <NA>
# 160	  4731.310452	   Gentoo penguin (Pygoscelis papua)	Biscoe	      44.5	            14.3	        216.0	          4100.0	    <NA>

Le résultat doit ressembler à ce qui suit :

Expliquer les résultats des prédictions

Pour comprendre pourquoi votre modèle génère ces résultats de prédiction, vous pouvez utiliser la fonction ML.EXPLAIN_PREDICT.

ML.EXPLAIN_PREDICT est une version étendue de la fonction ML.PREDICT. La fonction ML.EXPLAIN_PREDICT génère non seulement des résultats de prédiction, mais elle produit également des colonnes supplémentaires servant à expliquer ces résultats. En pratique, vous pouvez exécuter ML.EXPLAIN_PREDICT au lieu de ML.PREDICT. Pour en savoir plus, consultez la présentation d'Explainable AI dans BigQuery ML.

Exécutez la requête ML.EXPLAIN_PREDICT :

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, saisissez la requête suivante :

   SELECT
   *
   FROM
   ML.EXPLAIN_PREDICT(MODEL `bqml_tutorial.penguins_model`,
     (
     SELECT
       *
     FROM
       `bigquery-public-data.ml_datasets.penguins`
     WHERE island = 'Biscoe'),
     STRUCT(3 as top_k_features));

3. Le résultat doit ressembler à ce qui suit :

   

Remarque : La requête ML.EXPLAIN_PREDICT génère toutes les colonnes de caractéristiques d'entrée, comme c'est le cas avec la fonction ML.PREDICT. Pour des raisons de lisibilité, une seule colonne de caractéristiques, species, est illustrée dans la figure précédente.

Pour les modèles de régression linéaire, les valeurs de Shapley sont utilisées pour générer les valeurs d'attribution des caractéristiques pour chaque caractéristique du modèle. ML.EXPLAIN_PREDICT génère les trois premières attributions de caractéristiques par ligne de la table penguins, car top_k_features a été défini sur 3 dans la requête. Ces attributions sont triées en fonction de la valeur absolue de l'attribution par ordre décroissant. Dans tous les exemples, la caractéristique sex a le plus contribué à la prédiction globale.

Expliquer globalement le modèle

Afin d'identifier les caractéristiques les plus importantes pour déterminer le poids des manchots en général, vous pouvez utiliser la fonction ML.GLOBAL_EXPLAIN. Pour utiliser ML.GLOBAL_EXPLAIN, vous devez réentraîner le modèle avec l'option ENABLE_GLOBAL_EXPLAIN définie sur TRUE.

Ré-entraînez le modèle et obtenez des explications globales :

1. Dans la console Google Cloud, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez la requête suivante pour réentraîner le modèle :

   #standardSQL
   CREATE OR REPLACE MODEL `bqml_tutorial.penguins_model`
     OPTIONS (
       model_type = 'linear_reg',
       input_label_cols = ['body_mass_g'],
       enable_global_explain = TRUE)
   AS
   SELECT
     *
   FROM
     `bigquery-public-data.ml_datasets.penguins`
   WHERE
     body_mass_g IS NOT NULL;

3. Dans l'éditeur de requête, exécutez la requête suivante pour obtenir des explications globales :

   SELECT
     *
   FROM
     ML.GLOBAL_EXPLAIN(MODEL `bqml_tutorial.penguins_model`)

4. Le résultat doit ressembler à ce qui suit :

   

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

• Supprimez le projet que vous avez créé.
• Ou conservez le projet et supprimez l'ensemble de données.

Supprimer l'ensemble de données

Si vous supprimez votre projet, tous les ensembles de données et toutes les tables qui lui sont associés sont également supprimés. Si vous préférez réutiliser le projet, vous pouvez supprimer l'ensemble de données que vous avez créé dans ce tutoriel :

1. Si nécessaire, ouvrez la page BigQuery dans Cloud Console.

   Accéder à BigQuery

2. Dans le panneau de navigation, cliquez sur l'ensemble de données bqml_tutorial que vous avez créé.

3. Cliquez sur Delete dataset (Supprimer l'ensemble de données) dans la partie droite de la fenêtre. Cette action supprime l'ensemble de données, la table et toutes les données.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, confirmez la commande de suppression en saisissant le nom de votre ensemble de données (bqml_tutorial), puis cliquez sur Supprimer.

Supprimer votre projet

Pour supprimer le projet :

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Étapes suivantes

• Pour obtenir plus d'informations sur BigQuery ML, consultez la page Présentation de BigQuery ML.
• Pour plus d'informations sur la création de modèles, consultez la page sur la syntaxe de CREATE MODEL.