Prévision de séries temporelles hiérarchiques

Ce tutoriel vous explique comment générer une série temporelle hiérarchique. Dans ce tutoriel, vous allez créer deux modèles de séries temporelles sur les mêmes données, l'un utilisant la prévision hiérarchique et l'autre non. Cela vous permet de comparer les résultats renvoyés par les modèles.

Vous utilisez les données iowa_liquor.sales.sales pour entraîner les modèles dans ce tutoriel. Cet ensemble de données contient des informations sur plus d'un million de produits alcoolisés dans différents magasins et qui utilisent des données publiques sur les ventes d'alcool de l'Iowa.

Pour pouvoir suivre ce tutoriel, vous devez maîtriser les prévisions de séries temporelles multiples. Pour obtenir une présentation de ce sujet, suivez le tutoriel Prévoir une série temporelle multiple à partir de données Google Analytics.

Autorisations requises

• Pour créer l'ensemble de données, vous devez disposer de l'autorisation IAM bigquery.datasets.create.

• Pour créer la ressource de connexion, vous devez disposer des autorisations suivantes :

  • bigquery.connections.create
  • bigquery.connections.get

• Pour créer le modèle, vous avez besoin des autorisations suivantes :

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.connections.delegate

• Pour exécuter une inférence, vous devez disposer des autorisations suivantes :

  • bigquery.models.getData
  • bigquery.jobs.create

Pour plus d'informations sur les rôles et les autorisations IAM dans BigQuery, consultez la page Présentation d'IAM.

Objectifs

Dans ce tutoriel, vous allez utiliser :

• L'instruction CREATE MODEL, pour créer un modèle de série temporelle et un modèle de série temporelle hiérarchique
• La fonction ML.FORECAST, pour prévoir le nombre total de visites quotidiennes

Coûts

Ce tutoriel utilise des composants facturables de Google Cloud, y compris :

• BigQuery
• BigQuery ML

Pour plus d'informations sur les coûts de BigQuery, consultez la page Tarifs de BigQuery.

Pour en savoir plus sur les coûts associés à BigQuery ML, consultez la page Tarifs de BigQuery ML.

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery API.

   Enable the API

Créer un ensemble de données

Vous allez créer un ensemble de données BigQuery pour stocker votre modèle de ML :

1. Dans la console Google Cloud, accédez à la page "BigQuery".

   Accéder à la page "BigQuery"

2. Dans le volet Explorateur, cliquez sur le nom de votre projet.

3. Cliquez sur Afficher les actions > Créer un ensemble de données.

   

4. Sur la page Créer un ensemble de données, procédez comme suit :

   • Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.

   • Pour Type d'emplacement, sélectionnez Multirégional, puis sélectionnez US (plusieurs régions aux États-Unis).

     Les ensembles de données publics sont stockés dans l'emplacement multirégional US. Par souci de simplicité, stockez votre ensemble de données dans le même emplacement.

   • Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

     

Rapprochement hiérarchique

Les prévisions de séries temporelles peuvent souvent être ventilées ou agrégées en fonction de différentes dimensions d'intérêt. On parle de séries temporelles hiérarchiques. Par exemple, les données de recensement qui révèlent la population totale par État peuvent être ventilées par ville et par code postal. À l'inverse, nous pouvons agréger ces données pour chaque pays ou continent.

Plusieurs techniques permettent de générer et de rapprocher des prévisions hiérarchiques. Prenons l'exemple suivant, qui montre une structure hiérarchique simplifiée pour les ventes d'alcools dans l'État de l'Iowa :

Le niveau le plus bas indique le niveau du magasin, suivi du code postal, de la ville, du comté et enfin de l'État. L'objectif des prévisions hiérarchiques est de s'assurer que toutes les prévisions de chaque niveau doivent être rapprochées. Par exemple, pour le chiffre précédent, cela signifie que la somme des prévisions pour Clive et Des Moines doit correspondre à la prévision de Polk. De même, les prévisions de Polk, Linn et Scott devraient totaliser celle de l'Iowa.

Il existe quelques techniques courantes que vous pouvez utiliser pour générer des prévisions rapprochées pour chaque niveau. L'une des techniques est l'approche de bas en haut. Dans cette approche, les prévisions sont d'abord générées au niveau inférieur de la hiérarchie, avant d'additionner les autres niveaux. Dans l'exemple précédent, les prévisions pour chaque magasin sont utilisées pour créer les modèles de prévision pour les autres niveaux (d'abord le code postal, suivi de la ville, etc.).

Créer un modèle de série temporelle

Tout d'abord, créez un modèle de série temporelle, en utilisant les données sur les ventes d'alcools de l'Iowa.

La requête GoogleSQL suivante crée un modèle permettant d'effectuer des prévisions sur le nombre total de bouteilles vendues par jour en 2015 dans les comtés de Polk, Linn et Scott. L'instruction CREATE MODEL crée et entraîne un modèle nommé bqml_tutorial.liquor_forecast.

#standardSQL
CREATE OR REPLACE MODEL `bqml_tutorial.liquor_forecast`
  OPTIONS (
    MODEL_TYPE = 'ARIMA_PLUS',
    TIME_SERIES_TIMESTAMP_COL = 'date',
    TIME_SERIES_DATA_COL = 'total_bottles_sold',
    TIME_SERIES_ID_COL = ['store_number', 'zip_code', 'city', 'county'],
    HOLIDAY_REGION = 'US')
AS
SELECT
  store_number,
  zip_code,
  city,
  county,
  date,
  SUM(bottles_sold) AS total_bottles_sold
FROM
  `bigquery-public-data.iowa_liquor_sales.sales`
WHERE
  date BETWEEN DATE('2015-01-01') AND DATE('2015-12-31')
  AND county IN ('POLK', 'LINN', 'SCOTT')
GROUP BY store_number, date, city, zip_code, county;

La clause OPTIONS(model_type='ARIMA_PLUS', time_series_timestamp_col='date', ...) indique que vous créez un modèle de série temporelle basé sur ARIMA. Par défaut, auto_arima=TRUE. L'algorithme auto.ARIMA ajuste donc automatiquement les hyperparamètres des modèles ARIMA_PLUS. L'algorithme s'adapte à des dizaines de modèles candidats et choisit le meilleur d'entre eux, qui présente l'AIC (Akaike information criterion) le plus faible. Définir l'option holiday_region sur US permet une modélisation plus précise de ces périodes de vacances aux États-Unis, si la série temporelle comporte des tendances saisonnières.

Exécutez la requête CREATE MODEL pour créer et entraîner votre modèle :

1. Dans la console Google Cloud, cliquez sur le bouton Exécuter une requête dans BigQuery.

2. Saisissez la requête GoogleSQL suivante dans l'éditeur de requête.

#standardSQL
CREATE OR REPLACE MODEL `bqml_tutorial.liquor_forecast`
  OPTIONS (
    MODEL_TYPE = 'ARIMA_PLUS',
    TIME_SERIES_TIMESTAMP_COL = 'date',
    TIME_SERIES_DATA_COL = 'total_bottles_sold',
    TIME_SERIES_ID_COL = ['store_number', 'zip_code', 'city', 'county'],
    HOLIDAY_REGION = 'US')
AS
SELECT
  store_number,
  zip_code,
  city,
  county,
  date,
  SUM(bottles_sold) AS total_bottles_sold
FROM
  `bigquery-public-data.iowa_liquor_sales.sales`
WHERE
  date BETWEEN DATE('2015-01-01') AND DATE('2015-12-31')
  AND county IN ('POLK', 'LINN', 'SCOTT')
GROUP BY store_number, date, city, zip_code, county;

1. Cliquez sur Exécuter.

   L'exécution de la requête prend environ 37 secondes, puis votre modèle (liquor_forecast) s'affiche dans le volet Explorateur. Étant donné que la requête utilise une instruction CREATE MODEL pour créer un modèle, il n'y a aucun résultat de requête.

Inspecter les résultats du modèle de série temporelle

Après avoir créé votre modèle, vous pouvez utiliser la fonction ML.FORECAST pour afficher les résultats des prévisions.

Vous exécutez la fonction ML.FORECAST sur le modèle liquor_forecast en la spécifiant dans la clause FROM.

Par défaut, cette requête renvoie les prévisions pour toutes les séries temporelles uniques dans les données, identifiées par les colonnes store_number, zip_code, city et county.

Procédez comme suit pour exécuter la requête ML.FORECAST :

1. Dans la console Google Cloud, cliquez sur le bouton Exécuter une requête dans BigQuery.

2. Saisissez la requête GoogleSQL suivante dans l'éditeur de requête.

#standardSQL
SELECT *
FROM
  ML.FORECAST(
    MODEL `bqml_tutorial.liquor_forecast`,
    STRUCT(20 AS horizon, 0.8 AS confidence_level))
ORDER BY store_number, county, city, zip_code, forecast_timestamp

1. Cliquez sur Exécuter.

   L'exécution de la requête devrait prendre environ cinq secondes. Une fois la requête exécutée, la sortie affiche les résultats suivants :

   

   Notez comment les prévisions s'affichent pour la première série temporelle (store_number=2190, zip_code=50314, city=DES MOINES, county=POLK). Si vous regardez plus en détail les autres lignes, vous remarquerez les prévisions pour les autres groupes.

   En général, les prévisions sont générées pour chaque série temporelle unique. Afin de générer des prévisions pour des niveaux agrégés, telles que des prévisions pour un comté spécifique, vous devez générer une prévision hiérarchique.

Créer un modèle de série temporelle avec des prévisions hiérarchiques

Créez une prévision de séries temporelles hiérarchique, à l'aide des données sur les ventes d'alcools de l'Iowa.

La requête GoogleSQL suivante crée un modèle qui génère des prévisions hiérarchiques pour le nombre total de bouteilles vendues par jour et en 2015 dans les comtés de Polk, Linn et Scott. L'instruction CREATE MODEL crée et entraîne un modèle nommé bqml_tutorial.liquor_forecast_hierarchical.

#standardSQL
CREATE OR REPLACE MODEL `bqml_tutorial.liquor_forecast_hierarchical`
  OPTIONS (
    MODEL_TYPE = 'ARIMA_PLUS',
    TIME_SERIES_TIMESTAMP_COL = 'date',
    TIME_SERIES_DATA_COL = 'total_bottles_sold',
    TIME_SERIES_ID_COL = ['store_number', 'zip_code', 'city', 'county'],
    HIERARCHICAL_TIME_SERIES_COLS = ['zip_code', 'store_number'],
    HOLIDAY_REGION = 'US')
AS
SELECT
  store_number,
  zip_code,
  city,
  county,
  date,
  SUM(bottles_sold) AS total_bottles_sold
FROM
  `bigquery-public-data.iowa_liquor_sales.sales`
WHERE
  date BETWEEN DATE('2015-01-01') AND DATE('2015-12-31')
  AND county IN ('POLK', 'LINN', 'SCOTT')
GROUP BY store_number, date, city, zip_code, county;

Le paramètre HIERARCHICAL_TIME_SERIES_COLS indique que vous créez une prévision hiérarchique basée sur un ensemble de colonnes. Chacune de ces colonnes est regroupée et agrégée. Par exemple, dans la requête précédente, cela signifie que store_number est regroupé pour afficher les prévisions pour chaque county, city et zip_code. Séparément, zip_code et store_number sont également regroupés afin d'afficher les prévisions pour chaque county et city. L'ordre des colonnes est important, car il définit la structure de la hiérarchie.

Exécutez la requête CREATE MODEL pour créer et entraîner votre modèle :

1. Dans la console Google Cloud, cliquez sur le bouton Exécuter une requête dans BigQuery.

2. Saisissez la requête GoogleSQL suivante dans l'éditeur de requête.

#standardSQL
CREATE OR REPLACE MODEL `bqml_tutorial.liquor_forecast_hierarchical`
  OPTIONS (
    MODEL_TYPE = 'ARIMA_PLUS',
    TIME_SERIES_TIMESTAMP_COL = 'date',
    TIME_SERIES_DATA_COL = 'total_bottles_sold',
    TIME_SERIES_ID_COL = ['store_number', 'zip_code', 'city', 'county'],
    HIERARCHICAL_TIME_SERIES_COLS = ['zip_code', 'store_number'],
    HOLIDAY_REGION = 'US')
AS
SELECT
  store_number,
  zip_code,
  city,
  county,
  date,
  SUM(bottles_sold) AS total_bottles_sold
FROM
  `bigquery-public-data.iowa_liquor_sales.sales`
WHERE
  date BETWEEN DATE('2015-01-01') AND DATE('2015-12-31')
  AND county IN ('POLK', 'LINN', 'SCOTT')
GROUP BY store_number, date, city, zip_code, county;

1. Cliquez sur Exécuter.

   L'exécution de la requête prend environ 45 secondes, puis votre modèle (bqml_tutorial.liquor_forecast_hierarchical) s'affiche dans le volet Explorateur. Étant donné que la requête utilise une instruction CREATE MODEL pour créer un modèle, il n'y a aucun résultat de requête.

Inspecter les résultats du modèle de série temporelle hiérarchique

1. Dans la console Google Cloud, cliquez sur le bouton Exécuter une requête dans BigQuery.

2. Saisissez la requête GoogleSQL suivante dans l'éditeur de requête.

   #standardSQL
   SELECT
   *
   FROM
   ML.FORECAST(
     MODEL `bqml_tutorial.liquor_forecast_hierarchical`,
     STRUCT(30 AS horizon, 0.8 AS confidence_level))
   WHERE city = 'LECLAIRE'
   ORDER BY county, city, zip_code, store_number, forecast_timestamp

3. Cliquez sur Exécuter.

   L'exécution de la requête devrait prendre environ cinq secondes. Une fois la requête exécutée, la sortie affiche les résultats suivants :

   

   Notez comment la prévision agrégée s'affiche pour la ville de LeClaire (store_number=NULL, zip_code=NULL, city=LECLAIRE, county=SCOTT). Si vous regardez plus en détail les autres lignes, vous remarquerez les prévisions pour les autres sous-groupes. Par exemple, l'image suivante montre les prévisions agrégées pour le code postal 52753 (store_number=NULL, zip_code=52753, city=LECLAIRE, county=SCOTT):

   

Supprimer l'ensemble de données

Si vous supprimez votre projet, tous les ensembles de données et toutes les tables qui lui sont associés sont également supprimés. Si vous préférez réutiliser le projet, vous pouvez supprimer l'ensemble de données que vous avez créé dans ce tutoriel :

1. Si nécessaire, ouvrez la page BigQuery dans Cloud Console.

   Accéder à BigQuery

2. Dans le panneau de navigation, cliquez sur l'ensemble de données bqml_tutorial que vous avez créé.

3. Cliquez sur Delete dataset (Supprimer l'ensemble de données) dans la partie droite de la fenêtre. Cette action supprime l'ensemble de données, la table et toutes les données.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, confirmez la commande de suppression en saisissant le nom de votre ensemble de données (bqml_tutorial), puis cliquez sur Supprimer.

Supprimer votre projet

Pour supprimer le projet :

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Étapes suivantes

• Découvrez comment effectuer plusieurs prévisions de séries temporelles à l'aide d'une seule requête pour les trajets Citi Bike effectués dans la ville de New York.
• Découvrez comment accélérer ARIMA_PLUS pour prévoir un million de séries temporelles en quelques heures.
• Pour en savoir plus sur le machine learning, consultez le Cours d'initiation au Machine Learning.
• Pour obtenir plus d'informations sur BigQuery ML, consultez la page Présentation de BigQuery ML.
• Pour en savoir plus sur la console Google Cloud, consultez la page Utiliser la console Google Cloud.