Preveja várias séries cronológicas com um modelo multivariável

---

Este tutorial ensina como usar um modelo de série temporal multivariada para prever o valor futuro de uma determinada coluna, com base no valor histórico de várias caraterísticas de entrada.

Este tutorial faz previsões para várias séries cronológicas. Os valores previstos são calculados para cada ponto temporal, para cada valor numa ou mais colunas especificadas. Por exemplo, se quiser prever o tempo e especificar uma coluna com dados de estado, os dados previstos vão conter previsões para todos os pontos temporais do estado A, seguidas dos valores previstos para todos os pontos temporais do estado B e assim sucessivamente. Se quisesse prever o tempo e especificasse colunas com dados de estado e cidade, os dados previstos conteriam previsões para todos os pontos temporais para o estado A e a cidade A, seguidas dos valores previstos para todos os pontos temporais para o estado A e a cidade B, e assim sucessivamente.

Este tutorial usa dados das tabelas públicas bigquery-public-data.iowa_liquor_sales.sales e bigquery-public-data.covid19_weathersource_com.postal_code_day_history. A tabela bigquery-public-data.iowa_liquor_sales.sales contém dados de vendas de bebidas alcoólicas recolhidos em várias cidades no estado de Iowa. A bigquery-public-data.covid19_weathersource_com.postal_code_day_history tabela contém dados meteorológicos do histórico, como a temperatura e a humidade, de todo o mundo.

Antes de ler este tutorial, recomendamos vivamente que leia o artigo Preveja uma única série cronológica com um modelo multivariável.

Objetivos

Este tutorial explica como concluir as seguintes tarefas:

• Criar um modelo de séries cronológicas para prever encomendas de lojas de bebidas alcoólicas usando a declaração CREATE MODEL.
• Obter os valores de encomendas previstos do modelo através da função ML.FORECAST.
• Obter componentes da série cronológica, como sazonalidade, tendência e atribuições de caraterísticas, através da função ML.EXPLAIN_FORECAST. Pode inspecionar estes componentes de séries cronológicas para explicar os valores previstos.
• Avalie a precisão do modelo através da função ML.EVALUATE.
• Detetar anomalias através da utilização do modelo com a função ML.DETECT_ANOMALIES.

Custos

Este tutorial usa componentes faturáveis do Google Cloud, incluindo o seguinte:

• BigQuery
• BigQuery ML

Para mais informações acerca dos custos do BigQuery, consulte a página de preços do BigQuery.

Para mais informações acerca dos custos do BigQuery ML, consulte os preços do BigQuery ML.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. O BigQuery é ativado automaticamente em novos projetos. Para ativar o BigQuery num projeto pré-existente, aceda a

   Enable the BigQuery API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda à página do BigQuery

2. No painel Explorador, clique no nome do projeto.

3. Clique em Ver ações > Criar conjunto de dados

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para o ID do conjunto de dados, introduza bqml_tutorial.

   • Em Tipo de localização, selecione Várias regiões e, de seguida, selecione EUA (várias regiões nos Estados Unidos).

   • Deixe as restantes predefinições como estão e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, use o comando bq mk com a flag --location. Para uma lista completa de parâmetros possíveis, consulte a referência do comando bq mk --dataset.

1. Crie um conjunto de dados com o nome bqml_tutorial com a localização dos dados definida como US e uma descrição de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Em vez de usar a flag --dataset, o comando usa o atalho -d. Se omitir -d e --dataset, o comando cria um conjunto de dados por predefinição.

2. Confirme que o conjunto de dados foi criado:

   bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crie uma tabela de dados de entrada

Crie uma tabela de dados que possa usar para preparar e avaliar o modelo. Esta tabela combina colunas das tabelas bigquery-public-data.iowa_liquor_sales.sales e bigquery-public-data.covid19_weathersource_com.postal_code_day_history para analisar como as condições meteorológicas afetam o tipo e o número de artigos encomendados por lojas de bebidas alcoólicas. Também cria as seguintes colunas adicionais que pode usar como variáveis de entrada para o modelo:

• date: a data da encomenda
• store_number: o número exclusivo da loja que fez a encomenda
• item_number: o número exclusivo do artigo que foi encomendado
• bottles_sold: o número de garrafas encomendadas do artigo associado
• temperature: a temperatura média na localização da loja na data da encomenda
• humidity: a humidade média na localização da loja na data da encomenda

Siga estes passos para criar a tabela de dados de entrada:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.iowa_liquor_sales_with_weather` AS
   WITH
     sales AS (
       SELECT
         DATE,
         store_number,
         item_number,
         bottles_sold,
         SAFE_CAST(SAFE_CAST(zip_code AS FLOAT64) AS INT64) AS zip_code
       FROM
         `bigquery-public-data.iowa_liquor_sales.sales` AS sales
       WHERE
         SAFE_CAST(zip_code AS FLOAT64) IS NOT NULL
     ),
     aggregated_sales AS (
       SELECT
         DATE,
         store_number,
         item_number,
         ANY_VALUE(zip_code) AS zip_code,
         SUM(bottles_sold) AS bottles_sold,
       FROM
         sales
       GROUP BY
         DATE,
         store_number,
         item_number
     ),
     weather AS (
       SELECT
         DATE,
         SAFE_CAST(postal_code AS INT64) AS zip_code,
         avg_temperature_air_2m_f AS temperature,
         avg_humidity_specific_2m_gpkg AS humidity,
       FROM
         `bigquery-public-data.covid19_weathersource_com.postal_code_day_history`
       WHERE
         SAFE_CAST(postal_code AS INT64) IS NOT NULL
     ),
     avg_weather AS (
       SELECT
         DATE,
         zip_code,
         AVG(temperature) AS temperature,
         AVG(humidity) AS humidity,
       FROM
         weather
       GROUP BY
         DATE,
         zip_code
     )
   SELECT
     aggregated_sales.date,
     aggregated_sales.store_number,
     aggregated_sales.item_number,
     aggregated_sales.bottles_sold,
     avg_weather.temperature AS temperature,
     avg_weather.humidity AS humidity
   FROM
     aggregated_sales
     LEFT JOIN avg_weather ON aggregated_sales.zip_code=avg_weather.zip_code
     AND aggregated_sales.DATE=avg_weather.DATE;

Crie o modelo de séries cronológicas

Crie um modelo de série cronológica para prever as garrafas vendidas para cada combinação do ID da loja e do ID do artigo, para cada data na tabela bqml_tutorial.iowa_liquor_sales_with_weather antes de 1 de setembro de 2022. Use a temperatura e a humidade médias da localização da loja em cada data como caraterísticas a avaliar durante a previsão. Existem cerca de 1 milhão de combinações distintas do número do artigo e do número da loja na tabela bqml_tutorial.iowa_liquor_sales_with_weather, o que significa que existem 1 milhão de séries cronológicas diferentes para prever.

Siga estes passos para criar o modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   CREATE
   OR REPLACE MODEL `bqml_tutorial.multi_time_series_arimax_model`
   OPTIONS(
     model_type = 'ARIMA_PLUS_XREG',
     time_series_id_col = ['store_number', 'item_number'],
     time_series_data_col = 'bottles_sold',
     time_series_timestamp_col = 'date'
   )
   AS SELECT
     *
   FROM
     `bqml_tutorial.iowa_liquor_sales_with_weather`
   WHERE
     DATE < DATE('2022-09-01');

   A consulta demora cerca de 38 minutos a ser concluída. Após este período, o modelo multi_time_series_arimax_model aparece no painel do Explorador. Uma vez que a consulta usa uma declaração CREATE MODEL para criar um modelo, não vê os resultados da consulta.

Use o modelo para prever dados

Preveja valores de séries cronológicas futuras através da função ML.FORECAST.

Na consulta GoogleSQL seguinte, a cláusula STRUCT(5 AS horizon, 0.8 AS confidence_level) indica que a consulta prevê 5 pontos temporais futuros e gera um intervalo de previsão com um nível de confiança de 80%.

A assinatura de dados dos dados de entrada para a função ML.FORECAST é igual à assinatura de dados dos dados de preparação que usou para criar o modelo. A coluna bottles_sold não está incluída na entrada, porque são os dados que o modelo está a tentar prever.

Siga estes passos para prever dados com o modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
     *
   FROM
     ML.FORECAST (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (5 AS horizon, 0.8 AS confidence_level),
       (
         SELECT
           * EXCEPT (bottles_sold)
         FROM
           `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE>=DATE('2022-09-01')
       )
     );

   Os resultados devem ter um aspeto semelhante ao seguinte:

   

   As linhas de saída estão ordenadas pelo valor store_number, depois pelo valor item_ID e, em seguida, por ordem cronológica pelo valor da coluna forecast_timestamp. Na previsão de séries cronológicas, o intervalo de previsão, representado pelos valores das colunas prediction_interval_lower_bound e prediction_interval_upper_bound, é tão importante quanto o valor da coluna forecast_value. O valor forecast_value é o ponto médio do intervalo de previsão. O intervalo de previsão depende dos valores das colunas standard_error e confidence_level.

   Para mais informações sobre as colunas de saída, consulte ML.FORECAST.

Explicar os resultados da previsão

Pode obter métricas de explicabilidade, além dos dados de previsão, usando a função ML.EXPLAIN_FORECAST. A função ML.EXPLAIN_FORECAST prevê valores de séries cronológicas futuras e também devolve todos os componentes separados das séries cronológicas.

Semelhante à função ML.FORECAST, a cláusula STRUCT(5 AS horizon, 0.8 AS confidence_level) usada na função ML.EXPLAIN_FORECAST indica que a consulta prevê 30 pontos temporais futuros e gera um intervalo de previsão com 80% de confiança.

A função ML.EXPLAIN_FORECAST fornece dados do histórico e dados de previsão. Para ver apenas os dados de previsão, adicione a opção time_series_type à consulta e especifique forecast como o valor da opção.

Siga estes passos para explicar os resultados do modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
     *
   FROM
     ML.EXPLAIN_FORECAST (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (5 AS horizon, 0.8 AS confidence_level),
       (
         SELECT
           * EXCEPT (bottles_sold)
         FROM
           `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE >= DATE('2022-09-01')
       )
     );

   Os resultados devem ter um aspeto semelhante ao seguinte:

   

   As linhas de saída são ordenadas cronologicamente pelo valor da coluna time_series_timestamp.

   Para mais informações sobre as colunas de saída, consulte ML.EXPLAIN_FORECAST.

Avalie a precisão da previsão

Avalie a precisão da previsão do modelo executando-o em dados com os quais o modelo não foi preparado. Pode fazê-lo através da função ML.EVALUATE. A função ML.EVALUATE avalia cada série cronológica de forma independente.

Na seguinte consulta GoogleSQL, a segunda declaração SELECT fornece os dados com as funcionalidades futuras, que são usados para prever os valores futuros a comparar com os dados reais.

Siga estes passos para avaliar a precisão do modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
     *
   FROM
     ML.EVALUATE (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       (
         SELECT
           *
         FROM
          `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE >= DATE('2022-09-01')
       )
     );

   Os resultados devem ser semelhantes aos seguintes:

   

   Para mais informações sobre as colunas de saída, consulte ML.EVALUATE.

Use o modelo para detetar anomalias

Detete anomalias nos dados de preparação através da função ML.DETECT_ANOMALIES.

Na consulta seguinte, a cláusula STRUCT(0.95 AS anomaly_prob_threshold) faz com que a função ML.DETECT_ANOMALIES identifique pontos de dados anómalos com um nível de confiança de 95%.

Siga estes passos para detetar anomalias nos dados de preparação:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
     *
   FROM
     ML.DETECT_ANOMALIES (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (0.95 AS anomaly_prob_threshold)
     );

   Os resultados devem ser semelhantes aos seguintes:

   

   A coluna anomaly_probability nos resultados identifica a probabilidade de um determinado valor da coluna bottles_sold ser anómalo.

   Para mais informações sobre as colunas de saída, consulte ML.DETECT_ANOMALIES.

Detete anomalias em novos dados

Detete anomalias nos novos dados fornecendo dados de entrada à função ML.DETECT_ANOMALIES. Os novos dados têm de ter a mesma assinatura de dados que os dados de preparação.

Siga estes passos para detetar anomalias em novos dados:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
     *
   FROM
     ML.DETECT_ANOMALIES (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (0.95 AS anomaly_prob_threshold),
       (
         SELECT
           *
         FROM
           `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE >= DATE('2022-09-01')
       )
     );

   Os resultados devem ser semelhantes aos seguintes:

   

Limpar

Para evitar incorrer em custos na sua conta do Google Cloud pelos recursos usados neste tutorial, elimine o projeto que contém os recursos ou mantenha o projeto e elimine os recursos individuais.

• Pode eliminar o projeto que criou.
• Em alternativa, pode manter o projeto e eliminar o conjunto de dados.

Elimine o conjunto de dados

A eliminação do projeto remove todos os conjuntos de dados e todas as tabelas no projeto. Se preferir reutilizar o projeto, pode eliminar o conjunto de dados que criou neste tutorial:

1. Se necessário, abra a página do BigQuery na Google Cloud consola.

   Aceda à página do BigQuery

2. Na navegação, clique no conjunto de dados bqml_tutorial que criou.

3. Clique em Eliminar conjunto de dados no lado direito da janela. Esta ação elimina o conjunto de dados, a tabela e todos os dados.

4. Na caixa de diálogo Eliminar conjunto de dados, confirme o comando de eliminação escrevendo o nome do conjunto de dados (bqml_tutorial) e, de seguida, clique em Eliminar.

Elimine o projeto

Para eliminar o projeto:

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

O que se segue?

• Saiba como prever uma única série cronológica com um modelo univariado
• Saiba como prever várias séries cronológicas com um modelo univariado
• Saiba como dimensionar um modelo univariado quando prevê várias séries cronológicas em muitas linhas.
• Saiba como prever hierarquicamente várias séries cronológicas com um modelo univariado
• Para uma vista geral do BigQuery ML, consulte o artigo Introdução à IA e ao ML no BigQuery.