Limitar os valores previstos para um modelo de série temporal

Neste tutorial, ensinamos como usar limites para restringir os resultados previstos retornados por um modelo de série temporal. Neste tutorial, você vai criar dois modelos de série temporal com os mesmos dados: um que usa limites e outro que não usa limites. Isso permite comparar os resultados retornados pelos modelos e entender a diferença que a especificação de limites faz.

Use os dados de new_york.citibike_trips para treinar os modelos neste tutorial. Esse conjunto de dados contêm informações sobre as viagens do Citi Bike na cidade de Nova York.

Antes de seguir este tutorial, você precisa se familiarizar com a previsão de série temporal única. Conclua o tutorial Previsão de série temporal única a partir de dados do Google Analytics para uma introdução a esse tópico.

Permissões exigidas

  • Para criar o conjunto de dados, é preciso ter a permissão de IAM bigquery.datasets.create.
  • Para criar o recurso de conexão, você precisa das seguintes permissões:

    • bigquery.connections.create
    • bigquery.connections.get
  • Para criar o modelo, você precisa das seguintes permissões:

    • bigquery.jobs.create
    • bigquery.models.create
    • bigquery.models.getData
    • bigquery.models.updateData
    • bigquery.connections.delegate
  • Para executar a inferência, você precisa das seguintes permissões:

    • bigquery.models.getData
    • bigquery.jobs.create

Para mais informações sobre os papéis e as permissões do IAM no BigQuery, consulte Introdução ao IAM.

Objetivos

Neste tutorial, você usará:

  • A instrução CREATE MODEL: para criar um modelo de série temporal.
  • A função ML.FORECAST: para prever o total de visitas diárias.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • BigQuery
  • BigQuery ML

Para mais informações sobre os custos do BigQuery, consulte a página de preços.

Para mais informações sobre os custos do BigQuery ML, consulte os preços do BigQuery ML.

Antes de começar

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  4. Ative a API BigQuery.

    Ative a API

  5. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  7. Ative a API BigQuery.

    Ative a API

crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o modelo de ML:

  1. No console do Google Cloud, acesse a página do BigQuery.

    Acesse a página do BigQuery

  2. No painel Explorer, clique no nome do seu projeto.

  3. Clique em Conferir ações > Criar conjunto de dados.

    Criar conjunto de dados.

  4. Na página Criar conjunto de dados, faça o seguinte:

    • Para o código do conjunto de dados, insira bqml_tutorial.

    • Em Tipo de local, selecione Multirregião e EUA (várias regiões nos Estados Unidos).

      Os conjuntos de dados públicos são armazenados na multirregião US. Para simplificar, armazene seus conjuntos de dados no mesmo local.

    • Mantenha as configurações padrão restantes e clique em Criar conjunto de dados.

      Página Criar conjunto de dados.

Visualizar a série temporal que você quer prever

Antes de criar o modelo, é interessante ver como fica a série temporal de entrada.

Na consulta a seguir, a cláusula FROM bigquery-public-data.new_york.citibike_trips indica que você está consultando a tabela citibike_trips no conjunto de dados new_york.

Na instrução SELECT, a consulta usa a função EXTRACT para extrair as informações de data da coluna starttime. A consulta usa a cláusula COUNT(*) para descobrir o número total diário de viagens do Citi Bike.

#standardSQL
SELECT
   EXTRACT(DATE from starttime) AS date,
   COUNT(*) AS num_trips
FROM
  `bigquery-public-data`.new_york.citibike_trips
GROUP BY date

Para executar a consulta, siga estas etapas:

  1. No console do Google Cloud, clique no botão Escrever nova consulta.

  2. Insira a seguinte consulta do GoogleSQL no editor de consultas.

    #standardSQL
    SELECT
       EXTRACT(DATE from starttime) AS date,
       COUNT(*) AS num_trips
    FROM
      `bigquery-public-data`.new_york.citibike_trips
    GROUP BY date
    
  3. Clique em Executar. Os resultados da consulta são semelhantes aos mostrados a seguir.

    Saída da consulta.

  4. Use o console do Google Cloud para criar um gráfico com os dados da série temporal. No painel Resultados da consulta, clique na guia Gráfico. No painel Configuração do gráfico, escolha Barra como o Tipo de gráfico:

    Result_visualization.

Criar um modelo de série temporal

Crie um modelo de série temporal com os dados de viagens do Citi Bike de Nova York.

A consulta do GoogleSQL a seguir cria um modelo que prevê o total diário de viagens de bicicleta. A instrução CREATE MODEL cria e treina um modelo chamado bqml_tutorial.nyc_citibike_arima_model.

#standardSQL
CREATE OR REPLACE MODEL bqml_tutorial.nyc_citibike_arima_model
OPTIONS
  (model_type = 'ARIMA_PLUS',
   time_series_timestamp_col = 'date',
   time_series_data_col = 'num_trips'
  ) AS
SELECT
   EXTRACT(DATE from starttime) AS date,
   COUNT(*) AS num_trips
FROM
  `bigquery-public-data`.new_york.citibike_trips
WHERE starttime > '2014-07-11' AND starttime < '2015-02-11'
GROUP BY date

A cláusula OPTIONS(model_type='ARIMA_PLUS', time_series_timestamp_col='date', ...) indica que você está criando um modelo de série temporal com base em ARIMA. Por padrão, auto_arima=TRUE, para que o algoritmo auto.ARIMA ajuste automaticamente os hiperparâmetros nos modelos ARIMA_PLUS. O algoritmo se encaixa em dezenas de modelos candidatos e escolhe o melhor com o menor índice de informações do Akaike (AIC, na sigla em inglês). Além disso, como o padrão é data_frequency='AUTO_FREQUENCY', o processo de treinamento infere automaticamente a frequência de dados da série temporal de entrada. Por fim, a instrução CREATE MODEL usa decompose_time_series=TRUE por padrão, de modo que as partes de histórico e previsão da série temporal são salvas no modelo. Use essas informações para entender melhor como a série temporal é prevista buscando os componentes separados dela, como períodos sazonais.

Execute a consulta CREATE MODEL para criar e treinar seu modelo:

  1. No console do Google Cloud, clique no botão Escrever nova consulta.

  2. Insira a seguinte consulta do GoogleSQL no editor de consultas.

    #standardSQL
    CREATE OR REPLACE MODEL `bqml_tutorial.nyc_citibike_arima_model`
    OPTIONS
      (model_type = 'ARIMA_PLUS',
       time_series_timestamp_col = 'date',
       time_series_data_col = 'num_trips'
      ) AS
    SELECT
       EXTRACT(DATE from starttime) AS date,
       COUNT(*) AS num_trips
    FROM
      `bigquery-public-data`.new_york.citibike_trips
    WHERE starttime > '2014-07-11' AND starttime < '2015-02-11'
    GROUP BY date
    
  3. Clique em Executar.

    A consulta leva cerca de 17 segundos para ser concluída. Depois disso, seu modelo (nyc_citibike_arima_model) aparece no painel Explorer. Como a consulta usa uma instrução CREATE MODEL para criar um modelo, não há resultados de consulta.

Prever a série temporal e visualizar os resultados

Para explicar como a série temporal é prevista, visualize todos os componentes dela, como sazonalidade e tendência, usando a função ML.FORECAST.

Para isso, siga estas etapas:

  1. No console do Google Cloud, clique no botão Escrever nova consulta.

  2. Insira a seguinte consulta do GoogleSQL no editor de consultas.

    #standardSQL
      SELECT
      forecast_timestamp AS forecast_timestamp,
      history_value AS history_value,
      forecast_value AS forecast_value
      FROM ( (
         SELECT
            DATE(forecast_timestamp) AS forecast_timestamp,
            NULL AS history_value,
            forecast_value AS forecast_value
         FROM
            ML.FORECAST(MODEL bqml_tutorial.`nyc_citibike_arima_model`,
            STRUCT(365 AS horizon,
               0.9 AS confidence_level)) )
      UNION ALL (
         SELECT
            DATE(date_name) AS forecast_timestamp,
            num_trips AS history_value,
            NULL AS forecast_value
         FROM (
            SELECT
            EXTRACT(DATE
            FROM
               starttime) AS date_name,
            COUNT(*) AS num_trips
            FROM
            `bigquery-public-data`.new_york.citibike_trips
            WHERE
            starttime > '2014-07-11'
            AND starttime < '2015-02-11'
            GROUP BY
            date_name ) ))
      ORDER BY
      forecast_timestamp
    
  3. Clique em Executar. Os resultados da consulta são semelhantes aos mostrados a seguir:

    BQUI_chart.

  4. Use o console do Google Cloud para criar um gráfico com os dados da série temporal. No painel Resultados da consulta, clique na guia Gráfico:

    Result_visualization.

O gráfico mostra que os valores previstos para o número total diário de viagens do Citi Bike são números negativos, o que não é útil. Usar um modelo com limites melhora os dados previstos.

Criar um modelo de série temporal com limites

Criar um modelo de série temporal com limites usando os dados de viagens do Citi Bike de Nova York.

A consulta do GoogleSQL a seguir cria um modelo que prevê o total diário de viagens de bicicleta. A instrução CREATE MODEL cria e treina um modelo chamado bqml_tutorial.nyc_citibike_arima_model_with_limits. A única diferença entre esse modelo e o modelo criado anteriormente é a adição da opção forecast_limit_lower_bound=0. Essa opção faz com que o modelo preveja apenas valores maiores que 0.

#standardSQL
CREATE OR REPLACE MODEL `bqml_tutorial.nyc_citibike_arima_model_with_limits`
OPTIONS
  (model_type = 'ARIMA_PLUS',
   time_series_timestamp_col = 'date',
   time_series_data_col = 'num_trips',
   forecast_limit_lower_bound = 0
  ) AS
SELECT
   EXTRACT(DATE from starttime) AS date,
   COUNT(*) AS num_trips
FROM
  `bigquery-public-data`.new_york.citibike_trips
WHERE starttime > '2014-07-11' AND starttime < '2015-02-11'
GROUP BY date

Execute a consulta CREATE MODEL para criar e treinar seu modelo:

  1. No console do Google Cloud, clique no botão Escrever nova consulta.

  2. Insira a seguinte consulta do GoogleSQL no editor de consultas.

    #standardSQL
    CREATE OR REPLACE MODEL `bqml_tutorial.nyc_citibike_arima_model_with_limits`
    OPTIONS
      (model_type = 'ARIMA_PLUS',
       time_series_timestamp_col = 'date',
       time_series_data_col = 'num_trips',
       forecast_limit_lower_bound = 0
      ) AS
    SELECT
       EXTRACT(DATE from starttime) AS date,
       COUNT(*) AS num_trips
    FROM
      `bigquery-public-data`.new_york.citibike_trips
     WHERE starttime > '2014-07-11' AND starttime < '2015-02-11'
    GROUP BY date
    
  3. Clique em Executar.

    A consulta leva cerca de 17 segundos para ser concluída. Depois disso, seu modelo (nyc_citibike_arima_model_with_limits) aparece no painel Explorer. Como a consulta usa uma instrução CREATE MODEL para criar um modelo, não há resultados de consulta.

Prever a série temporal usando o modelo com limites

  1. No console do Google Cloud, clique no botão Escrever nova consulta.

  2. Insira a seguinte consulta do GoogleSQL no editor de consultas.

    #standardSQL
      SELECT
      forecast_timestamp AS forecast_timestamp,
      history_value AS history_value,
      forecast_value AS forecast_value
      FROM ( (
         SELECT
            DATE(forecast_timestamp) AS forecast_timestamp,
            NULL AS history_value,
            forecast_value AS forecast_value
         FROM
            ML.FORECAST(MODEL `bqml_tutorial.nyc_citibike_arima_model_with_limits`,
            STRUCT(365 AS horizon,
               0.9 AS confidence_level)) )
      UNION ALL (
         SELECT
            DATE(date_name) AS forecast_timestamp,
            num_trips AS history_value,
            NULL AS forecast_value
         FROM (
            SELECT
            EXTRACT(DATE
            FROM
               starttime) AS date_name,
            COUNT(*) AS num_trips
            FROM
            `bigquery-public-data`.new_york.citibike_trips
            WHERE
            starttime > '2014-07-11'
            AND starttime < '2015-02-11'
            GROUP BY
            date_name ) ))
      ORDER BY
      forecast_timestamp
    
  3. Clique em Executar.

    BQUI_chart.

  4. Use o console do Google Cloud para criar um gráfico com os dados da série temporal. No painel Resultados da consulta, clique na guia Gráfico:

    Result_visualization.

O modelo ARIMA PLUS detecta que o número total diário de viagens do Citi Bike está diminuindo. Os valores de previsão para o futuro vão seguir essa tendência e apresentar números de previsão relativamente menores quanto mais você for para o futuro. O gráfico mostra que os valores previstos para o número total diário de viagens do Citi Bike são números positivos, o que é mais útil. O modelo com limites detecta que o número total diário de viagens do Citi Bike está diminuindo, mas ainda apresenta valores de previsão significativos.

Conforme este tutorial, as opções forecast_limit_lower_bound e forecast_limit_upper_bound ajudam você a receber valores de previsão mais significativos em cenários semelhantes ao mostrado aqui, como ao prever preços de ações ou números de vendas futuras.

Excluir o conjunto de dados

A exclusão do seu projeto removerá todos os conjuntos de dados e tabelas no projeto. Caso prefira reutilizá-lo, exclua o conjunto de dados criado neste tutorial:

  1. Se necessário, abra a página do BigQuery no console do Google Cloud.

    Acesse a página do BigQuery

  2. Na navegação, clique no conjunto de dados bqml_tutorial criado.

  3. Clique em Excluir conjunto de dados no lado direito da janela. Essa ação exclui o conjunto, a tabela e todos os dados.

  4. Na caixa de diálogo Excluir conjunto de dados, confirme o comando de exclusão digitando o nome do seu conjunto de dados (bqml_tutorial). Em seguida, clique em Excluir.

Excluir o projeto

Para excluir o projeto:

  1. No Console do Google Cloud, acesse a página Gerenciar recursos.

    Acessar "Gerenciar recursos"

  2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
  3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

A seguir