Faça engenharia de funcionalidades com a cláusula TRANSFORM

---

Este tutorial ensina a usar a cláusula TRANSFORM da declaração CREATE MODEL para realizar a engenharia de funcionalidades ao mesmo tempo que cria e prepara um modelo. Com a cláusula TRANSFORM, pode especificar uma ou mais funções de pré-processamento para transformar os dados de entrada que usa para preparar o modelo. O pré-processamento que aplica ao modelo é aplicado automaticamente quando usa o modelo com as funções ML.EVALUATE e ML.PREDICT.

Este tutorial usa o conjunto de dados público bigquery-public-data.ml_datasets.penguin.

Objetivos

Este tutorial explica como concluir as seguintes tarefas:

• Criar um modelo de regressão linear para prever o tipo de chamada de serviço através da declaração CREATE MODEL. Na declaração CREATE MODEL, use as funções ML.QUANTILE_BUCKETIZE e ML.FEATURE_CROSS para pré-processar dados.
• Avaliar o modelo através da função ML.EVALUATE.
• Obter previsões do modelo através da função ML.PREDICT.

Custos

Este tutorial usa componentes faturáveis do Google Cloud, incluindo:

• BigQuery
• BigQuery ML

Para mais informações acerca dos custos do BigQuery, consulte a página de preços do BigQuery.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. O BigQuery é ativado automaticamente em novos projetos. Para ativar o BigQuery num projeto pré-existente, aceda a

   Enable the BigQuery API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda à página do BigQuery

2. No painel Explorador, clique no nome do projeto.

3. Clique em Ver ações > Criar conjunto de dados

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para o ID do conjunto de dados, introduza bqml_tutorial.

   • Em Tipo de localização, selecione Várias regiões e, de seguida, selecione EUA (várias regiões nos Estados Unidos).

   • Deixe as restantes predefinições como estão e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, use o comando bq mk com a flag --location. Para uma lista completa de parâmetros possíveis, consulte a referência do comando bq mk --dataset.

1. Crie um conjunto de dados com o nome bqml_tutorial com a localização dos dados definida como US e uma descrição de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Em vez de usar a flag --dataset, o comando usa o atalho -d. Se omitir -d e --dataset, o comando cria um conjunto de dados por predefinição.

2. Confirme que o conjunto de dados foi criado:

   bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crie o modelo

Crie um modelo de regressão linear para prever o peso dos pinguins e prepare-o na tabela de exemplo penguins.

A cláusula OPTIONS(model_type='linear_reg', input_label_cols=['body_mass_g']) indica que está a criar um modelo de regressão linear. Um modelo de regressão linear gera um valor contínuo a partir de uma combinação linear de caraterísticas de entrada. A coluna body_mass_g é a coluna de etiquetas de entrada. Para modelos de regressão linear, a coluna de etiqueta tem de ter valores reais (ou seja, os valores da coluna têm de ser números reais).

A cláusula TRANSFORM desta consulta usa as seguintes colunas da declaração SELECT:

• body_mass_g: usado na preparação sem qualquer alteração.
• culmen_depth_mm: usado na preparação sem qualquer alteração.
• flipper_length_mm: usado na preparação sem qualquer alteração.
• bucketized_culmen_length: gerado a partir de culmen_length_mm através da divisão em grupos culmen_length_mm com base em quantis através da função analítica ML.QUANTILE_BUCKETIZE().
• culmen_length_mm: o valor culmen_length_mm original, convertido num valor STRING e usado na preparação.
• species_sex: gerado a partir do cruzamento de species e sex com a função ML.FEATURE_CROSS.

Não tem de usar todas as colunas da tabela de preparação na cláusula TRANSFORM.

A cláusula WHERE—WHERE body_mass_g IS NOT NULL AND RAND() < 0.2— exclui linhas em que o peso dos pinguins é NULL e usa a função RAND para extrair uma amostra aleatória dos dados.

Siga estes passos para criar o modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   CREATE OR REPLACE MODEL `bqml_tutorial.penguin_transform`
     TRANSFORM(
       body_mass_g,
       culmen_depth_mm,
       flipper_length_mm,
       ML.QUANTILE_BUCKETIZE(culmen_length_mm, 10) OVER () AS bucketized_culmen_length,
       CAST(culmen_length_mm AS string) AS culmen_length_mm,
       ML.FEATURE_CROSS(STRUCT(species, sex)) AS species_sex)
     OPTIONS (
       model_type = 'linear_reg',
       input_label_cols = ['body_mass_g'])
   AS
   SELECT
     *
   FROM
     `bigquery-public-data.ml_datasets.penguins`
   WHERE
     body_mass_g IS NOT NULL
     AND RAND() < 0.2;

   A consulta demora cerca de 15 minutos a ser concluída. Após este período, o modelo penguin_transform aparece no painel do Explorador. Uma vez que a consulta usa uma declaração CREATE MODEL para criar um modelo, não vê os resultados da consulta.

Avalie o modelo

Avalie o desempenho do modelo através da função ML.EVALUATE. A função ML.EVALUATE avalia os pesos previstos dos pinguins devolvidos pelo modelo em comparação com os pesos reais dos pinguins dos dados de preparação.

A declaração SELECT aninhada e a cláusula FROM desta consulta são iguais às da consulta CREATE MODEL. Como usou a cláusula TRANSFORM quando criou o modelo, não precisa de especificar novamente as colunas e as transformações na função ML.EVALUATE. A função obtém automaticamente as informações do modelo.

Siga estes passos para avaliar o modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
     *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           body_mass_g IS NOT NULL
       ));

   Os resultados devem ter um aspeto semelhante ao seguinte:

   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   |   64.21134350607677 | 13016.433317859564 |   7.140935762696211E-4 |     15.31788461553515 | 0.9813042531507734 | 0.9813186268757634 |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   

   Uma métrica importante nos resultados da avaliação é a pontuação de R². A pontuação R² é uma medida estatística que determina se as previsões de regressão linear se aproximam dos dados reais. Um valor de 0 indica que o modelo não explica nenhuma da variabilidade dos dados de resposta em torno da média. Um valor de 1 indica que o modelo explica toda a variabilidade dos dados de resposta em torno da média.

   Para mais informações sobre o resultado da função ML.EVALUATE, consulte Resultado.

   Também pode chamar ML.EVALUATE sem fornecer os dados de entrada. Vai usar as métricas de avaliação calculadas durante a preparação.

Use o modelo para prever o peso dos pinguins

Use o modelo com a função ML.PREDICT para prever o peso dos pinguins machos.

A função ML.PREDICT produz o valor previsto na coluna predicted_label_column_name, neste caso, predicted_body_mass_g.

Quando usa a função ML.PREDICT, não tem de transmitir todas as colunas usadas na preparação do modelo. Apenas são necessárias as colunas que usou na cláusula TRANSFORM. Semelhante a ML.EVALUATE, a função ML.PREDICT obtém automaticamente as colunas TRANSFORM e as transformações do modelo.

Siga estes passos para obter previsões do modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
     predicted_body_mass_g
   FROM
     ML.PREDICT(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           sex = 'MALE'
       ));

   Os resultados devem ter um aspeto semelhante ao seguinte:

   +-----------------------+
   | predicted_body_mass_g |
   +-----------------------+
   |    2810.2868541725757 |
   +-----------------------+
   |    3813.6574220842676 |
   +-----------------------+
   |     4098.844698262214 |
   +-----------------------+
   |     4256.587135004173 |
   +-----------------------+
   |     3008.393497302691 |
   +-----------------------+
   |     ...               |
   +-----------------------+
   

Limpar

Para evitar incorrer em custos na sua conta do Google Cloud pelos recursos usados neste tutorial, elimine o projeto que contém os recursos ou mantenha o projeto e elimine os recursos individuais.

• Pode eliminar o projeto que criou.
• Em alternativa, pode manter o projeto e eliminar o conjunto de dados.

Elimine o conjunto de dados

A eliminação do projeto remove todos os conjuntos de dados e todas as tabelas no projeto. Se preferir reutilizar o projeto, pode eliminar o conjunto de dados que criou neste tutorial:

1. Se necessário, abra a página do BigQuery na Google Cloud consola.

   Aceda à página do BigQuery

2. No painel de navegação, clique no conjunto de dados bqml_tutorial que criou.

3. No lado direito da janela, clique em Eliminar conjunto de dados. Esta ação elimina o conjunto de dados, a tabela e todos os dados.

4. Na caixa de diálogo Eliminar conjunto de dados, confirme o comando de eliminação escrevendo o nome do conjunto de dados (bqml_tutorial) e, de seguida, clique em Eliminar.

Elimine o projeto

Para eliminar o projeto:

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

O que se segue?

• Para saber mais sobre a aprendizagem automática, consulte o Machine Learning Crash Course.
• Para uma vista geral do BigQuery ML, consulte o artigo Introdução ao BigQuery ML.
• Para saber mais acerca da Google Cloud consola, consulte o artigo Usar a Google Cloud consola.