Faça previsões com modelos scikit-learn no formato ONNX

---

Este tutorial mostra como importar um modelo Open Neural Network Exchange (ONNX) preparado com o scikit-learn. Importa o modelo para um conjunto de dados do BigQuery e usa-o para fazer previsões através de uma consulta SQL.

O ONNX oferece um formato uniforme concebido para representar qualquer framework de aprendizagem automática (AA). O suporte do BigQuery ML para ONNX permite-lhe fazer o seguinte:

• Prepare um modelo com a sua framework favorita.
• Converta o modelo no formato de modelo ONNX.
• Importe o modelo ONNX para o BigQuery e faça previsões com o BigQuery ML.

Objetivos

• Crie e prepare um modelo com o scikit-learn.
• Converta o modelo para o formato ONNX com sklearn-onnx.
• Use a declaração CREATE MODEL para importar o modelo ONNX para o BigQuery.
• Use a função ML.PREDICT para fazer previsões com o modelo ONNX importado.

Custos

Neste documento, usa os seguintes componentes faturáveis do Google Cloud:

• BigQuery
• BigQuery ML
• Cloud Storage

Para gerar uma estimativa de custos com base na sua utilização projetada, use a calculadora de preços.

Os novos Google Cloud utilizadores podem ser elegíveis para uma avaliação gratuita.

Quando terminar as tarefas descritas neste documento, pode evitar a faturação contínua eliminando os recursos que criou. Para mais informações, consulte o artigo Limpe.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Verify that billing is enabled for your Google Cloud project.

2. Enable the BigQuery and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

3. Certifique-se de que tem as autorizações necessárias para realizar as tarefas descritas neste documento.

Funções necessárias

Se criar um novo projeto, é o proprietário do projeto e são-lhe concedidas todas as autorizações de gestão de identidade e de acesso (IAM) necessárias para concluir este tutorial.

Se estiver a usar um projeto existente, faça o seguinte.

Make sure that you have the following role or roles on the project:

• BigQuery Studio Admin (roles/bigquery.studioAdmin)
• Storage Object Creator (roles/storage.objectCreator)

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Aceder ao IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos responsáveis, introduza o identificador do utilizador. Normalmente, este é o endereço de email de uma Conta Google.

5. Na lista Selecionar uma função, selecione uma função.
6. Para conceder funções adicionais, clique em Adicionar outra função e adicione cada função adicional.
7. Clique em Guardar.

Para mais informações acerca das autorizações de IAM no BigQuery, consulte Autorizações de IAM.

Opcional: treine um modelo e converta-o para o formato ONNX

Os exemplos de código seguintes mostram como preparar um modelo de classificação com scikit-learn e como converter o pipeline resultante no formato ONNX. Este tutorial usa um modelo de exemplo pré-criado que está armazenado em gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx. Não tem de concluir estes passos se estiver a usar o modelo de exemplo.

Prepare um modelo de classificação com o scikit-learn

Use o seguinte código de exemplo para criar e preparar um pipeline do scikit-learn no conjunto de dados Iris. Para ver instruções sobre a instalação e a utilização do scikit-learn, consulte o guia de instalação do scikit-learn.

import numpy
from sklearn.datasets import load_iris
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier

data = load_iris()
X = data.data[:, :4]
y = data.target

ind = numpy.arange(X.shape[0])
numpy.random.shuffle(ind)
X = X[ind, :].copy()
y = y[ind].copy()

pipe = Pipeline([('scaler', StandardScaler()),
                ('clr', RandomForestClassifier())])
pipe.fit(X, y)

Nota: o pipeline scikit-learn permite-lhe incluir modelos de outras bibliotecas, como LightGBM e XGBoost, que podem ser convertidos em ONNX por sklearn-onnx. Para mais informações, consulte os artigos Converta um pipeline e Usar conversores de outras bibliotecas.

Converta o pipeline num modelo ONNX

Use o seguinte código de exemplo em sklearn-onnx para converter o pipeline do scikit-learn num modelo ONNX denominado pipeline_rf.onnx.

from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType

# Disable zipmap as it is not supported in BigQuery ML.
options = {id(pipe): {'zipmap': False}}

# Define input features. scikit-learn does not store information about the
# training dataset. It is not always possible to retrieve the number of features
# or their types. That's why the function needs another argument called initial_types.
initial_types = [
   ('sepal_length', FloatTensorType([None, 1])),
   ('sepal_width', FloatTensorType([None, 1])),
   ('petal_length', FloatTensorType([None, 1])),
   ('petal_width', FloatTensorType([None, 1])),
]

# Convert the model.
model_onnx = convert_sklearn(
   pipe, 'pipeline_rf', initial_types=initial_types, options=options
)

# And save.
with open('pipeline_rf.onnx', 'wb') as f:
 f.write(model_onnx.SerializeToString())

Carregue o modelo ONNX para o Cloud Storage

Depois de guardar o modelo, faça o seguinte:

• Crie um contentor do Cloud Storage para armazenar o modelo.
• Carregue o modelo ONNX para o seu contentor do Cloud Storage.

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda à página do BigQuery

2. No painel Explorador, clique no nome do projeto.

3. Clique em Ver ações > Criar conjunto de dados

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para o ID do conjunto de dados, introduza bqml_tutorial.

   • Em Tipo de localização, selecione Várias regiões e, de seguida, selecione EUA (várias regiões nos Estados Unidos).

   • Deixe as restantes predefinições como estão e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, use o comando bq mk com a flag --location. Para uma lista completa de parâmetros possíveis, consulte a referência do comando bq mk --dataset.

1. Crie um conjunto de dados com o nome bqml_tutorial com a localização dos dados definida como US e uma descrição de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Em vez de usar a flag --dataset, o comando usa o atalho -d. Se omitir -d e --dataset, o comando cria um conjunto de dados por predefinição.

2. Confirme que o conjunto de dados foi criado:

   bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Importe o modelo ONNX para o BigQuery

Os passos seguintes mostram como importar o modelo ONNX de amostra do Cloud Storage através de uma declaração CREATE MODEL.

Para importar o modelo ONNX para o seu conjunto de dados, selecione uma das seguintes opções:

Consola

1. Na Google Cloud consola, aceda à página BigQuery Studio.

   Aceda ao BigQuery Studio

2. No editor de consultas, introduza a seguinte declaração CREATE MODEL.

    CREATE OR REPLACE MODEL `bqml_tutorial.imported_onnx_model`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='BUCKET_PATH')

   Substitua BUCKET_PATH pelo caminho para o modelo que carregou para o Cloud Storage. Se estiver a usar o modelo de exemplo, substitua BUCKET_PATH pelo seguinte valor: gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx.

   Quando a operação estiver concluída, é apresentada uma mensagem semelhante à seguinte: Successfully created model named imported_onnx_model.

   O novo modelo é apresentado no painel Recursos. Os modelos são indicados pelo ícone de modelo: Se selecionar o novo modelo no painel Recursos, as informações sobre o modelo aparecem junto ao editor de consultas.

   

bq

1. Importe o modelo ONNX do Cloud Storage introduzindo a seguinte declaração CREATE MODEL.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
   `bqml_tutorial.imported_onnx_model`
   OPTIONS
   (MODEL_TYPE='ONNX',
     MODEL_PATH='BUCKET_PATH')"

   Substitua BUCKET_PATH pelo caminho para o modelo que carregou para o Cloud Storage. Se estiver a usar o modelo de exemplo, substitua BUCKET_PATH pelo seguinte valor: gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx.

   Quando a operação estiver concluída, é apresentada uma mensagem semelhante à seguinte: Successfully created model named imported_onnx_model.

2. Depois de importar o modelo, verifique se este é apresentado no conjunto de dados.

   bq ls bqml_tutorial

   O resultado é semelhante ao seguinte:

   tableId               Type
   --------------------- -------
   imported_onnx_model  MODEL

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

Importe o modelo através do objeto ONNXModel.

import bigframes
from bigframes.ml.imported import ONNXModel

bigframes.options.bigquery.project = PROJECT_ID
# You can change the location to one of the valid locations: https://cloud.google.com/bigquery/docs/locations#supported_locations
bigframes.options.bigquery.location = "US"

imported_onnx_model = ONNXModel(
    model_path="gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx"
)

Para mais informações sobre a importação de modelos ONNX para o BigQuery, incluindo os requisitos de formato e armazenamento, consulte a declaração CREATE MODEL para importar modelos ONNX.

Faça previsões com o modelo ONNX importado

Depois de importar o modelo ONNX, usa a função ML.PREDICT para fazer previsões com o modelo.

A consulta nos passos seguintes usa imported_onnx_model para fazer previsões com dados de entrada da tabela iris no conjunto de dados público ml_datasets. O modelo ONNX espera quatro valores FLOAT como entrada:

• sepal_length
• sepal_width
• petal_length
• petal_width

Estas entradas correspondem às initial_types que foram definidas quando converteu o modelo no formato ONNX.

As saídas incluem as colunas label e probabilities, bem como as colunas da tabela de entrada. label representa a etiqueta de classe prevista. probabilities é uma matriz de probabilidades que representa as probabilidades de cada classe.

Para fazer previsões com o modelo do TensorFlow importado, escolha uma das seguintes opções:

Consola

1. Aceda à página do BigQuery Studio.

   Aceda ao BigQuery Studio

2. No editor de consultas, introduza esta consulta que usa a função ML.PREDICT.

   SELECT *
     FROM ML.PREDICT(MODEL `bqml_tutorial.imported_onnx_model`,
       (
       SELECT * FROM `bigquery-public-data.ml_datasets.iris`
       )
   )

   Os resultados da consulta são semelhantes aos seguintes:

   

bq

Execute a consulta que usa ML.PREDICT.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT(
MODEL `example_dataset.imported_onnx_model`,
(SELECT * FROM `bigquery-public-data.ml_datasets.iris`))'

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

Use a função predict para executar o modelo remoto.

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.ml_datasets.iris")
predictions = imported_onnx_model.predict(df)
predictions.peek(5)

O resultado é semelhante ao seguinte:



Limpar

Para evitar incorrer em custos na sua conta do Google Cloud pelos recursos usados neste tutorial, elimine o projeto que contém os recursos ou mantenha o projeto e elimine os recursos individuais.

Elimine o projeto

Consola

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

gcloud

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Elimine recursos individuais

Em alternativa, para remover os recursos individuais usados neste tutorial, faça o seguinte:

1. Elimine o modelo importado.

2. Opcional: elimine o conjunto de dados.

O que se segue?

• Para mais informações sobre a importação de modelos ONNX, consulte A declaração CREATE MODEL para modelos ONNX.
• Para mais informações sobre os conversores ONNX disponíveis e tutoriais, consulte o artigo Converter para o formato ONNX.
• Para uma vista geral do BigQuery ML, consulte o artigo Introdução ao BigQuery ML.
• Para começar a usar o BigQuery ML, consulte o artigo Crie modelos de aprendizagem automática no BigQuery ML.