Faça previsões com modelos remotos no Vertex AI

---

Neste tutorial, regista um ponto final do Vertex AI como um modelo remoto no BigQuery. Em seguida, usa a ML.PREDICT função para fazer previsões com o modelo remoto.

Pode usar modelos remotos quando um modelo é demasiado grande para importar para o BigQuery. Também são úteis quando quer ter um único ponto de inferência para exemplos de utilização online, em lote e em microlotes.

Nota: para uma versão deste tutorial que usa Python num bloco de notas do BigQuery, consulte o tutorial do modelo remoto do BQML no GitHub.

Objetivos

• Importe um modelo do TensorFlow pré-treinado para o Registo de modelos do Vertex AI.
• Implemente o modelo num ponto final do Vertex AI.
• Crie uma associação de recursos da nuvem.
• Use a declaração CREATE MODEL para criar um modelo remoto no BigQuery.
• Use a função ML.PREDICT para fazer previsões com o modelo remoto.

Custos

Neste documento, usa os seguintes componentes faturáveis do Google Cloud:

• BigQuery
• BigQuery ML
• Vertex AI

Para gerar uma estimativa de custos com base na sua utilização projetada, use a calculadora de preços.

Os novos Google Cloud utilizadores podem ser elegíveis para uma avaliação gratuita.

Quando terminar as tarefas descritas neste documento, pode evitar a faturação contínua eliminando os recursos que criou. Para mais informações, consulte o artigo Limpe.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Verify that billing is enabled for your Google Cloud project.

2. Enable the BigQuery, Vertex AI, Cloud Storage, and BigQuery Connection APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

3. Certifique-se de que tem as autorizações necessárias para realizar as tarefas descritas neste documento.

Funções necessárias

Se criar um novo projeto, é o proprietário do projeto e recebe todas as autorizações de IAM necessárias para concluir este tutorial.

Se estiver a usar um projeto existente, faça o seguinte.

Make sure that you have the following role or roles on the project:

• BigQuery Studio Admin (roles/bigquery.studioAdmin)
• Vertex AI User (roles/aiplatform.user)
• BigQuery Connection Admin (roles/bigquery.connectionAdmin)

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Aceder ao IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos responsáveis, introduza o identificador do utilizador. Normalmente, este é o endereço de email de uma Conta Google.

5. Na lista Selecionar uma função, selecione uma função.
6. Para conceder funções adicionais, clique em Adicionar outra função e adicione cada função adicional.
7. Clique em Guardar.

Para mais informações acerca das autorizações da IAM no BigQuery, consulte Autorizações do BigQuery.

Importe o modelo para o Registo de modelos do Vertex AI

Neste tutorial, vai usar um modelo do TensorFlow pré-formado que está disponível no Cloud Storage em gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/. O contentor do Cloud Storage está na localização US multirregional.

O modelo é um modelo do TensorFlow com o nome saved_model.pb. É um modelo de análise de sentimentos personalizado que foi criado através da otimização de um modelo BERT com críticas cinematográficas do IMDB em texto simples. O modelo usa a entrada de texto das críticas de filmes e devolve pontuações de sentimento entre zero e um. Quando importa o modelo para o Model Registry, usa um contentor do TensorFlow pré-criado.

Nota: para ver um tutorial sobre a criação do modelo de exemplo, consulte o artigo Classifique texto com o BERT na documentação do TensorFlow.

Siga estes passos para importar o modelo.

1. Na Google Cloud consola, aceda à página Registo de modelos do Vertex AI.

   Aceda ao Registo de modelos

2. Clique em Importar.

3. Para o Passo um: nome e região, faça o seguinte:

   1. Selecione Importar como novo modelo.

   2. Em Nome, introduza bert_sentiment.

   3. Em Descrição, introduza BQML tutorial model.

   4. Para Região, selecione us-central1. Tem de escolher uma região sediada nos EUA, porque o contentor do Cloud Storage está na localização US multirregional.

   5. Clique em Continuar.

4. Para o Passo dois: definições do modelo, faça o seguinte:

   1. Selecione Importar artefactos do modelo para um novo contentor pré-criado.

   2. Na secção Definições do contentor pré-criado, faça o seguinte:

      1. Para Estrutura do modelo, escolha TensorFlow.

      2. Para Versão da estrutura do modelo, escolha 2.15.

      3. Para Tipo de acelerador, escolha GPU.

      4. Para Localização do artefacto do modelo, introduza gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/.

      5. Deixe os valores predefinidos para todas as opções restantes e clique em Importar.

Após a conclusão da importação, o modelo é apresentado na página Registo de modelos.

Implemente o modelo num ponto final do Vertex AI

Siga estes passos para implementar o modelo num ponto final.

1. Na Google Cloud consola, aceda à página Registo de modelos do Vertex AI.

   Aceda ao Registo de modelos

2. Na coluna Nome, clique em bert_sentiment.

3. Clique no separador Implementar e testar.

4. Clique em Implementar no ponto final.

5. Para o passo um, Defina o seu ponto final, faça o seguinte:

   1. Clique em Criar novo ponto final.

   2. Para Nome do ponto final, introduza bert sentiment endpoint.

   3. Deixe os restantes valores predefinidos e clique em Continuar.

6. Para o passo dois, Definições do modelo, faça o seguinte:

   1. Na secção Definições de computação, para Número mínimo de nós de computação, introduza 1. Este é o número de nós que têm de estar disponíveis para o modelo em todos os momentos.

      Nota: na produção, deve definir o número máximo de nós de computação. Esta opção ativa a capacidade de dimensionamento automático na Vertex AI e permite que o ponto final processe mais pedidos quando a tabela do BigQuery tiver um grande número de linhas.

   2. Na secção Opções de escalabilidade avançadas, para Tipo de máquina, escolha Padrão (n1-standard-2). Uma vez que escolheu GPU como o tipo de acelerador quando importou o modelo, depois de escolher o tipo de máquina, o tipo de acelerador e a quantidade de aceleradores são definidos automaticamente.

   3. Deixe os restantes valores predefinidos e clique em Implementar.

      Quando o modelo é implementado no ponto final, o estado muda para Active.

   4. Copie o ID numérico do ponto final na coluna ID e o valor na coluna Região. Vai precisar delas mais tarde.

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda à página do BigQuery

2. No painel Explorador, clique no nome do projeto.

3. Clique em Ver ações > Criar conjunto de dados

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para o ID do conjunto de dados, introduza bqml_tutorial.

   • Em Tipo de localização, selecione Várias regiões e, de seguida, selecione EUA (várias regiões nos Estados Unidos).

   • Deixe as restantes predefinições como estão e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, use o comando bq mk com a flag --location. Para uma lista completa de parâmetros possíveis, consulte a referência do comando bq mk --dataset.

1. Crie um conjunto de dados com o nome bqml_tutorial com a localização dos dados definida como US e uma descrição de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Em vez de usar a flag --dataset, o comando usa o atalho -d. Se omitir -d e --dataset, o comando cria um conjunto de dados por predefinição.

2. Confirme que o conjunto de dados foi criado:

   bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crie uma ligação de recursos do Google Cloud ao BigQuery

Tem de ter uma ligação de recursos da nuvem para se ligar a um ponto final do Vertex AI.

Consola

1. Aceda à página do BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, clique em Adicionar dados.

   É apresentada a caixa de diálogo Adicionar dados.

3. No painel Filtrar por, na secção Tipo de origem de dados, selecione Bases de dados.

   Em alternativa, no campo Pesquisar origens de dados, pode introduzir Vertex AI.

4. Na secção Origens de dados em destaque, clique em Vertex AI.

5. Clique no cartão da solução Modelos da Vertex AI: federação do BigQuery.

6. Na lista Tipo de ligação, selecione Modelos remotos da Vertex AI, funções remotas e BigLake (recurso da nuvem).

7. No campo ID da associação, introduza bqml_tutorial.

8. Verifique se a opção Várias regiões: EUA está selecionada.

9. Clique em Criar associação.

10. Na parte inferior da janela, clique em Aceder à associação. Em alternativa, no painel Explorador, expanda Ligações externas e, de seguida, clique em us.bqml_tutorial.

11. No painel Informações de associação, copie o ID da conta de serviço. Precisa deste ID quando configurar as autorizações para a associação. Quando cria um recurso de ligação, o BigQuery cria uma conta de serviço do sistema exclusiva e associa-a à ligação.

bq

1. Crie uma associação:

   bq mk --connection --location=US --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE bqml_tutorial

   Substitua PROJECT_ID pelo ID do seu projeto.Google Cloud O parâmetro --project_id substitui o projeto predefinido.

   Quando cria um recurso de ligação, o BigQuery cria uma conta de serviço do sistema única e associa-a à ligação.

   Resolução de problemas: se receber o seguinte erro de ligação, atualize o SDK do Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Obtenha e copie o ID da conta de serviço para utilização num passo posterior:

   bq show --connection PROJECT_ID.us.bqml_tutorial

   O resultado é semelhante ao seguinte:

   name                          properties
   1234.REGION.CONNECTION_ID {"serviceAccountId": "[e-mail]"}
   

Configure o acesso à ligação

Conceda a função de utilizador do Vertex AI à conta de serviço da ligação de recursos da nuvem. Tem de conceder esta função no mesmo projeto onde criou o ponto final do modelo remoto.

Nota: se a ligação estiver num projeto diferente, é devolvido este erro: [e-mail] does not have the permission to access resource.

Para conceder a função, siga estes passos:

1. Aceda à página IAM e administrador.

   Aceda a IAM e administração

2. Clique em Conceder acesso.

3. No campo Novos membros, introduza o ID da conta de serviço da associação de recursos do Google Cloud que copiou anteriormente.

4. No campo Selecionar uma função, escolha Vertex AI e, de seguida, selecione Utilizador da Vertex AI.

5. Clique em Guardar.

Crie um modelo remoto do BigQuery ML

Crie um modelo remoto do BigQuery ML usando a declaração CREATE MODEL com a cláusula REMOTE WITH CONNECTION. Para mais informações sobre a declaração CREATE MODEL, consulte o artigo A declaração CREATE MODEL para modelos remotos sobre modelos personalizados.

Cria o modelo na US localização com várias regiões. Num conjunto de dados multirregional do BigQuery (US, EU), só pode criar um modelo remoto que se ligue a um ponto final implementado numa região na mesma localização multirregional (US, EU).

Quando cria o modelo remoto, precisa do ID do ponto final que foi gerado quando implementou o modelo no Vertex AI. Além disso, os nomes e os tipos dos campos de entrada e saída têm de ser exatamente iguais aos da entrada e saída do modelo do Vertex AI. Neste exemplo, a entrada é um texto STRING e a saída é um ARRAY do tipo FLOAT64.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. Para Criar novo, clique em Consulta SQL.

3. No editor de consultas, introduza esta declaração CREATE MODEL e, de seguida, clique em Executar:

   CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')

   Substitua o seguinte:

   • PROJECT_ID: o nome do seu projeto.
   • ENDPOINT_ID: o ID do ponto final que copiou anteriormente.

   Quando a operação estiver concluída, é apresentada uma mensagem semelhante a Successfully created model named bert_sentiment.

   O novo modelo é apresentado no painel Recursos. Os modelos são indicados pelo ícone de modelo: .

   Se selecionar o novo modelo no painel Recursos, as informações sobre o modelo aparecem abaixo do Editor de consultas.

bq

1. Crie o modelo remoto introduzindo a seguinte CREATE MODELdeclaração:

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')"

   Substitua o seguinte:

   • PROJECT_ID: o nome do seu projeto.
   • ENDPOINT_ID: o ID do ponto final que copiou anteriormente.

2. Depois de criar o modelo, verifique se o modelo aparece no conjunto de dados:

   bq ls -m bqml_tutorial

   O resultado é semelhante ao seguinte:

   Id               Model Type   Labels    Creation Time
   ---------------- ------------ -------- -----------------
   bert_sentiment                         28 Jan 17:39:43

Receba previsões através de ML.PREDICT

Use a função ML.PREDICT para obter previsões de sentimento do modelo remoto. A entrada é uma coluna de texto (review) que contém críticas de filmes da tabela bigquery-public-data.imdb.reviews.

Neste exemplo, são selecionados e enviados 10 000 registos para previsão. O modelo remoto tem por predefinição um tamanho do lote de 128 instâncias para pedidos.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. Na secção Criar novo, clique em Consulta SQL.

3. No editor de consultas, introduza esta consulta que usa a função ML.PREDICT e, de seguida, clique em Executar.

   SELECT *
   FROM ML.PREDICT (
       MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
       (
           SELECT review as text
           FROM `bigquery-public-data.imdb.reviews`
           LIMIT 10000
       )
   )

   Os resultados da consulta devem ter um aspeto semelhante ao seguinte:

   

bq

Introduza este comando para executar a consulta que usa ML.PREDICT.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT (
MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
  (
    SELECT review as text
    FROM `bigquery-public-data.imdb.reviews`
    LIMIT 10000
  )
)'

Limpar

Para evitar incorrer em custos na sua conta do Google Cloud pelos recursos usados neste tutorial, elimine o projeto que contém os recursos ou mantenha o projeto e elimine os recursos individuais.

Elimine o projeto

Consola

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

gcloud

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Elimine recursos individuais

Em alternativa, para remover os recursos individuais usados neste tutorial:

1. Eliminar o modelo.

2. Opcional: elimine o conjunto de dados.

3. Anule a implementação do modelo e elimine o ponto final.

4. Eliminar o modelo do registo de modelos.

5. Elimine a associação de recursos do Google Cloud.

O que se segue?

• Para uma vista geral do BigQuery ML, consulte o artigo Introdução à IA e ao ML no BigQuery ML.
• Para mais informações sobre a utilização da declaração CREATE MODELpara modelos remotos, consulte o artigo A declaração CREATE MODEL para modelos remotos em relação a modelos personalizados.
• Para mais informações sobre a utilização de um bloco de notas do BigQuery, consulte o artigo Introdução aos blocos de notas.
• Para mais informações sobre as regiões e as multirregiões do BigQuery, consulte a página Localizações suportadas.
• Para saber como importar modelos no Registo de modelos Vertex AI, consulte o artigo Importe modelos para o Vertex AI.
• Para saber mais acerca do controlo de versões de modelos no Registo de modelos Vertex AI, consulte o artigo Controlo de versões de modelos com o Registo de modelos.
• Para obter informações sobre a utilização dos VPC Service Controls da Vertex AI, consulte o artigo VPC Service Controls com a Vertex AI.