Fazer previsões com modelos remotos na Vertex AI

Neste tutorial, você vai registrar um endpoint da Vertex AI como um modelo remoto no BigQuery. Em seguida, use a função ML.PREDICT para fazer previsões usando o modelo remoto.

É possível usar modelos remotos quando um modelo é muito grande para ser importado para o BigQuery. Eles também são úteis quando você quer ter um único ponto de inferência para casos de uso on-line, em lote e de microlote.

Objetivos

  • Importar um modelo do TensorFlow pré-treinado para o Registro de modelos da Vertex AI.
  • Implante o modelo em um endpoint da Vertex AI.
  • Crie uma conexão de recursos do Cloud.
  • Use a instrução CREATE MODEL para criar um modelo remoto no BigQuery.
  • Use a função ML.PREDICT para fazer previsões com o modelo remoto.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Ao concluir as tarefas descritas neste documento, é possível evitar o faturamento contínuo excluindo os recursos criados. Saiba mais em Limpeza.

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    3.

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    4.

  4. Make sure that billing is enabled for your Google Cloud project.

  5. Enable the BigQuery, Vertex AI, Cloud Storage, and BigQuery Connection APIs.

    Enable the APIs

  6. Verifique se você tem as permissões necessárias para realizar as tarefas neste documento.

Funções exigidas

Se você criar um projeto, será o proprietário dele e receberá todas as permissões do IAM necessárias para concluir este tutorial.

Se você estiver usando um projeto, faça o seguinte.

Make sure that you have the following role or roles on the project:

Check for the roles

  1. In the Google Cloud console, go to the IAM page.

    Go to IAM
  2. Select the project.

  3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

  4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

  1. In the Google Cloud console, go to the IAM page.

    Acessar o IAM
  2. Selecionar um projeto.
  3. Clique em CONCEDER ACESSO.

  4. No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

  5. Na lista Selecionar um papel, escolha um.
  6. Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
  7. Clique em Salvar.

    8. Para mais informações sobre as permissões do IAM no BigQuery, consulte Permissões do BigQuery.

Importar o modelo para o Registro de modelos da Vertex AI

Neste tutorial, você vai usar um modelo pré-treinado do TensorFlow que está disponível no Cloud Storage em gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/. O bucket do Cloud Storage está no local da multirregião US.

O modelo é um modelo do TensorFlow chamado saved_model.pb. É um modelo personalizado de análise de sentimento criado ao ajustar um modelo BERT com resenhas de filmes do IMDB em texto simples. O modelo usa a entrada de texto das avaliações de filmes e retorna pontuações de sentimento entre zero e um. Ao importar o modelo para o registro, você usa um contêiner pré-criado do TensorFlow.

Siga estas etapas para importar o modelo.

  1. No console do Google Cloud, acesse a página Model Registry da Vertex AI.

    Acessar o Model Registry

  2. Clique em Importar.

  3. Na Etapa 1: nome e região, faça o seguinte:

    1. Selecione Importar como novo modelo.

    2. Em Nome, insira bert_sentiment.

    3. Em Descrição, insira BQML tutorial model.

    4. Em Região, selecione us-central1. Você precisa escolher uma região baseada nos EUA, porque o bucket do Cloud Storage está no local multirregional US.

    5. Clique em Continuar.

  4. Na Etapa 2: Configurações do modelo, faça o seguinte:

    1. Selecione Importar artefatos de modelo em um novo contêiner predefinido.

    2. Na seção Configurações de contêiner pré-criado, faça o seguinte:

      1. Em Framework do modelo, escolha TensorFlow.

      2. Em Versão do framework do modelo, escolha 2.15.

      3. Em Tipo de acelerador, escolha GPU.

      4. Em Local do artefato do modelo, insira gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/.

      5. Deixe os valores padrão para todas as opções restantes e clique em Importar.

Depois que a importação for concluída, o modelo vai aparecer na página Registro de modelos.

Implantar o modelo em um endpoint da Vertex AI

Siga estas etapas para implantar o modelo em um endpoint.

  1. No console do Google Cloud, acesse a página Model Registry da Vertex AI.

    Acessar o Model Registry

  2. Na coluna Nome, clique em bert_sentiment.

  3. Clique na guia Implantar e testar.

  4. Clique em Implantar no endpoint.

  5. Na primeira etapa, Definir o endpoint, faça o seguinte:

    1. Clique em Criar novo endpoint.

    2. Em Nome do endpoint, digite bert sentiment endpoint.

    3. Deixe os outros valores como padrão e clique em Continuar.

  6. Na segunda etapa, Configurações do modelo, faça o seguinte:

    1. Na seção Configurações de computação, insira 1 em Número mínimo de nós de computação. Esse é o número de nós que precisam estar disponíveis para o modelo o tempo todo.

    2. Na seção Opções avançadas de escalonamento, em Tipo de máquina, escolha Padrão (n1-standard-2). Como você escolheu GPU como o tipo de acelerador ao importar o modelo, depois de escolher o tipo de máquina, o tipo de acelerador e a contagem de aceleradores são definidos automaticamente.

    3. Deixe os outros valores como padrão e clique em Implantar.

      Quando o modelo é implantado no endpoint, o status muda para Active.

    4. Copie o ID numérico do endpoint na coluna ID e o valor na coluna Região. Você vai precisar deles mais tarde.

Criar um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar seu modelo de ML.

Console

  1. No Console do Google Cloud, acesse a página BigQuery.

    Acesse a página do BigQuery

  2. No painel Explorer, clique no nome do seu projeto.

  3. Clique em Conferir ações > Criar conjunto de dados.

    Opção do menu "Criar conjunto de dados".

  4. Na página Criar conjunto de dados, faça o seguinte:

    • Para o código do conjunto de dados, insira bqml_tutorial.

    • Em Tipo de local, selecione Multirregião e EUA (várias regiões nos Estados Unidos).

    Os conjuntos de dados públicos são armazenados na multirregião US. Para simplificar, armazene seus conjuntos de dados no mesmo local.

    • Mantenha as configurações padrão restantes e clique em Criar conjunto de dados.

    Página "Criar conjunto de dados" com os valores preenchidos.

bq

Para criar um novo conjunto de dados, utilize o comando bq mk com a sinalização --location. Para obter uma lista completa de parâmetros, consulte a referência comando bq mk --dataset.

  1. Crie um conjunto de dados chamado bqml_tutorial com o local de dados definido como US e uma descrição de BigQuery ML tutorial dataset:

    bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial

    Em vez de usar a flag --dataset, o comando usa o atalho -d. Se você omitir -d e --dataset, o comando vai criar um conjunto de dados por padrão.

  2. Confirme se o conjunto de dados foi criado:

    bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Criar uma conexão de recursos do Cloud do BigQuery

Você precisa ter uma conexão de recursos do Cloud para se conectar a um endpoint da Vertex AI.

Console

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. Para criar uma conexão, clique em Adicionar e em Conexões com fontes de dados externas.

  3. Na lista Tipo de conexão, selecione Modelos remotos da Vertex AI, funções remotas e BigLake (Cloud Resource).

  4. No campo ID da conexão, insira bqml_tutorial.

  5. Verifique se a opção Multirregional — EUA está selecionada.

  6. Clique em Criar conexão.

  7. Na parte de baixo da janela, clique em Acessar conexão. Como alternativa, no painel Explorer, expanda Conexões externas e clique em us.bqml_tutorial.

  8. No painel Informações da conexão, copie o ID da conta de serviço. Você vai precisar desse ID ao configurar as permissões para a conexão. Quando você cria um recurso de conexão, o BigQuery cria uma conta de serviço do sistema exclusiva e a associa à conexão.

bq

  1. Criar uma conexão

    bq mk --connection --location=US --project_id=PROJECT_ID \
    --connection_type=CLOUD_RESOURCE bqml_tutorial

    Substitua PROJECT_ID pelo ID do projeto do Google Cloud. O parâmetro --project_id substitui o projeto padrão.

    Quando você cria um recurso de conexão, o BigQuery cria uma conta de serviço do sistema exclusiva e a associa à conexão.

    Solução de problemas: se você receber o seguinte erro de conexão, atualize o SDK Google Cloud:

    Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...

  2. Recupere e copie o ID da conta de serviço para uso em uma etapa posterior:

    bq show --connection PROJECT_ID.us.bqml_tutorial

    O resultado será assim:

    name                          properties
1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}

Configurar o acesso à conexão

Conceda a função de usuário da Vertex AI à conta de serviço da conexão de recursos do Cloud. É necessário conceder essa função no mesmo projeto em que você criou o endpoint do modelo remoto.

Para conceder o papel, siga estas etapas:

  1. Acessar a página AM e administrador

    Acessar IAM e administrador

  2. Clique em Conceder acesso.

  3. No campo Novos principais, insira o ID da conta de serviço da conexão de recursos do Cloud que você copiou anteriormente.

  4. No campo Selecionar um papel, escolha Vertex AI e, em seguida, selecione Usuário da Vertex AI.

  5. Clique em Salvar.

Criar um modelo remoto do BigQuery ML

Para criar um modelo remoto do BigQuery ML, use a instrução CREATE MODEL com a cláusula REMOTE WITH CONNECTION. Para mais informações sobre a instrução CREATE MODEL, consulte A instrução CREATE MODEL para modelos remotos em vez de modelos personalizados.

Você cria o modelo no local multirregional US. Em um conjunto de dados multirregional (US, EU) do BigQuery, só é possível criar um modelo remoto que se conecte a um endpoint implantado em uma região no mesmo local multirregional (US, EU).

Ao criar o modelo remoto, você precisa do ID de endpoint gerado quando implantou o modelo na Vertex AI. Além disso, os nomes e tipos de campo de entrada e saída precisam ser exatamente iguais aos de entrada e saída do modelo da Vertex AI. Nesse exemplo, a entrada é um texto STRING, e a saída é um ARRAY do tipo FLOAT64.

Console

  1. No Console do Google Cloud, acesse a página BigQuery.

    Ir para o BigQuery

  2. Em Criar novo, clique em Consulta SQL.

  3. No editor de consultas, digite esta instrução CREATE MODEL e clique em Executar:

    CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
INPUT (text STRING)
OUTPUT(scores ARRAY)
REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')

    Substitua:

    • PROJECT_ID: o nome do projeto.
    • ENDPOINT_ID: o ID do endpoint que você copiou anteriormente.

    Quando a operação for concluída, uma mensagem semelhante a Successfully created model named bert_sentiment vai aparecer.

    O novo modelo vai aparecer no painel Resources. Os modelos são indicados pelo ícone: ícone do modelo.

    Se você selecionar o novo modelo no painel Recursos, as informações sobre o modelo serão exibidas abaixo do Editor de consultas.

bq

  1. Crie o modelo remoto inserindo a seguinte instrução CREATE MODEL:

    bq query --use_legacy_sql=false \
"CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
INPUT (text STRING)
OUTPUT(scores ARRAY)
REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')"

    Substitua:

    • PROJECT_ID: o nome do projeto.
    • ENDPOINT_ID: o ID do endpoint que você copiou anteriormente.

  2. Depois de criar o modelo, verifique se ele aparece no conjunto de dados:

    bq ls -m bqml_tutorial

    O resultado será assim:

    Id               Model Type   Labels    Creation Time
---------------- ------------ -------- -----------------
bert_sentiment                         28 Jan 17:39:43

Receber previsões usando ML.PREDICT

Use a função ML.PREDICT para receber previsões de sentimento do modelo remoto. A entrada é uma coluna de texto (review) que contém avaliações de filmes da tabela bigquery-public-data.imdb.reviews.

Neste exemplo, 10.000 registros são selecionados e enviados para previsão. O modelo remoto tem como padrão um tamanho de lote de 128 instâncias para solicitações.

Console

  1. No Console do Google Cloud, acesse a página BigQuery.

    Ir para o BigQuery

  2. Na seção Criar novo, clique em Consulta SQL.

  3. No Editor de consultas, insira esta consulta que usa a função ML.PREDICT e clique em Executar.

    SELECT *
FROM ML.PREDICT (
    MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
    (
        SELECT review as text
        FROM `bigquery-public-data.imdb.reviews`
        LIMIT 10000
    )
)

    Os resultados da consulta vão ficar assim:

    Resultados da consulta

bq

Digite este comando para executar a consulta que usa ML.PREDICT.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT (
MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
  (
    SELECT review as text
    FROM `bigquery-public-data.imdb.reviews`
    LIMIT 10000
  )
)'

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Excluir o projeto

Console

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

gcloud

    Delete a Google Cloud project:

    gcloud projects delete PROJECT_ID

Excluir recursos individuais

Como alternativa, para remover os recursos individuais usados neste tutorial:

  1. Exclua o modelo.

  2. Opcional: exclua o conjunto de dados.

  3. Desimplante o modelo e exclua o endpoint.

  4. Exclua o modelo do Model Registry.

  5. Exclua a conexão do recurso do Cloud.

A seguir