Use o ajuste e a avaliação para melhorar o desempenho do modelo

Este documento mostra como criar um modelo remoto do BigQuery ML que faz referência a um modelo do Vertex AI gemini-2.0-flash-001. Em seguida, usa a ajuste supervisionado para ajustar o modelo com novos dados de preparação, seguido da avaliação do modelo com a função ML.EVALUATE.

A otimização pode ajudar a resolver cenários em que precisa de personalizar o modelo do Vertex AI alojado, como quando o comportamento esperado do modelo é difícil de definir de forma concisa num comando ou quando os comandos não produzem resultados esperados com consistência suficiente. A otimização supervisionada também influencia o modelo das seguintes formas:

• Orienta o modelo para devolver estilos de resposta específicos, por exemplo, ser mais conciso ou mais detalhado.
• Ensinam novos comportamentos ao modelo, por exemplo, responder a comandos como um perfil específico.
• Faz com que o modelo se atualize com novas informações.

Neste tutorial, o objetivo é que o modelo gere texto cujo estilo e conteúdo estejam o mais próximos possível do conteúdo de dados reais fornecido.

Funções necessárias

Para executar este tutorial, precisa das seguintes funções de gestão de identidade e de acesso (IAM):

• Criar e usar conjuntos de dados, ligações e modelos do BigQuery: Administrador do BigQuery (roles/bigquery.admin).
• Conceda autorizações à conta de serviço da associação: administrador de IAM do projeto (roles/resourcemanager.projectIamAdmin).

Estas funções predefinidas contêm as autorizações necessárias para realizar as tarefas descritas neste documento. Para ver as autorizações exatas necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

• Crie um conjunto de dados: bigquery.datasets.create
• Crie uma tabela: bigquery.tables.create
• Crie, delegue e use uma associação: bigquery.connections.*
• Defina a ligação predefinida: bigquery.config.*
• Defina as autorizações da conta de serviço: resourcemanager.projects.getIamPolicy e resourcemanager.projects.setIamPolicy
• Crie um modelo e execute a inferência:
  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Antes de começar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection, Vertex AI, and Compute Engine APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

Custos

Neste documento, usa os seguintes componentes faturáveis do Google Cloud:

• BigQuery: You incur costs for the queries that you run in BigQuery.
• BigQuery ML: You incur costs for the model that you create and the processing that you perform in BigQuery ML.
• Vertex AI: You incur costs for calls to and supervised tuning of the gemini-1.0-flash-002 model.

Para gerar uma estimativa de custos com base na sua utilização projetada, use a calculadora de preços.

Os novos Google Cloud utilizadores podem ser elegíveis para uma avaliação gratuita.

Para obter mais informações, consulte os seguintes recursos:

• Preços de armazenamento do BigQuery
• Preços do BigQuery ML
• Preços do Vertex AI

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda à página do BigQuery

2. No painel Explorador, clique no nome do projeto.

3. Clique em Ver ações > Criar conjunto de dados

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para o ID do conjunto de dados, introduza bqml_tutorial.

   • Em Tipo de localização, selecione Várias regiões e, de seguida, selecione EUA (várias regiões nos Estados Unidos).

   • Deixe as restantes predefinições como estão e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, use o comando bq mk com a flag --location. Para uma lista completa de parâmetros possíveis, consulte a referência do comando bq mk --dataset.

1. Crie um conjunto de dados com o nome bqml_tutorial com a localização dos dados definida como US e uma descrição de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Em vez de usar a flag --dataset, o comando usa o atalho -d. Se omitir -d e --dataset, o comando cria um conjunto de dados por predefinição.

2. Confirme que o conjunto de dados foi criado:

   bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crie tabelas de teste

Crie tabelas de dados de preparação e avaliação com base no conjunto de dados público task955_wiki_auto_style_transfer do Hugging Face.

1. Abra o Cloud Shell.

2. No Cloud Shell, execute os seguintes comandos para criar tabelas de dados de teste e avaliação:

   python3 -m pip install pandas pyarrow fsspec huggingface_hub
   
   python3 -c "import pandas as pd; df_train = pd.read_parquet('hf://datasets/Lots-of-LoRAs/task955_wiki_auto_style_transfer/data/train-00000-of-00001.parquet').drop('id', axis=1); df_train['output'] = [x[0] for x in df_train['output']]; df_train.to_json('wiki_auto_style_transfer_train.jsonl', orient='records', lines=True);"
   
   python3 -c "import pandas as pd; df_valid = pd.read_parquet('hf://datasets/Lots-of-LoRAs/task955_wiki_auto_style_transfer/data/valid-00000-of-00001.parquet').drop('id', axis=1); df_valid['output'] = [x[0] for x in df_valid['output']]; df_valid.to_json('wiki_auto_style_transfer_valid.jsonl', orient='records', lines=True);"
   
   bq rm -t bqml_tutorial.wiki_auto_style_transfer_train
   
   bq rm -t bqml_tutorial.wiki_auto_style_transfer_valid
   
   bq load --source_format=NEWLINE_DELIMITED_JSON bqml_tutorial.wiki_auto_style_transfer_train wiki_auto_style_transfer_train.jsonl input:STRING,output:STRING
   
   bq load --source_format=NEWLINE_DELIMITED_JSON bqml_tutorial.wiki_auto_style_transfer_valid wiki_auto_style_transfer_valid.jsonl input:STRING,output:STRING
   

Crie um modelo de base

Crie um modelo remoto no modelo gemini-1.0-flash-002 do Vertex AI.

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração para criar um modelo remoto:

   CREATE OR REPLACE MODEL `bqml_tutorial.gemini_baseline`
   REMOTE WITH CONNECTION DEFAULT
   OPTIONS (ENDPOINT ='gemini-2.0-flash-001');

   A consulta demora vários segundos a ser concluída. Depois disso, o modelo gemini_baseline aparece no conjunto de dados bqml_tutorial no painel Explorador. Uma vez que a consulta usa uma declaração CREATE MODEL para criar um modelo, não existem resultados da consulta.

Verifique o desempenho do modelo de base

Execute a função ML.GENERATE_TEXT com o modelo remoto para ver o respetivo desempenho nos dados de avaliação sem qualquer ajuste.

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   SELECT ml_generate_text_llm_result, ground_truth
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemini_baseline`,
       (
         SELECT
           input AS prompt, output AS ground_truth
         FROM `bqml_tutorial.wiki_auto_style_transfer_valid`
         LIMIT 10
       ),
       STRUCT(TRUE AS flatten_json_output));

   Se examinar os dados de saída e comparar os valores ml_generate_text_llm_resulte ground_truth, vê que, embora o modelo de referência gere texto que reflete com precisão os factos fornecidos no conteúdo de verdade fundamental, o estilo do texto é bastante diferente.

Avalie o modelo de base

Para fazer uma avaliação mais detalhada do desempenho do modelo, use a função ML.EVALUATE. Esta função calcula as métricas do modelo que medem a precisão e a qualidade do texto gerado, para ver como as respostas do modelo se comparam às respostas ideais.

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   SELECT *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.gemini_baseline`,
       (
         SELECT
           input AS input_text, output AS output_text
         FROM `bqml_tutorial.wiki_auto_style_transfer_valid`
       ),
       STRUCT('text_generation' AS task_type));

O resultado tem um aspeto semelhante ao seguinte:

   +---------------------+---------------------+-------------------------------------------+--------------------------------------------+
   | bleu4_score         | rouge-l_precision   | rouge-l_recall      | rouge-l_f1_score    | evaluation_status                          |
   +---------------------+---------------------+---------------------+---------------------+--------------------------------------------+
   | 0.23317359667074181 | 0.37809145226740043 | 0.45902937167791508 | 0.40956844061733139 | {                                          |
   |                     |                     |                     |                     |  "num_successful_rows": 176,               |
   |                     |                     |                     |                     |  "num_total_rows": 176                     |
   |                     |                     |                     |                     | }                                          |
   +---------------------+---------------------+ --------------------+---------------------+--------------------------------------------+
   

Pode ver que o desempenho do modelo de base não é mau, mas a semelhança do texto gerado com os dados reais é baixa, com base nas métricas de avaliação. Isto indica que vale a pena fazer um ajuste supervisionado para ver se consegue melhorar o desempenho do modelo para este exemplo de utilização.

Crie um modelo otimizado

Crie um modelo remoto muito semelhante ao que criou em Criar um modelo, mas desta vez especificando a cláusula AS SELECT para fornecer os dados de preparação de forma a otimizar o modelo.

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração para criar um modelo remoto:

   CREATE OR REPLACE MODEL `bqml_tutorial.gemini_tuned`
     REMOTE
       WITH CONNECTION DEFAULT
     OPTIONS (
       endpoint = 'gemini-2.0-flash-001',
       max_iterations = 500,
       data_split_method = 'no_split')
   AS
   SELECT
     input AS prompt, output AS label
   FROM `bqml_tutorial.wiki_auto_style_transfer_train`;

   A consulta demora alguns minutos a ser concluída. Depois, o modelo gemini_tuned é apresentado no conjunto de dados bqml_tutorial no painel Explorador. Uma vez que a consulta usa uma declaração CREATE MODEL para criar um modelo, não existem resultados de consulta.

Verifique o desempenho do modelo otimizado

Execute a função ML.GENERATE_TEXT para ver o desempenho do modelo otimizado nos dados de avaliação.

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   SELECT ml_generate_text_llm_result, ground_truth
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.gemini_tuned`,
       (
         SELECT
           input AS prompt, output AS ground_truth
         FROM `bqml_tutorial.wiki_auto_style_transfer_valid`
         LIMIT 10
       ),
       STRUCT(TRUE AS flatten_json_output));

   Se examinar os dados de saída, vê que o modelo otimizado produz texto com um estilo muito mais semelhante ao conteúdo de dados reais.

Avalie o modelo otimizado

Use a função ML.EVALUATE para ver como as respostas do modelo otimizado se comparam às respostas ideais.

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   SELECT *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.gemini_tuned`,
       (
         SELECT
           input AS prompt, output AS label
         FROM `bqml_tutorial.wiki_auto_style_transfer_valid`
       ),
       STRUCT('text_generation' AS task_type));

O resultado tem um aspeto semelhante ao seguinte:

   +---------------------+---------------------+-------------------------------------------+--------------------------------------------+
   | bleu4_score         | rouge-l_precision   | rouge-l_recall      | rouge-l_f1_score    | evaluation_status                          |
   +---------------------+---------------------+---------------------+---------------------+--------------------------------------------+
   | 0.416868792119966   | 0.642001000843349   | 0.55910008048151372 | 0.5907226262084847  | {                                          |
   |                     |                     |                     |                     |  "num_successful_rows": 176,               |
   |                     |                     |                     |                     |  "num_total_rows": 176                     |
   |                     |                     |                     |                     | }                                          |
   +---------------------+---------------------+ --------------------+---------------------+--------------------------------------------+
   

Pode ver que, embora o conjunto de dados de preparação tenha usado apenas 1408 exemplos, existe uma melhoria acentuada no desempenho, conforme indicado pelas métricas de avaliação mais elevadas.

Limpar

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.