Usar ajustes e avaliações para melhorar o desempenho dos modelos
Neste tutorial, mostramos como criar um
modelo remoto
do BigQuery ML
que faz referência ao modelo gemini-1.0-pro-002 da Vertex AI.
Em seguida, use o
ajuste supervisionado
para ajustar o modelo com novos dados de treinamento, depois avalie o modelo com a
função ML.EVALUATE.
Isso pode ajudar você a lidar com cenários em que é necessário personalizar o modelo hospedado da Vertex AI, como quando o comportamento esperado do modelo é difícil de definir de forma concisa em um comando ou quando os comandos não produzem os resultados esperados com consistência suficiente. O ajuste supervisionado também influencia o modelo das seguintes maneiras:
- Orienta o modelo a retornar estilos de resposta específicos, por exemplo, sendo mais conciso ou detalhado.
- Ensina novos comportamentos ao modelo, por exemplo, respondendo a comandos como uma persona específica.
- Faz com que o modelo se atualize com novas informações.
Permissões necessárias
Para criar uma conexão, você precisa do seguinte papel do Identity and Access Management (IAM, na sigla em inglês):
roles/bigquery.connectionAdmin
Para conceder permissões à conta de serviço da conexão, você precisa da seguinte permissão:
resourcemanager.projects.setIamPolicy
Para criar o modelo usando o BigQuery ML, você precisa das seguintes permissões do IAM:
bigquery.jobs.createbigquery.models.createbigquery.models.getDatabigquery.models.updateDatabigquery.models.updateMetadata
Para executar a inferência, você precisa das seguintes permissões:
bigquery.tables.getDatana tabelabigquery.models.getDatano modelobigquery.jobs.create
Antes de começar
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery, BigQuery Connection, Vertex AI, and Compute Engine APIs.
Custos
Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:
- BigQuery: You incur costs for the queries that you run in BigQuery.
- BigQuery ML: You incur costs for the model that you create and the processing that you perform in BigQuery ML.
- Vertex AI: You incur costs for calls to and
supervised tuning of the
gemini-1.0-pro-002model.
Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.
Para saber mais, acesse os recursos a seguir:
criar um conjunto de dados
Crie um conjunto de dados do BigQuery para armazenar o modelo de ML:
No console do Google Cloud, acesse a página do BigQuery.
No painel Explorer, clique no nome do seu projeto.
Clique em Conferir ações > Criar conjunto de dados.
Na página Criar conjunto de dados, faça o seguinte:
Para o código do conjunto de dados, insira
bqml_tutorial.Em Tipo de local, selecione Multirregião e EUA (várias regiões nos Estados Unidos).
Os conjuntos de dados públicos são armazenados na multirregião
US. Para simplificar, armazene seus conjuntos de dados no mesmo local.Mantenha as configurações padrão restantes e clique em Criar conjunto de dados.
Criar uma conexão
Crie uma Conexão de recursos do Cloud e tenha acesso ao ID da conta de serviço da conexão. Crie a conexão no mesmo local do conjunto de dados criado na etapa anterior.
Selecione uma das seguintes opções:
Console
Acessar a página do BigQuery.
Para criar uma conexão, clique em Adicionar e em Conexões com fontes de dados externas.
Na lista Tipo de conexão, selecione Modelos remotos da Vertex AI, funções remotas e BigLake (Cloud Resource).
No campo ID da conexão, insira um nome para a conexão.
Clique em Criar conexão.
Clique em Ir para conexão.
No painel Informações da conexão, copie o ID da conta de serviço para uso em uma etapa posterior.
bq
Em um ambiente de linha de comando, crie uma conexão:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
O parâmetro
--project_idsubstitui o projeto padrão.Substitua:
REGION: sua região de conexãoPROJECT_ID: o ID do projeto do Google CloudCONNECTION_ID: um ID para sua conexão
Quando você cria um recurso de conexão, o BigQuery cria uma conta de serviço do sistema exclusiva e a associa à conexão.
Solução de problemas: se você receber o seguinte erro de conexão, atualize o SDK Google Cloud:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Recupere e copie o ID da conta de serviço para uso em uma etapa posterior:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
O resultado será assim:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Anexe a seguinte seção ao seu arquivo main.tf.
## This creates a cloud resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "CONNECTION_ID" project = "PROJECT_ID" location = "REGION" cloud_resource {} }
CONNECTION_ID: um ID para sua conexãoPROJECT_ID: o ID do projeto do Google CloudREGION: sua região de conexão
Conceder acesso à conta de serviço da conexão
Conceda à sua conta de serviço o papel de Agente de serviço da Vertex AI para que ela possa acessar a Vertex AI. Se esse papel não for concedido, ocorrerá um erro. Selecione uma das seguintes opções:
Console
Acesse a página IAM e administrador.
Clique em CONCEDER ACESSO.
A caixa de diálogo Adicionar principais é aberta.
No campo Novos principais, digite o ID da conta de serviço que você copiou anteriormente.
Clique em Selecionar papel.
Em Filtro, digite
Vertex AI Service Agente selecione esse papel.Clique em Salvar.
gcloud
Use o comando gcloud projects add-iam-policy-binding (em inglês).
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.serviceAgent' --condition=None
Substitua:
PROJECT_NUMBER: o ID do seu projetoMEMBER: o ID da conta de serviço que você copiou anteriormente
A conta de serviço associada à sua conexão é uma instância do Agente de serviço da delegação de conexão do BigQuery. Portanto, não é aceitável atribuir um papel de agente de serviço a ela.
Conceder acesso à conta de serviço padrão do Compute Engine
Quando você ativa a API Compute Engine, a Conta de serviço padrão do Compute Engine recebe automaticamente o papel de Editor no projeto, a menos que você tenha desativado este comportamento para seu projeto. Se esse for o caso, conceda novamente o papel de Editor ao acesso à conta de serviço padrão do Compute Engine para que ele tenha permissões suficientes para criar e ajustar um modelo remoto.
Console
Acesse a página IAM e administrador.
Clique em Conceder acesso.
Em Novos principais, insira o ID da conta de serviço, que é
PROJECT_NUMBER-compute@developer.gserviceaccount.com.Clique em Selecionar papel.
Em Selecionar um papel, escolha Básico e selecione Editor.
Clique em Salvar.
gcloud
Use o comando gcloud projects add-iam-policy-binding (em inglês).
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/editor' --condition=None
Substitua:
PROJECT_NUMBER: o número do projeto.MEMBER: o ID da conta de serviço, que éPROJECT_NUMBER-compute@developer.gserviceaccount.com.
Criar um agente de serviço de ajuste
Criar uma instância do Agente de serviço de ajuste seguro da Vertex AI:
Use o Comando
gcloud beta services identity createpara criar o agente de serviço de ajuste:gcloud beta services identity create --service=aiplatform.googleapis.com --project=PROJECT_NUMBER
Substitua
PROJECT_NUMBERpelo número do projeto.Use o comando
gcloud projects add-iam-policy-bindingpara conceder ao agente de serviço de ajuste o papel de agente de serviço da Vertex AI (roles/aiplatform.tuningServiceAgent):gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:service-PROJECT_NUMBER@gcp-sa-vertex-tune.iam.gserviceaccount.com' --role='roles/aiplatform.tuningServiceAgent'
Substitua
PROJECT_NUMBERpelo número do projeto.
Criar tabelas de teste
Crie tabelas de dados de treinamento e avaliação com base no conjunto de dados
público MTSamples de relatórios médicos transcritos.
Este conjunto de dados tem uma coluna input_text que contém o histórico médico
e uma coluna output_text que contém o rótulo que melhor
descreve a categoria da transcrição, por exemplo, Allergy/Immunology, Dentistry,
ou Cardiovascular/Pulmonary. Além disso, crie uma tabela que contenha os dados
do comando para classificação de transcrições médicas.
Você importa os dados da transcrição médica de um bucket público do Cloud Storage.
No Console do Google Cloud, acesse a página BigQuery.
No editor de consultas, execute a seguinte instrução para criar uma tabela de dados de avaliação:
LOAD DATA INTO `bqml_tutorial.medical_transcript_eval` FROM FILES(format='NEWLINE_DELIMITED_JSON', uris = ['gs://cloud-samples-data/vertex-ai/model-evaluation/peft_eval_sample.jsonl']);
No editor de consultas, execute a seguinte instrução para criar uma tabela de dados de treinamento:
LOAD DATA INTO `bqml_tutorial.medical_transcript_train` FROM FILES(format='NEWLINE_DELIMITED_JSON', uris = ['gs://cloud-samples-data/vertex-ai/model-evaluation/peft_train_sample.jsonl']);
No editor de consultas, execute a seguinte instrução para criar uma tabela de comando:
CREATE OR REPLACE TABLE `bqml_tutorial.transcript_classification` AS (SELECT 'Please assign a label for the given medical transcript from among these labels [Allergy / Immunology, Autopsy, Bariatrics, Cardiovascular / Pulmonary, Chiropractic, Consult - History and Phy., Cosmetic / Plastic Surgery, Dentistry, Dermatology, Diets and Nutritions, Discharge Summary, ENT - Otolaryngology, Emergency Room Reports, Endocrinology, Gastroenterology, General Medicine, Hematology - Oncology, Hospice - Palliative Care, IME-QME-Work Comp etc., Lab Medicine - Pathology, Letters, Nephrology, Neurology, Neurosurgery, Obstetrics / Gynecology, Office Notes, Ophthalmology, Orthopedic, Pain Management, Pediatrics - Neonatal, Physical Medicine - Rehab, Podiatry, Psychiatry / Psychology, Radiology, Rheumatology, SOAP / Chart / Progress Notes, Sleep Medicine, Speech - Language, Surgery, Urology].' AS prompt);
Criar um modelo de referência
Crie um
modelo remoto
no modelo gemini-1.0-pro-002 da Vertex AI que pode ser usado para classificar
transcrições médicas.
No Console do Google Cloud, acesse a página BigQuery.
No editor de consultas, execute a seguinte instrução para criar um modelo remoto:
CREATE OR REPLACE MODEL `bqml_tutorial.gemini-baseline` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT ='gemini-1.0-pro-002');
Substitua:
LOCATION: o local da conexão.CONNECTION_ID: o ID da sua conexão do BigQuery.Quando você visualiza os detalhes da conexão no console do Google Cloud,
CONNECTION_IDé o valor na última seção do ID da conexão totalmente qualificado, mostrado em ID da conexão, por exemplo,projects/myproject/locations/connection_location/connections/myconnection.
A consulta leva alguns segundos para ser concluída. Depois disso, o modelo
gemini-baselineaparece no conjunto de dadosbqml_tutorialno painel Explorer. Como a consulta usa uma instruçãoCREATE MODELpara criar um modelo, não há resultados de consulta.
Verificar o desempenho do modelo de referência
Execute a
função ML.GENERATE_TEXT
com o modelo remoto para ver como ele é executado nos dados de avaliação sem nenhum
ajuste.
No Console do Google Cloud, acesse a página BigQuery.
No editor de consultas, execute a seguinte instrução:
SELECT * FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-baseline`, ( SELECT CONCAT( (SELECT prompt from `bqml_tutorial.transcript_classification`), ' ', input_text) AS prompt, output_text AS label FROM `bqml_tutorial.medical_transcript_eval` ), STRUCT(TRUE AS flatten_json_output)) ORDER BY ml_generate_text_llm_result;
Se você examinar os dados de saída e comparar os valores
ml_generate_text_llm_resultelabel, verá que, embora o modelo de referência preveja muitas classificações de transcrição corretamente, ele classifica algumas transcrições incorretamente. Veja a seguir um exemplo representativo de saída incorreta. Nesse exemplo, a classificação correta éAutopsy, nãoPulmonary Embolism.+------------------------------------+---------------------------------+-------------------------------------------------------------------------+--------------+ | ml_generate_text_llm_result | ml_generate_text_rai_result | ml_generate_text_status | prompt | label | +------------------------------------+---------------------------------+-------------------------------------------------------------------------+--------------+ | ## Label:Pulmonary Embolism | [{"category":1,"probability":1 | | Please assign a label for the given medical | Autopsy | | | ,"probability_score":0.19433 | | transcript from among these labels [Allergy / | | | | "594,"severity":2,... | | Immunology, Autopsy, Bariatrics, | | | | | | Cardiovascular / Pulmonary, Chiropractic, | | | | | | Consult - History and Phy., Cosmetic / | | | | | | Plastic Surgery, Dentistry, Dermatology, | | | | | | Diets and Nutritions, Discharge Summary, ENT | | | | | | - Otolaryngology, Emergency Room Reports, | | | | | | Endocrinology, Gastroenterology, General | | | | | | Medicine, Hematology - Oncology, Hospice - | | | | | | Palliative Care, IME-QME-Work Comp etc., | | | | | | Lab Medicine - Pathology, Letters, | | | | | | Nephrology, Neurology, Neurosurgery, | | | | | | Obstetrics / Gynecology, Office Notes, | | | | | | Ophthalmology, Orthopedic, Pain Management, | | | | | | Pediatrics - Neonatal, Physical Medicine - | | | | | | Rehab, Podiatry, Psychiatry / Psychology, | | | | | | Radiology, Rheumatology, SOAP / Chart / | | | | | | Progress Notes, Sleep Medicine, Speech - | | | | | | Language, Surgery, Urology]. | | | | | | TRANSCRIPT: | | | | | | SUMMARY OF CLINICAL HISTORY:, | | | | | | OF The patient was a 35-year-old | | | | | | African-American male with no | | | | | | significant past medical history | | | | | | a who called EMS with shortness of breath | | | | | | had and chest pain. Upon EMS | | | | | | arrival, patient was... | | +------------------------------------+---------------------------------+-------------------------------------------------------------------------+--------------+
Avaliar o modelo de referência
Para realizar uma avaliação mais detalhada do desempenho do modelo, use a
função ML.EVALUATE.
Essa função calcula as métricas do modelo, como
precisão,
recall e
pontuação F1, para ver como as respostas do modelo se comparam
às respostas ideais.
No Console do Google Cloud, acesse a página BigQuery.
No editor de consultas, execute a seguinte instrução:
SELECT * FROM ML.EVALUATE( MODEL `bqml_tutorial.gemini-baseline`, ( SELECT CONCAT( (SELECT prompt FROM `bqml_tutorial.transcript_classification`), ' ', input_text) AS input_text, output_text FROM `bqml_tutorial.medical_transcript_eval` ), STRUCT('classification' AS task_type)) ORDER BY label;
A saída será assim:
+------------------------------+----------------------------------+-------------------------------------------------------------------------+
| precision | recall | f1_score | label | evaluation_status |
+---------------------+---------------------+---------------------+----------------------------+--------------------------------------------+
| 0.0 | 0.0 | 0.0 | Allergy / Immunology | { |
| | | | | "num_successful_rows": 474, |
| | | | | "num_total_rows": 492 |
| | | | | } |
+---------------------+---------------------+ --------------------+----------------------------+--------------------------------------------+
| 0.0 | 0.0 | 0.0 | Autopsy | { |
| | | | | "num_successful_rows": 474, |
| | | | | "num_total_rows": 492 |
| | | | | } |
+---------------------+---------------------+--------------- -----+----------------------------+--------------------------------------------+
| 0.0 | 0.0 | 0.0 | Bariatrics | { |
| | | | | "num_successful_rows": 474, |
| | | | | "num_total_rows": 492 |
| | | | | } |
+---------------------+---------------------+---------------------+----------------------------+--------------------------------------------+
O modelo de referência não tem um bom desempenho para esses dados, com base
nas pontuações f1 baixas. Isso indica que vale a pena realizar o ajuste
supervisionado para saber se é possível melhorar o desempenho do modelo para este caso de uso.
Criar um modelo ajustado
Crie um modelo remoto semelhante ao criado em
Criar um modelo, mas desta vez especificando a
cláusula AS SELECT
para fornecer os dados de treinamento para ajustar o modelo.
Essa consulta pode levar algumas horas para ser concluída.
No Console do Google Cloud, acesse a página BigQuery.
No editor de consultas, execute a seguinte instrução para criar um modelo remoto:
CREATE OR REPLACE MODEL `bqml_tutorial.gemini-tuned` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS ( endpoint = 'gemini-1.0-pro-002', max_iterations = 300, data_split_method = 'no_split') AS SELECT CONCAT( (SELECT prompt FROM `bqml_tutorial.transcript_classification`), ' ', input_text) AS prompt, output_text AS label FROM `bqml_tutorial.medical_transcript_train`;
Substitua:
LOCATION: o local da conexão.CONNECTION_ID: o ID da sua conexão do BigQuery.Quando você visualiza os detalhes da conexão no console do Google Cloud,
CONNECTION_IDé o valor na última seção do ID da conexão totalmente qualificado, mostrado em ID da conexão, por exemplo,projects/myproject/locations/connection_location/connections/myconnection.
A consulta pode levar várias horas para ser concluída. Depois disso, o modelo
gemini-tunedaparece no conjunto de dadosbqml_tutorialno painel Explorer. Como a consulta usa uma instruçãoCREATE MODELpara criar um modelo, não há resultados de consulta.
Verificar o desempenho do modelo ajustado
Execute a função ML.GENERATE_TEXT para ver o desempenho do modelo ajustado nos
dados de avaliação.
No Console do Google Cloud, acesse a página BigQuery.
No editor de consultas, execute a seguinte instrução:
SELECT * FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-tuned`, ( SELECT CONCAT( (SELECT prompt from `bqml_tutorial.transcript_classification`), ' ', input_text) AS prompt, output_text AS label FROM `bqml_tutorial.medical_transcript_eval` ), STRUCT(TRUE AS flatten_json_output)) ORDER BY ml_generate_text_llm_result;
Se você examinar os dados de saída, verá que o modelo ajustado classifica mais transcrições corretamente. O exemplo que você analisou anteriormente agora está classificado corretamente como
Cardiovascular/ Pulmonary.+-----------------------------+---------------------------------+-------------------------------------------------------------------------+----------------------------+ | ml_generate_text_llm_result | ml_generate_text_rai_result | ml_generate_text_status | prompt | label | +-----------------------------+---------------------------------+-------------------------------------------------------------------------+----------------------------+ | Autopsy | [{"category":1,"probability":1 | | Please assign a label for the given medical | Autopsy | | | ,"probability_score":0.19335938 | | transcript from among these labels [Allergy / | | | | ,"severity":2,"severity_scor... | | Immunology, Autopsy, Bariatrics, | | | | | | Cardiovascular / Pulmonary, Chiropractic, | | | | | | Consult - History and Phy., Cosmetic / | | | | | | Plastic Surgery, Dentistry, Dermatology, | | | | | | Diets and Nutritions, Discharge Summary, ENT | | | | | | - Otolaryngology, Emergency Room Reports, | | | | | | Endocrinology, Gastroenterology, General | | | | | | Medicine, Hematology - Oncology, Hospice - | | | | | | Palliative Care, IME-QME-Work Comp etc., | | | | | | Lab Medicine - Pathology, Letters, | | | | | | Nephrology, Neurology, Neurosurgery, | | | | | | Obstetrics / Gynecology, Office Notes, | | | | | | Ophthalmology, Orthopedic, Pain Management, | | | | | | Pediatrics - Neonatal, Physical Medicine - | | | | | | Rehab, Podiatry, Psychiatry / Psychology, | | | | | | Radiology, Rheumatology, SOAP / Chart / | | | | | | Progress Notes, Sleep Medicine, Speech - | | | | | | Language, Surgery, Urology]. | | | | | | TRANSCRIPT: | | | | | | SUMMARY OF CLINICAL HISTORY:, | | | | | | The patient was a 35-year-old | | | | | | African-American male with no | | | | | | significant past medical history | | | | | | a who called EMS with shortness of breath | | | | | | had and chest pain. Upon EMS | | | | | | arrival, patient was... | | +-----------------------------+---------------------------------+-------------------------------------------------------------------------+----------------------------+
Avaliar o modelo ajustado
Use a função ML.EVALUATE para ver como as respostas do modelo ajustado se comparam
às respostas ideais.
No Console do Google Cloud, acesse a página BigQuery.
No editor de consultas, execute a seguinte instrução:
SELECT * FROM ML.EVALUATE( MODEL `bqml_tutorial.gemini-tuned`, ( SELECT CONCAT( (SELECT prompt from `bqml_tutorial.transcript_classification`), ' ', input_text) AS prompt, output_text AS label FROM `bqml_tutorial.medical_transcript_eval` ), STRUCT('classification' AS task_type)) ORDER BY label;
A saída será assim:
+------------------------------+----------------------------------+-------------------------------------------------------------------------+
| precision | recall | f1_score | label | evaluation_status |
+---------------------+---------------------+---------------------+----------------------------+--------------------------------------------+
| 0.5 | 0.66666666666666663 | 0.5714285714285714 | Allergy/Immunology | { |
| | | | | "num_successful_rows": 439, |
| | | | | "num_total_rows": 492 |
| | | | | } |
+---------------------+---------------------+ --------------------+----------------------------+--------------------------------------------+
| 1.0 | 1.0 | 1.0 | Autopsy | { |
| | | | | "num_successful_rows": 439, |
| | | | | "num_total_rows": 492 |
| | | | | } |
+---------------------+---------------------+--------------- -----+----------------------------+--------------------------------------------+
| 0.5 | 1.0 | 0.66666666666666663 | Bariatrics | { |
| | | | | "num_successful_rows": 439, |
| | | | | "num_total_rows": 492 |
| | | | | } |
+---------------------+---------------------+---------------------+----------------------------+--------------------------------------------+
Você pode notar que, embora o conjunto de dados de treinamento tenha usado apenas 519 exemplos,
há uma melhoria acentuada no desempenho, conforme indicado pelas pontuações mais altas de f1.
Limpar
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.