Tutorial: faça uma avaliação com o cliente de IA gen no SDK Vertex AI

Para ver um exemplo de Introdução: faça uma avaliação com o SDK do Vertex AI através do cliente GenAI, execute o bloco de notas "Introdução: faça uma avaliação com o SDK do Vertex AI através do cliente GenAI" num dos seguintes ambientes:

Abrir no Colab | Abrir no Colab Enterprise | Abrir no Vertex AI Workbench | Ver no GitHub

Esta página mostra como avaliar os seus modelos e aplicações de IA generativa num conjunto de exemplos de utilização através do cliente da IA generativa no SDK da Vertex AI.

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

2. Instale o SDK Vertex AI para Python:

   !pip install google-cloud-aiplatform[evaluation]
   

3. Configure as suas credenciais. Se estiver a executar este tutorial no Colaboratory, execute o seguinte:

   from google.colab import auth
   auth.authenticate_user()
   

   Para outros ambientes, consulte o artigo Autenticação no Vertex AI.

Gere respostas

Gere respostas do modelo para o seu conjunto de dados através de run_inference():

1. Prepare o seu conjunto de dados como um Pandas DataFrame:

   import pandas as pd
   
   eval_df = pd.DataFrame({
     "prompt": [
         "Explain software 'technical debt' using a concise analogy of planting a garden.",
         "Write a Python function to find the nth Fibonacci number using recursion with memoization, but without using any imports.",
         "Write a four-line poem about a lonely robot, where every line must be a question and the word 'and' cannot be used.",
         "A drawer has 10 red socks and 10 blue socks. In complete darkness, what is the minimum number of socks you must pull out to guarantee you have a matching pair?",
         "An AI discovers a cure for a major disease, but the cure is based on private data it analyzed without consent. Should the cure be released? Justify your answer."
     ]
   })
   

2. Gere respostas do modelo com run_inference():

   eval_dataset = client.evals.run_inference(
     model="gemini-2.5-flash",
     src=eval_df,
   )
   

3. Visualize os resultados da inferência chamando .show() no objeto EvaluationDataset para inspecionar as saídas do modelo juntamente com os comandos e as referências originais:

   eval_dataset.show()
   

A imagem seguinte apresenta o conjunto de dados de avaliação com comandos e as respetivas respostas geradas:



Execute a avaliação

Execute evaluate() para avaliar as respostas do modelo:

1. Avalie as respostas do modelo com a GENERAL_QUALITY métrica adaptável baseada em rubricas predefinida:

   eval_result = client.evals.evaluate(dataset=eval_dataset)
   

2. Visualize os resultados da avaliação chamando .show() no objeto EvaluationResult para apresentar métricas de resumo e resultados detalhados:

   eval_result.show()
   

A imagem seguinte apresenta um relatório de avaliação, que mostra métricas de resumo e resultados detalhados para cada par de comandos-respostas.



Limpar

Não são criados recursos do Vertex AI durante este tutorial.

O que se segue?

• Defina as métricas de avaliação.