Tutorial: faça uma avaliação através da consola

Pré-visualização

Esta funcionalidade está sujeita aos "Termos das Ofertas de Pré-DG" na secção Termos Gerais de Serviço dos Termos Específicos do Serviço. As funcionalidades de pré-DG estão disponíveis "tal como estão" e podem ter apoio técnico limitado. Para mais informações, consulte as descrições das fases de lançamento.

Saiba como começar a usar o serviço de avaliação de IA gen através da consola Google Cloud Google.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Aceder ao IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos responsáveis, introduza o identificador do utilizador. Normalmente, este é o endereço de email de uma Conta Google.

5. Na lista Selecionar uma função, selecione uma função.
6. Para conceder funções adicionais, clique em Adicionar outra função e adicione cada função adicional.
7. Clique em Guardar.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Aceder ao IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos responsáveis, introduza o identificador do utilizador. Normalmente, este é o endereço de email de uma Conta Google.

5. Na lista Selecionar uma função, selecione uma função.
6. Para conceder funções adicionais, clique em Adicionar outra função e adicione cada função adicional.
7. Clique em Guardar.

Avalie o seu modelo

Para avaliar o modelo:

1. Na Google Cloud consola, aceda à página de avaliação da IA gen.

   Aceder à avaliação

2. Clique em Nova avaliação para abrir a página de avaliação.

3. Para Definir conjunto de dados de avaliação, selecione uma opção:

   • Carregar ficheiro: clique em Carregar para carregar um ficheiro CSV ou JSONL. O conjunto de dados deve conter comandos ou registos para usar num modelo de comando e, opcionalmente, respostas do modelo, com um máximo de 200 linhas.

   • Gerar dados: introduza um modelo de comando para orientar o serviço de avaliação de IA gen na geração de um conjunto de dados. As variáveis que define no modelo de comando são geradas e preenchidas no conjunto de dados. Para mais informações, consulte o artigo Use modelos de comandos.

     1. Definir variáveis a gerar: especifique as variáveis a gerar e as descrições da variável para orientar a geração. Se necessário, clique em Adicionar outra descrição da variável.

     2. Introduza um Número de amostras a gerar.

     3. Clique em Gerar e pré-visualizar conjunto de dados para apresentar um conjunto de dados gerado com base no modelo de comando e nas variáveis. Para ajustar o conjunto de dados, pode adicionar mais detalhes às descrições das variáveis e clicar em Voltar a gerar.

   • Usar registos de modelos: use a captura instantânea de comandos e respostas do tráfego registado do modelo selecionado. Só pode usar esta opção se tiver os registos de pedido-resposta ativados num modelo implementado no Vertex AI. Se acabou de ativar o registo, aguarde até que sejam acumulados exemplos suficientes.

     1. Selecione o Modelo e a Região a partir dos quais quer registar o tráfego. Já tem de ter ativado o registo no modelo e na região selecionados.

     2. Introduza uma Contagem de amostragem.

     3. (Opcional) Ative a opção Filtrar por modelo de comando para usar apenas registos que correspondam ao seu Modelo de comando. Isto pode ser útil se usar os modelos selecionados para vários exemplos de utilização e quiser avaliar um exemplo de utilização específico.

4. Para Definir respostas do modelo a avaliar, selecione uma opção:

   • Do conjunto de dados (disponível apenas se tiver selecionado Carregar ficheiro para Definir conjunto de dados de avaliação): se quiser usar um dos campos no conjunto de dados carregado como resposta, selecione uma Coluna de resposta.

   • Do modelo (só disponível se tiver selecionado Usar registos do modelo para Definir conjunto de dados de avaliação): se estiver a usar registos do modelo como o conjunto de dados de avaliação, o serviço de avaliação de IA gen usa as respostas do modelo dos registos do modelo.

   • Modelo de chamada: selecione um modelo. O serviço de avaliação de IA gen executa comandos no modelo selecionado e usa as respostas para avaliação.

5. (Opcional) Para as métricas de avaliação geradas automaticamente, pode especificar instruções personalizadas para orientar as rubricas geradas a partir de cada comando. Por exemplo, Evaluate the dataset on cultural sensitivity to the countries {name}. Para mais informações, consulte o artigo Defina as métricas de avaliação.

6. Em Nome e diretório de saída, introduza o seguinte:

   1. Nome da avaliação: introduza um nome para a avaliação.

   2. Caminho dos dados privados de saída: introduza o nome de um contentor do Cloud Storage onde quer armazenar a sua avaliação ou clique em Procurar para escolher o contentor.

7. Clique em Avaliar.

Veja os resultados da avaliação

Para ver um resultado da avaliação:

1. Na Google Cloud consola, aceda à página de avaliação da IA gen.

   Aceder à avaliação

2. Clique no nome da avaliação.

3. Para cada comando no conjunto de dados de avaliação, a resposta do modelo é apresentada juntamente com os resultados da avaliação.

O que se segue?

• Defina as métricas de avaliação.