Tutorial: realizar a avaliação usando o console

Prévia

Este recurso está sujeito aos "Termos das Soluções Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis no estado em que se encontram e podem ter suporte limitado. Para mais informações, consulte as descrições das fases de lançamento.

Saiba como começar a usar o serviço de avaliação de IA generativa com o console do Google Google Cloud .

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Acessar o IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

5. Na lista Selecionar um papel, escolha um.
6. Para conceder outros papéis, adicione-os clicando em Adicionar outro papel.
7. Clique em Salvar.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Acessar o IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

5. Na lista Selecionar um papel, escolha um.
6. Para conceder outros papéis, adicione-os clicando em Adicionar outro papel.
7. Clique em Salvar.

Avalie o modelo

Para avaliar seu modelo:

1. No console Google Cloud , acesse a página "Avaliação de IA generativa".

   Acessar "Avaliação"

2. Clique em Nova avaliação para abrir a página de avaliação.

3. Em Definir conjunto de dados de avaliação, selecione uma opção:

   • Fazer upload do arquivo: clique em Fazer upload para enviar um arquivo CSV ou JSONL. O conjunto de dados precisa ter comandos ou registros para usar em um modelo de comando e, opcionalmente, respostas do modelo, com um máximo de 200 linhas.

   • Gerar dados: insira um modelo de comando para orientar o serviço de avaliação de IA generativa na geração de um conjunto de dados. As variáveis definidas no modelo de comando são geradas e preenchidas no conjunto de dados. Para mais informações, consulte Usar modelos de comando.

     1. Definir variáveis para gerar: especifique as variáveis que serão geradas e as descrições delas para orientar a geração. Se necessário, clique em Adicionar outra descrição de variável.

     2. Insira um Número de amostras a serem geradas.

     3. Clique em Gerar e visualizar conjunto de dados para mostrar um conjunto de dados gerado com base no modelo de comando e nas variáveis. Para ajustar o conjunto de dados, adicione mais detalhes às descrições das variáveis e clique em Gerar novamente.

   • Usar registros do modelo: use o snapshot de comandos e respostas do tráfego registrado do modelo selecionado. Só é possível usar essa opção se você tiver os registros de solicitação-resposta ativados em um modelo implantado na Vertex AI. Se você acabou de ativar a geração de registros, aguarde tempo suficiente para que as amostras sejam acumuladas.

     1. Selecione o Modelo e a Região de onde você quer registrar o tráfego. Você precisa ter ativado o registro em log no modelo e na região selecionados.

     2. Insira uma Contagem de amostragem.

     3. (Opcional) Ative a opção Filtrar por modelo de comando para usar apenas os registros que correspondem ao seu Modelo de comando. Isso pode ser útil se você usa os modelos selecionados para vários casos de uso e quer avaliar um caso específico.

4. Em Definir respostas do modelo para avaliação, selecione uma opção:

   • Do conjunto de dados (disponível apenas se você selecionou Fazer upload de arquivo em Definir conjunto de dados de avaliação): se quiser usar um dos campos do conjunto de dados enviado como resposta, selecione uma Coluna de resposta.

   • Do modelo (disponível apenas se você selecionou Usar registros do modelo em Definir conjunto de dados de avaliação): se você estiver usando registros do modelo como o conjunto de dados de avaliação, o serviço de avaliação de IA generativa usará as respostas do modelo nos registros.

   • Modelo de chamada: selecione um modelo. O serviço de avaliação de IA generativa executa comandos no modelo selecionado e usa as respostas para avaliação.

5. (Opcional) Em Métricas de avaliação geradas automaticamente, você pode Especificar instruções personalizadas para orientar as rubricas geradas com base em cada comando. Por exemplo, Evaluate the dataset on cultural sensitivity to the countries {name}. Para mais informações, consulte Definir métricas de avaliação.

6. Em Nome e diretório de saída, insira o seguinte:

   1. Nome da avaliação: insira um nome para a avaliação.

   2. Caminho dos dados particulares de saída: insira o nome de um bucket do Cloud Storage em que você quer armazenar sua avaliação ou clique em "Procurar" para escolher o bucket.

7. Clique em Avaliar.

Conferir os resultados da avaliação

Para conferir um resultado da avaliação:

1. No console Google Cloud , acesse a página "Avaliação de IA generativa".

   Acessar "Avaliação"

2. Clique no nome da avaliação.

3. Para cada comando no conjunto de dados de avaliação, a resposta do modelo aparece junto com os resultados da avaliação.

A seguir

• Defina as métricas de avaliação.