Tutorial: Realizar una evaluación con la consola

Vista previa

Esta función está sujetas a los "Términos de las Ofertas de Acceso Previo a la Disponibilidad General" de la sección Términos Generales de los Servicios de los Términos Específicos de los Servicios. Las funciones previas a la disponibilidad general están disponibles tal cual y pueden tener una compatibilidad y asistencia limitadas. Para obtener más información, consulta las descripciones de las fases de lanzamiento.

Consulta cómo empezar a usar el servicio de evaluación de IA generativa con la consola de Google Google Cloud .

Antes de empezar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Conceder acceso.

4. En el campo Nuevos principales, introduce tu identificador de usuario. Normalmente, se trata de la dirección de correo de una cuenta de Google.

5. En la lista Selecciona un rol, elige un rol.
6. Para conceder más roles, haz clic en Añadir otro rol y añade cada rol adicional.
7. Haz clic en Guardar.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Conceder acceso.

4. En el campo Nuevos principales, introduce tu identificador de usuario. Normalmente, se trata de la dirección de correo de una cuenta de Google.

5. En la lista Selecciona un rol, elige un rol.
6. Para conceder más roles, haz clic en Añadir otro rol y añade cada rol adicional.
7. Haz clic en Guardar.

Evaluar el modelo

Para evaluar tu modelo, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Evaluación de IA generativa.

   Ir a Evaluación

2. Haga clic en Nueva evaluación para abrir la página de evaluación.

3. En Define evaluation dataset (Definir conjunto de datos de evaluación), selecciona una opción:

   • Subir archivo: haz clic en Subir para subir un archivo CSV o JSONL. El conjunto de datos debe contener peticiones o registros para usarlos en una plantilla de petición y, opcionalmente, respuestas del modelo. Puede tener un máximo de 200 filas.

   • Generar datos: introduce una plantilla de petición para guiar al servicio de evaluación de la IA generativa a la hora de generar un conjunto de datos. Las variables que definas en tu plantilla de petición se generarán y se rellenarán en el conjunto de datos. Para obtener más información, consulta Usar plantillas de peticiones.

     1. Definir variables que se van a generar: especifica las variables que se van a generar y las descripciones de las variables para guiar la generación. Si es necesario, haz clic en Añadir otra descripción de variable.

     2. Introduce el Número de muestras que quieras generar.

     3. Haz clic en Generar y previsualizar conjunto de datos para mostrar un conjunto de datos generado a partir de tu plantilla de petición y tus variables. Para ajustar el conjunto de datos, puede añadir más detalles a las descripciones de las variables y hacer clic en Volver a generar.

   • Usar registros del modelo: usa la instantánea de las peticiones y respuestas del tráfico registrado del modelo seleccionado. Solo puedes usar esta opción si tienes habilitados los registros de solicitud-respuesta en un modelo desplegado en Vertex AI. Si acabas de habilitar el registro, espera un tiempo para que se acumulen suficientes muestras.

     1. Selecciona el modelo y la región de los que quieras registrar el tráfico. Debes haber habilitado el registro en el modelo y la región seleccionados.

     2. Introduce un Recuento de muestreo.

     3. (Opcional) Habilita Filtrar por plantilla de petición para usar solo los registros que coincidan con tu Plantilla de petición. Esto puede ser útil si usas los modelos seleccionados para varios casos prácticos y quieres evaluar uno específico.

4. En Define las respuestas del modelo que quieres evaluar, selecciona una opción:

   • Del conjunto de datos (solo disponible si ha seleccionado Subir archivo en Definir conjunto de datos de evaluación): si quiere usar uno de los campos del conjunto de datos subido como respuesta, seleccione una columna de respuesta.

   • Del modelo: solo está disponible si has seleccionado Usar registros del modelo en Definir conjunto de datos de evaluación. Si usas registros del modelo como conjunto de datos de evaluación, el servicio de evaluación de IA generativa usa las respuestas del modelo de los registros del modelo.

   • Modelo de llamada: selecciona un modelo. El servicio de evaluación de IA generativa ejecuta peticiones en el modelo seleccionado y usa las respuestas para la evaluación.

5. Opcional: En Métricas de evaluación generadas automáticamente, puede Especificar instrucciones personalizadas para guiar las rúbricas generadas a partir de cada petición. Por ejemplo, Evaluate the dataset on cultural sensitivity to the countries {name}. Para obtener más información, consulta Definir las métricas de evaluación.

6. En Nombre y directorio de salida, introduce lo siguiente:

   1. Nombre de la evaluación: escriba el nombre de la evaluación.

   2. Ruta de datos privados de salida: introduce el nombre de un segmento de Cloud Storage en el que quieras almacenar tu evaluación o haz clic en Examinar para elegir el segmento.

7. Haz clic en Evaluar.

Ver los resultados de la evaluación

Para ver un resultado de la evaluación, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Evaluación de IA generativa.

   Ir a Evaluación

2. Haz clic en el nombre de la evaluación.

3. En cada petición de tu conjunto de datos de evaluación, se muestra la respuesta del modelo junto con los resultados de la evaluación.

Siguientes pasos

• Define tus métricas de evaluación.