Instructivo: Realiza una evaluación con la consola

Vista previa

Esta función está sujeta a las “Condiciones de la Oferta de la Fase Previa a la DG” en la sección Condiciones del Servicio Generales de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “tal cual” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Obtén más información para comenzar a usar el servicio de evaluación de IA generativa con la consola de Google Google Cloud .

Antes de comenzar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Otorgar acceso.

4. En el campo Principales nuevas, ingresa tu identificador de usuario. Esta suele ser la dirección de correo electrónico de una Cuenta de Google.

5. En la lista Seleccionar un rol, elige uno.
6. Para otorgar roles adicionales, haz clic en Agregar otro rol y agrega uno más.
7. Haz clic en Guardar.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Otorgar acceso.

4. En el campo Principales nuevas, ingresa tu identificador de usuario. Esta suele ser la dirección de correo electrónico de una Cuenta de Google.

5. En la lista Seleccionar un rol, elige uno.
6. Para otorgar roles adicionales, haz clic en Agregar otro rol y agrega uno más.
7. Haz clic en Guardar.

Evalúa tu modelo

Para evaluar tu modelo, haz lo siguiente:

1. En la consola de Google Cloud , ve a la página Gen AI Evaluation.

   Ir a Evaluación

2. Haz clic en Nueva evaluación para abrir la página de evaluación.

3. En Define evaluation dataset, selecciona una opción:

   • Subir archivo: Haz clic en Subir para subir un archivo CSV o JSONL. El conjunto de datos debe contener instrucciones o registros para usar en una plantilla de instrucciones y, de manera opcional, respuestas del modelo, con un máximo de 200 filas.

   • Generar datos: Ingresa una Plantilla de instrucción para guiar al servicio de evaluación de IA generativa en la generación de un conjunto de datos. Las variables que definas en tu plantilla de instrucciones se generarán y propagarán en el conjunto de datos. Para obtener más información, consulta Cómo usar plantillas de instrucciones.

     1. Define variables para generar: Especifica las variables que se generarán y las descripciones de las variables para guiar la generación. Si es necesario, haz clic en Agregar otra descripción de la variable.

     2. Ingresa la Cantidad de muestras que se generarán.

     3. Haz clic en Generar y obtener una vista previa del conjunto de datos para mostrar un conjunto de datos generado en función de tu plantilla de instrucciones y variables. Para ajustar el conjunto de datos, puedes agregar más detalles a las descripciones de las variables y hacer clic en Volver a generar.

   • Usar registros del modelo: Usa la instantánea de instrucciones y respuestas del tráfico registrado del modelo seleccionado. Solo puedes usar esta opción si tienes habilitados los registros de solicitud-respuesta en un modelo implementado en Vertex AI. Si acabas de habilitar el registro, espera a que se acumulen suficientes muestras.

     1. Selecciona el modelo y la región desde la que deseas registrar el tráfico. Ya debes haber habilitado el registro en el modelo y la región seleccionados.

     2. Ingresa un Recuento de muestreo.

     3. (Opcional) Habilita Filtrar por plantilla de instrucciones para usar solo los registros que coincidan con tu Plantilla de instrucciones. Esto puede ser útil si usas los modelos seleccionados para una variedad de casos de uso y deseas evaluar uno específico.

4. En Define model responses to evaluate, selecciona una opción:

   • From dataset (solo disponible si seleccionaste Upload file para Define evaluation dataset): Si deseas usar uno de los campos del conjunto de datos subido como respuesta, selecciona una columna de respuesta.

   • From model (Desde el modelo; solo disponible si seleccionaste Usar registros del modelo para Definir el conjunto de datos de evaluación): Si usas los registros del modelo como el conjunto de datos de evaluación, el servicio de evaluación de IA generativa usa las respuestas del modelo de los registros del modelo.

   • Modelo de llamada: Selecciona un modelo. El servicio de evaluación de IA generativa ejecuta instrucciones en el modelo seleccionado y usa las respuestas para la evaluación.

5. (Opcional) En el caso de las métricas de evaluación generadas automáticamente, puedes especificar instrucciones personalizadas para guiar las rúbricas generadas a partir de cada instrucción. Por ejemplo, Evaluate the dataset on cultural sensitivity to the countries {name}. Para obtener más información, consulta Define tus métricas de evaluación.

6. En Nombre y directorio de salida, ingresa lo siguiente:

   1. Nombre de la evaluación: Ingresa un nombre para la evaluación.

   2. Ruta de acceso a los datos privados de salida: Ingresa el nombre de un bucket de Cloud Storage en el que quieras almacenar tu evaluación o haz clic en Explorar para elegir el bucket.

7. Haz clic en Evaluar.

Cómo ver los resultados de tu evaluación

Para ver el resultado de una evaluación, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Gen AI Evaluation.

   Ir a Evaluación

2. Haz clic en el nombre de la evaluación.

3. Para cada instrucción en tu conjunto de datos de evaluación, se muestra la respuesta del modelo junto con los resultados de la evaluación.

¿Qué sigue?

• Define tus métricas de evaluación.