Genera texto con un modelo remoto y la función ML.GENERATE_TEXT

En este instructivo, se muestra cómo crear un modelo remoto que se basa en el modelo grande de lenguaje text-bison y, luego, usar ese modelo junto con la función ML.GENERATE_TEXT para realizar varias tareas de generación de texto. En este instructivo, se usa la tabla pública bigquery-public-data.imdb.reviews.

Permisos necesarios

• Para crear el conjunto de datos, necesitas el permiso bigquery.datasets.create de Identity and Access Management (IAM).

• Para crear el recurso de conexión, necesitas los siguientes permisos de IAM:

  • bigquery.connections.create
  • bigquery.connections.get

• Para otorgar permisos a la cuenta de servicio de la conexión, necesitas el siguiente permiso:

  • resourcemanager.projects.setIamPolicy

• Para crear el modelo, necesitas los siguientes permisos:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.connections.delegate

• Para ejecutar inferencias, necesitas los siguientes permisos:

  • bigquery.models.getData
  • bigquery.jobs.create

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• BigQuery ML: se generan costos por los datos que procesas en BigQuery.
• Vertex AI: se generan costos por las llamadas al servicio de Vertex AI que representa el modelo remoto.

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Para obtener más información sobre los precios de BigQuery, consulta Precios de BigQuery en la documentación de BigQuery.

Para obtener más información sobre los precios de Vertex AI, consulta la página Precios de Vertex AI.

Antes de comenzar

1. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

   Nota: Si no planeas conservar los recursos que creaste durante este procedimiento, crea un proyecto en lugar de seleccionar uno existente. Cuando termines, puedes borrar el proyecto y quitar todos los recursos asociados con él.

   Ir al selector de proyectos

2. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

3. Habilita las API de BigQuery, BigQuery Connection, and Vertex AI.

   Habilita las API

Crea un conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de AA:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a la página de BigQuery

2. En el panel Explorador, haz clic en el nombre de tu proyecto.

3. Haz clic en Ver acciones > Crear conjunto de datos.

   

4. En la página Crear conjunto de datos, haz lo siguiente:

   • En ID del conjunto de datos, ingresa bqml_tutorial.

   • En Tipo de ubicación, selecciona Multirregión y, luego, EE.UU. (varias regiones en Estados Unidos).

     Los conjuntos de datos públicos se almacenan en la multirregión US. Para que sea más simple, almacena tu conjunto de datos en la misma ubicación.

   • Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

     

Crear una conexión

Crea una conexión de recurso de Cloud y obtén la cuenta de servicio de la conexión. Crea la conexión en la misma ubicación que el conjunto de datos que creaste en el paso anterior.

Selecciona una de las opciones siguientes:

Console

1. Ve a la página de BigQuery.

   Ir a BigQuery

2. Para crear una conexión, haz clic en Agregar y, luego, en Conexiones a fuentes de datos externas.

3. En la lista Tipo de conexión, selecciona Modelos remotos de Vertex AI, funciones remotas y BigLake (Cloud Resource).

4. En el campo ID de conexión, escribe un nombre para tu conexión.

5. Haga clic en Crear conexión.

6. Haz clic en Ir a la conexión.

7. En el panel Información de conexión, copia el ID de la cuenta de servicio para usarlo en un paso posterior.

bq

1. En un entorno de línea de comandos, crea una conexión:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   El parámetro --project_id anula el proyecto predeterminado.

   Reemplaza lo siguiente:

   • REGION: tu región de conexión
   • PROJECT_ID: El ID del proyecto de Google Cloud.
   • CONNECTION_ID: Es un ID para tu conexión.

   Cuando creas un recurso de conexión, BigQuery crea una cuenta de servicio del sistema única y la asocia con la conexión.

   Solución de problemas: Si recibes el siguiente error de conexión, actualiza el SDK de Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupera y copia el ID de cuenta de servicio para usarlo en un paso posterior:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   El resultado es similar al siguiente:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "[e-mail]"}
   

Terraform

Agrega la siguiente sección a tu archivo main.tf.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Reemplaza lo siguiente:

• CONNECTION_ID: Es un ID para tu conexión.
• PROJECT_ID: El ID del proyecto de Google Cloud.
• REGION: tu región de conexión

Otorga permisos a la cuenta de servicio de las conexiones

Para otorgar a la cuenta de servicio de la conexión un rol adecuado para acceder al servicio de Vertex AI, sigue estos pasos:

1. Ir a la página IAM y administración

   Ir a IAM y administración

2. Haz clic en Otorgar acceso.

3. En el campo Principales nuevas, escribe el ID de la cuenta de servicio que copiaste antes.

4. En el campo Selecciona un rol, elige Vertex AI y, luego, selecciona Rol del usuario de Vertex AI.

5. Haz clic en Guardar.

Crea el modelo remoto

Crea un modelo remoto que represente un modelo grande de lenguaje (LLM) de Vertex AI alojado:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente declaración:

   CREATE OR REPLACE MODEL `bqml_tutorial.llm_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'text-bison');
   

   Reemplaza lo siguiente:

   • LOCATION: la ubicación de la conexión
   • CONNECTION_ID por el ID de la conexión de BigQuery

     Cuando ves los detalles de conexión en la consola de Google Cloud, este es el valor en la última sección del ID de conexión completamente calificado que se muestra en Conexión ID, por ejemplo projects/myproject/locations/connection_location/connections/myconnection

   La consulta tarda varios segundos en completarse, después de eso, el modelo llm_model aparece en el conjunto de datos bqml_tutorial en el panel Explorador. Debido a que la consulta usa una declaración CREATE MODEL para crear un modelo, no hay resultados de consultas.

Realiza la extracción de palabras clave

Realiza la extracción de palabras clave en reseñas de películas de IMDB con el modelo remoto y la función ML.GENERATE_TEXT:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En el Editor de consultas, ingresa la siguiente declaración para realizar la extracción de palabras clave en cinco reseñas de películas:

   SELECT
     ml_generate_text_result['predictions'][0]['content'] AS generated_text,
     ml_generate_text_result['predictions'][0]['safetyAttributes']
       AS safety_attributes,
     * EXCEPT (ml_generate_text_result)
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.llm_model`,
       (
         SELECT
           CONCAT('Extract the key words from the text below: ', review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens));
   

   El resultado es similar a este:

   

   Los resultados incluyen las siguientes columnas:

   • generated_text: es el texto generado.
   • safety_attributes: los atributos de seguridad, junto con información sobre si el contenido está bloqueado debido a una de las categorías de bloqueo. Para obtener más información sobre los atributos de seguridad, consulta la API de Vertex PaLM.
   • ml_generate_text_status: el estado de la respuesta de la API para la fila correspondiente. Si la operación se realizó correctamente, este valor estará vacío.
   • prompt: el mensaje que se usa para el análisis de opiniones.
   • Todas las columnas de la tabla bigquery-public-data.imdb.reviews.

3. Opcional: En lugar de analizar manualmente el JSON que muestra la función, como lo hiciste en el paso anterior, usa el argumento flatten_json_output para mostrar el texto generado y los atributos de seguridad en columnas separadas.

   En el editor de consultas, ejecuta la siguiente declaración:

   SELECT
     *
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.llm_model`,
       (
         SELECT
           CONCAT('Extract the key words from the text below: ', review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens,
         TRUE AS flatten_json_output));
   

   El resultado es similar a este:

   

   Los resultados incluyen las siguientes columnas:

   • ml_generate_text_llm_result: es el texto generado.
   • ml_generate_text_rai_result: los atributos de seguridad, junto con información sobre si el contenido está bloqueado debido a una de las categorías de bloqueo. Para obtener más información sobre los atributos de seguridad, consulta la API de Vertex PaLM.
   • ml_generate_text_status: el estado de la respuesta de la API para la fila correspondiente. Si la operación se realizó correctamente, este valor estará vacío.
   • prompt: el mensaje que se usa para la extracción de palabras clave.
   • Todas las columnas de la tabla bigquery-public-data.imdb.reviews.

Realiza análisis de opiniones

Realiza análisis de opiniones en reseñas de películas de IMDB con el modelo remoto y la función ML.GENERATE_TEXT:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En el Editor de consultas, ejecuta la siguiente declaración para realizar un análisis de opiniones en cinco reseñas de películas:

   SELECT
     ml_generate_text_result['predictions'][0]['content'] AS generated_text,
     ml_generate_text_result['predictions'][0]['safetyAttributes']
       AS safety_attributes,
     * EXCEPT (ml_generate_text_result)
   FROM
     ML.GENERATE_TEXT(
       MODEL `bqml_tutorial.llm_model`,
       (
         SELECT
           CONCAT(
             'perform sentiment analysis on the following text, return one the following categories: positive, negative: ',
             review) AS prompt,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       ),
       STRUCT(
         0.2 AS temperature,
         100 AS max_output_tokens));
   

   El resultado es similar a este:

   

   Los resultados incluyen las mismas columnas documentadas para Realizar la extracción de palabras clave.

Limpia

Precaución: Borrar un proyecto tiene estas consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

1. En la consola de Google Cloud, ve a la página Administrar recursos.

   Ir a Administrar recursos

2. En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
3. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.