Esta página se ha traducido con Cloud Translation API.

Generar texto con un modelo abierto de Gemma y la función ML.GENERATE_TEXT

En este tutorial se muestra cómo crear un modelo remoto basado en el modelo Gemma y, a continuación, cómo usar ese modelo con la función ML.GENERATE_TEXT para extraer palabras clave y realizar un análisis de sentimiento de las reseñas de películas de la tabla pública bigquery-public-data.imdb.reviews.

Permisos obligatorios

Para completar este tutorial, necesitas los siguientes roles de Gestión de Identidades y Accesos (IAM):

Crear y usar conjuntos de datos, conexiones y modelos de BigQuery: Administrador de BigQuery (roles/bigquery.admin).
Concede permisos a la cuenta de servicio de la conexión: administrador de gestión de identidades y accesos del proyecto (roles/resourcemanager.projectIamAdmin).
Desplegar y retirar modelos en Vertex AI: administrador de Vertex AI (roles/aiplatform.admin).

Estos roles predefinidos contienen los permisos necesarios para realizar las tareas descritas en este documento. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Crea un conjunto de datos: bigquery.datasets.create
Crear, delegar y usar una conexión: bigquery.connections.*
Definir la conexión predeterminada: bigquery.config.*
Define los permisos de la cuenta de servicio: resourcemanager.projects.getIamPolicy y resourcemanager.projects.setIamPolicy
Desplegar y retirar un modelo de Vertex AI:
- aiplatform.endpoints.deploy
- aiplatform.endpoints.undeploy
Crea un modelo y ejecuta la inferencia:
- bigquery.jobs.create
- bigquery.models.create
- bigquery.models.getData
- bigquery.models.updateData
- bigquery.models.updateMetadata

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Costes

En este documento, se utilizan los siguientes componentes facturables de Google Cloud:

BigQuery ML: You incur costs for the data that you process in BigQuery.
Vertex AI: You incur costs for calls to the Vertex AI model that's represented by the remote model.

Para generar una estimación de costes basada en el uso previsto, utiliza la calculadora de precios.

Los usuarios nuevos Google Cloud pueden disfrutar de una prueba gratuita.

Para obtener más información sobre los precios de BigQuery, consulta la página Precios de BigQuery en la documentación de BigQuery.

Los modelos abiertos que despliegues en Vertex AI se cobran por hora de máquina. Esto significa que la facturación empieza en cuanto el endpoint esté configurado por completo y continúa hasta que lo desactives. Para obtener más información sobre los precios de Vertex AI, consulta la página de precios de Vertex AI.

Antes de empezar

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
- Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the APIs

Desplegar un modelo de Gemma en Vertex AI

Despliega el modelo gemma-2-27b-it en Vertex AI siguiendo las instrucciones de Desplegar modelos de Model Garden. Durante la implementación, debe seleccionar Público (endpoint compartido) como valor del campo Acceso al endpoint en el flujo de trabajo de implementación.

Crear conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de aprendizaje automático.

Consola

En la Google Cloud consola, ve a la página BigQuery.

Ir a la página de BigQuery
En el panel Explorador, haz clic en el nombre de tu proyecto.
Haga clic en Ver acciones > Crear conjunto de datos.
En la página Crear conjunto de datos, haz lo siguiente:
- En ID del conjunto de datos, introduce bqml_tutorial.
- En Tipo de ubicación, selecciona Multirregión y, a continuación, EE. UU. (varias regiones de Estados Unidos).
- Deje el resto de los ajustes predeterminados como están y haga clic en Crear conjunto de datos.

bq

Para crear un conjunto de datos, usa el comando bq mk con la marca --location. Para ver una lista completa de los parámetros posibles, consulta la referencia del comando bq mk --dataset.

Crea un conjunto de datos llamado bqml_tutorial con la ubicación de los datos definida como US y la descripción BigQuery ML tutorial dataset:
```
bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial
```
En lugar de usar la marca --dataset, el comando usa el acceso directo -d. Si omite -d y --dataset, el comando creará un conjunto de datos de forma predeterminada.
Confirma que se ha creado el conjunto de datos:
```
bq ls
```

API

Llama al método datasets.insert con un recurso de conjunto de datos definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Antes de probar este ejemplo, sigue las instrucciones de configuración de BigQuery DataFrames que se indican en la guía de inicio rápido de BigQuery con BigQuery DataFrames. Para obtener más información, consulta la documentación de referencia de los DataFrames de BigQuery.

Para autenticarte en BigQuery, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configurar ADC en un entorno de desarrollo local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crear el modelo remoto

Crea un modelo remoto que represente un modelo de Vertex AI alojado:

En la Google Cloud consola, ve a la página BigQuery.

Ir a BigQuery
En el editor de consultas, ejecuta la siguiente instrucción:

CREATE OR REPLACE MODEL `bqml_tutorial.gemma_model`
  REMOTE WITH CONNECTION DEFAULT
  OPTIONS (ENDPOINT = 'https://ENDPOINT_REGION-aiplatform.googleapis.com/v1/projects/ENDPOINT_PROJECT_ID/locations/ENDPOINT_REGION/endpoints/ENDPOINT_ID');

Haz los cambios siguientes:

ENDPOINT_REGION: la región en la que se ha desplegado el modelo abierto.
ENDPOINT_PROJECT_ID: el proyecto en el que se ha desplegado el modelo abierto.
ENDPOINT_ID: el ID del endpoint HTTPS que usa el modelo abierto. Para obtener el ID del endpoint, busca el modelo abierto en la página Predicción online y copia el valor del campo ID.

En el siguiente ejemplo se muestra el formato de un endpoint HTTP válido:

https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/endpoints/1234.

La consulta tarda varios segundos en completarse. Después, el gemma_model modelo aparece en el conjunto de datos bqml_tutorial del panel Explorador. Como la consulta usa una instrucción CREATE MODEL para crear un modelo, no hay resultados de la consulta.

Extraer palabras clave

Extrae palabras clave de las reseñas de películas de IMDb mediante el modelo remoto y la función ML.GENERATE_TEXT:

En la Google Cloud consola, ve a la página BigQuery.

Ir a BigQuery

En el editor de consultas, introduce la siguiente instrucción para extraer palabras clave de cinco reseñas de películas:

SELECT
  *
FROM
  ML.GENERATE_TEXT(
    MODEL `bqml_tutorial.gemma_model`,
    (
      SELECT
        CONCAT('Extract the key words from the movie review below: ', review) AS prompt,
        *
      FROM
        `bigquery-public-data.imdb.reviews`
      LIMIT 10
    ),
    STRUCT(
      0.2 AS temperature,
      100 AS max_output_tokens,
      TRUE AS flatten_json_output));

El resultado es similar al siguiente, con las columnas no generadas omitidas para que se vea más claro:

+----------------------------------------------+-------------------------+-----------------------------+-----+
| generated_text                               | ml_generate_text_status | prompt                      | ... |
+----------------------------------------------+-------------------------------------------------------+-----+
| Here are some key words from the             |                         | Extract the key words from  |     |
| movie review: * **Romance:**                 |                         | the movie review below:     |     |
| "romantic tryst," "elope" * **Comedy:**      |                         | Linda Arvidson (as Jennie)  |     |
| "Contrived Comedy" * **Burglary:**           |                         | and Harry Solter (as Frank) |     |
| "burglar," "rob," "booty" * **Chase:**       |                         | are enjoying a romantic     |     |
| "chases," "escape" * **Director:** "D.W.     |                         | tryst, when in walks her    |     |
| Griffith" * **Actors:** "Linda Arvidson,"... |                         | father Charles Inslee;...   |     |
+----------------------------------------------+-------------------------+-----------------------------+-----+
| Here are some key words from the             |                         | Extract the key words from  |     |
| movie review: * **Elderbush Gilch:** The     |                         | the movie review below:     |     |
| name of the movie being reviewed. *          |                         | This is the second addition |     |
| **Disappointment:** The reviewer's           |                         | to Frank Baum's personally  |     |
| overall feeling about the film. *            |                         | produced trilogy of Oz      |     |
| **Dim-witted:** Describes the story          |                         | films. It's essentially the |     |
| line negatively. * **Moronic, sadistic,...   |                         | same childishness as the... |     |
+----------------------------------------------+-------------------------+-----------------------------+-----+

Los resultados incluyen las siguientes columnas:

generated_text: el texto generado.
ml_generate_text_status: el estado de la respuesta de la API de la fila correspondiente. Si la operación se ha realizado correctamente, este valor estará vacío.
prompt: la petición que se usa para el análisis de sentimiento.
Todas las columnas de la tabla bigquery-public-data.imdb.reviews.

Hacer análisis de sentimiento

Realiza un análisis de sentimiento de las reseñas de películas de IMDb usando el modelo remoto y la función ML.GENERATE_TEXT:

En la Google Cloud consola, ve a la página BigQuery.

Ir a BigQuery

En el editor de consultas, ejecuta la siguiente instrucción para realizar un análisis de sentimiento de cinco reseñas de películas:

SELECT
  *
FROM
  ML.GENERATE_TEXT(
    MODEL `bqml_tutorial.gemma_model`,
    (
      SELECT
        CONCAT('Analyze the sentiment of the following movie review and classify it as either POSITIVE or NEGATIVE. \nMovie Review: ', review) AS prompt,
        *
      FROM
        `bigquery-public-data.imdb.reviews`
      LIMIT 10
    ),
    STRUCT(
      0.2 AS temperature,
      128 AS max_output_tokens,
      TRUE AS flatten_json_output));

El resultado es similar al siguiente, con las columnas no generadas omitidas para que se vea más claro:

+----------------------------------------------+-------------------------+-----------------------------+-----+
| generated_text                               | ml_generate_text_status | prompt                      | ... |
+----------------------------------------------+-------------------------------------------------------+-----+
| **Sentiment:** NEGATIVE **Justification:**   |                         | Analyze the sentiment of    |     |
| * **Negative Language:** The reviewer uses   |                         | movie review and classify   |     |
| phrases like "don't quite make it," "come to |                         | it as either POSITIVE or    |     |
| mind," "quite disappointing," and "not many  |                         | NEGATIVE. Movie Review:     |     |
| laughs." * **Specific Criticisms:** The      |                         | Although Charlie Chaplin    |     |
| reviewer points out specific flaws in the    |                         | made some great short       |     |
| plot and humor, stating that the manager...  |                         | comedies in the late...     |     |
+----------------------------------------------+-------------------------+-----------------------------+-----+
| **Sentiment:** NEGATIVE **Reasoning:**       |                         | Analyze the sentiment of    |     |
| * **Negative Language:** The reviewer uses   |                         | movie review and classify   |     |
| phrases like "poor writing," "static camera- |                         | it as either POSITIVE or    |     |
| work," "chews the scenery," "all surface and |                         | NEGATIVE. Movie Review:     |     |
| no depth," "sterile spectacles," which all   |                         | Opulent sets and sumptuous  |     |
| carry negative connotations. * **Comparison  |                         | costumes well photographed  |     |
| to a More Successful Film:**...              |                         | by Theodor Sparkuhl, and... |     |
+----------------------------------------------+-------------------------+-----------------------------+-----+

Los resultados incluyen las mismas columnas que se describen en el artículo sobre cómo extraer palabras clave.

Anular despliegue de modelo

Si decides no eliminar tu proyecto como se recomienda, asegúrate de quitar el modelo de Gemma de Vertex AI para evitar que se te siga facturando por él.

Limpieza

Precaución: Eliminar un proyecto tiene los siguientes efectos:

Se elimina todo el contenido del proyecto. Si has usado un proyecto que ya existía para las tareas de este documento, cuando lo elimines, también se eliminará cualquier otro trabajo que hayas realizado en él.
Se pierden los IDs de proyecto personalizados. Cuando creaste este proyecto, es posible que hayas creado un ID de proyecto personalizado que quieras usar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, elimina los recursos seleccionados dentro del proyecto en lugar de eliminar todo el proyecto.

Si tienes previsto consultar varias arquitecturas, tutoriales o guías de inicio rápido, reutilizar los proyectos puede ayudarte a no superar los límites de cuota de proyectos.

In the Google Cloud console, go to the Manage resources page.
Go to Manage resources
In the project list, select the project that you want to delete, and then click Delete.
In the dialog, type the project ID, and then click Shut down to delete the project.