Realiza predicciones con modelos remotos en Vertex AI

---

En este instructivo, registrarás un extremo de Vertex AI como un modelo remoto en BigQuery. Luego, usa la función ML.PREDICT para hacer predicciones con el modelo remoto.

Puedes usar modelos remotos cuando un modelo es demasiado grande para importarlo a BigQuery. También son útiles cuando deseas tener un solo punto de inferencia para casos de uso en línea, por lotes y de microlotes.

Nota: Si quieres ver una versión de este instructivo que use Python en un notebook de BigQuery, consulta el Instructivo del modelo remoto de BQML en GitHub.

Objetivos

• Importa un modelo de TensorFlow previamente entrenado al Vertex AI Model Registry.
• Implementa el modelo en un extremo de Vertex AI.
• Crea una conexión de recursos de Cloud.
• Usa la sentencia CREATE MODEL para crear un modelo remoto en BigQuery.
• Usa la función ML.PREDICT para hacer predicciones con el modelo remoto.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• BigQuery
• BigQuery ML
• Vertex AI

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Cuando finalices las tareas que se describen en este documento, puedes borrar los recursos que creaste para evitar que continúe la facturación. Para obtener más información, consulta Cómo realizar una limpieza.

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

4. Make sure that billing is enabled for your Google Cloud project.

5. Enable the BigQuery, Vertex AI, Cloud Storage, and BigQuery Connection APIs.

   Enable the APIs

6. Asegúrate de tener los permisos necesarios para realizar las tareas de este documento.

Roles obligatorios

Si creas un proyecto nuevo, eres el propietario y se te otorgan todos los permisos de IAM necesarios para completar este instructivo.

Si usas un proyecto existente, haz lo siguiente.

Make sure that you have the following role or roles on the project:

• BigQuery Studio Admin (roles/bigquery.studioAdmin)
• Vertex AI User (roles/aiplatform.user)
• BigQuery Connection Admin (roles/bigquery.connectionAdmin)

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Grant access.

4. En el campo Principales nuevas, ingresa tu identificador de usuario. Esta suele ser la dirección de correo electrónico de una Cuenta de Google.

5. En la lista Seleccionar un rol, elige un rol.
6. Para otorgar funciones adicionales, haz clic en Agregar otro rol y agrega cada rol adicional.
7. Haz clic en Guardar.

Para obtener más información sobre los permisos de IAM en BigQuery, consulta Permisos de BigQuery.

Importa el modelo a Vertex AI Model Registry

En este instructivo, usarás un modelo de TensorFlow previamente entrenado que está disponible en Cloud Storage en gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/. El bucket de Cloud Storage se encuentra en la ubicación multirregional US.

El modelo es un modelo de TensorFlow llamado saved_model.pb. Es un modelo de análisis de opiniones personalizado que se creó ajustando un modelo BERT con opiniones sobre películas de IMDB de texto sin formato. El modelo usa la entrada de texto de las opiniones de las películas y muestra puntuaciones de opiniones entre cero y uno. Cuando importas el modelo al Registro de modelos, usas un contenedor de TensorFlow compilado previamente.

Nota: Para obtener un instructivo sobre cómo crear el modelo de ejemplo, consulta Clasifica texto con BERT en la documentación de TensorFlow.

Sigue estos pasos para importar el modelo.

1. En la consola de Google Cloud, ve a la página Model Registry de Vertex AI.

   Ir al registro de modelos

2. Haz clic en Importar.

3. En el Paso uno: Nombre y región, haz lo siguiente:

   1. Selecciona Importar como modelo nuevo.

   2. En Nombre, ingresa bert_sentiment.

   3. En Descripción, ingresa BQML tutorial model.

   4. En Región, selecciona us-central1. Debes elegir una región de EE.UU. porque el bucket de Cloud Storage se encuentra en la ubicación multirregional US.

   5. Haz clic en Continuar.

4. En el Paso dos: Configuración del modelo, haz lo siguiente:

   1. Selecciona Importar artefactos del modelo en un contenedor precompilado nuevo.

   2. En la sección Configuración de contenedor compilado previamente, haz lo siguiente:

      1. En Framework de modelo, elige TensorFlow.

      2. En Versión del framework del modelo, elige 2.15.

      3. En Tipo de acelerador, elige GPU.

      4. En Ubicación del artefacto del modelo, ingresa gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/.

      5. Deja los valores predeterminados para todas las opciones restantes y haz clic en Importar.

Una vez que se complete la importación, tu modelo aparecerá en la página Model Registry.

Implementa el modelo en un extremo de Vertex AI

Sigue estos pasos para implementar el modelo en un extremo.

1. En la consola de Google Cloud, ve a la página Model Registry de Vertex AI.

   Ir al registro de modelos

2. En la columna Nombre, haz clic en bert_sentiment.

3. Haz clic en la pestaña Implementar y probar.

4. Haz clic en Implementar en el extremo.

5. Para el paso uno, Define tu extremo, haz lo siguiente:

   1. Haz clic en Crear extremo nuevo.

   2. En Nombre del extremo, ingresa bert sentiment endpoint.

   3. Conserva los demás valores predeterminados y haz clic en Continuar.

6. En el paso dos, Configuración del modelo, haz lo siguiente:

   1. En la sección Configuración de procesamiento, para Cantidad mínima de nodos de procesamiento, ingresa 1. Esta es la cantidad de nodos que deben estar disponibles para el modelo en todo momento.

      Nota: En producción, debes establecer la cantidad máxima de nodos de procesamiento. Esta opción activa la capacidad de ajuste de escala automático en Vertex AI y permite que el extremo procese más solicitudes cuando tu tabla de BigQuery tenga una gran cantidad de filas.

   2. En la sección Advanced scaling options, en Machine type, elige Standard (n1-standard-2). Como elegiste GPU como el tipo de acelerador cuando importaste el modelo, después de elegir el tipo de máquina, el tipo de acelerador y el recuento de aceleradores se establecen automáticamente.

   3. Conserva los valores predeterminados restantes y haz clic en Implementar.

      Cuando el modelo se implementa en el extremo, el estado cambia a Active.

   4. Copia el ID de extremo numérico en la columna ID y el valor en la columna Región. Los necesitarás más tarde.

Crea un conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de AA.

Console

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a la página de BigQuery

2. En el panel Explorador, haz clic en el nombre de tu proyecto.

3. Haz clic en Ver acciones > Crear conjunto de datos.

   

4. En la página Crear conjunto de datos, haz lo siguiente:

   • En ID del conjunto de datos, ingresa bqml_tutorial.

   • En Tipo de ubicación, selecciona Multirregión y, luego, EE.UU. (varias regiones en Estados Unidos).

   Los conjuntos de datos públicos se almacenan en la multirregión US. Para que sea más simple, almacena tu conjunto de datos en la misma ubicación.

   • Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

   

bq

Para crear un conjunto de datos nuevo, usa el comando bq mk con la marca --location. Para obtener una lista completa de los parámetros posibles, consulta la referencia del comando bq mk --dataset.

1. Crea un conjunto de datos llamado bqml_tutorial con la ubicación de los datos establecida en US y una descripción de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   En lugar de usar la marca --dataset, el comando usa el acceso directo -d. Si omites -d y --dataset, el comando crea un conjunto de datos de manera predeterminada.

2. Confirma que se haya creado el conjunto de datos:

   bq ls

API

Llama al método datasets.insert con un recurso de conjunto de datos definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Crea una conexión de recurso de Cloud de BigQuery

Debes tener una conexión de recursos de Cloud para conectarte a un extremo de Vertex AI.

Console

1. Ve a la página de BigQuery.

   Ir a BigQuery

2. Para crear una conexión, haz clic en Agregar y, luego, en Conexiones a fuentes de datos externas.

3. En la lista Tipo de conexión, selecciona Modelos remotos de Vertex AI, funciones remotas y BigLake (Cloud Resource).

4. En el campo ID de conexión, ingresa bqml_tutorial.

5. Verifica que esté seleccionada la opción Multirregión: EE.UU..

6. Haz clic en Crear conexión (Create connection).

7. En la parte inferior de la ventana, haz clic en Ir a la conexión. Como alternativa, en el panel Explorador, expande Conexiones externas y, luego, haz clic en us.bqml_tutorial.

8. En el panel Información de conexión, copia el ID de la cuenta de servicio. Necesitas este ID cuando configures los permisos de la conexión. Cuando creas un recurso de conexión, BigQuery crea una cuenta de servicio del sistema única y la asocia con la conexión.

bq

1. Crear una conexión

   bq mk --connection --location=US --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE bqml_tutorial

   Reemplaza PROJECT_ID con tu ID del proyecto de Google Cloud. El parámetro --project_id anula el proyecto predeterminado.

   Cuando creas un recurso de conexión, BigQuery crea una cuenta de servicio del sistema única y la asocia con la conexión.

   Solución de problemas: Si recibes el siguiente error de conexión, actualiza el SDK de Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupera y copia el ID de cuenta de servicio para usarlo en un paso posterior:

   bq show --connection PROJECT_ID.us.bqml_tutorial

   El resultado es similar a este:

   name                          properties
   1234.REGION.CONNECTION_ID {"serviceAccountId": "[e-mail]"}
   

Configura el acceso a la conexión

Otorga el rol de usuario de Vertex AI a la cuenta de servicio de la conexión de recursos de Cloud. Debes otorgar este rol en el mismo proyecto en el que creaste el extremo del modelo remoto.

Nota: Si la conexión está en un proyecto diferente, se muestra este error: [e-mail] does not have the permission to access resource.

Para otorgar el rol, sigue estos pasos:

1. Ir a la página IAM y administración

   Ir a IAM y administración

2. Haz clic en Otorgar acceso.

3. En el campo Principales nuevas, ingresa el ID de la cuenta de servicio de la conexión de recursos de Cloud que copiaste antes.

4. En el campo Selecciona un rol, elige Vertex AI y, luego, selecciona Usuario de Vertex AI.

5. Haz clic en Guardar.

Crea un modelo remoto de BigQuery ML

Para crear un modelo remoto de BigQuery ML, usa la sentencia CREATE MODEL con la cláusula REMOTE WITH CONNECTION. Para obtener más información sobre la sentencia CREATE MODEL, consulta La sentencia CREATE MODEL para modelos remotos en modelos personalizados.

Creas tu modelo en la ubicación multirregión US. En un conjunto de datos multirregión de BigQuery (US, EU), solo puedes crear un modelo remoto que se conecte a un extremo implementado en una región dentro de la misma ubicación multirregión (US, EU).

Cuando creas el modelo remoto, necesitas el ID del extremo que se generó cuando implementaste el modelo en Vertex AI. Además, los nombres y tipos de campos de entrada y salida deben ser exactamente los mismos que los de Vertex AI. En este ejemplo, la entrada es un STRING de texto y el resultado es un ARRAY de tipo FLOAT64.

Console

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En Crear, haz clic en Consulta en SQL.

3. En el editor de consultas, ingresa esta sentencia CREATE MODEL y, luego, haz clic en Ejecutar:

   CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')

   Reemplaza lo siguiente:

   • PROJECT_ID: Es el nombre de tu proyecto.
   • ENDPOINT_ID: Es el ID del extremo que copiaste antes.

   Cuando se complete la operación, verás un mensaje similar a Successfully created model named bert_sentiment.

   Tu nuevo modelo aparecerá en el panel Recursos. Los modelos se indican con el ícono del modelo: .

   Si seleccionas el modelo nuevo en el panel Recursos, la información sobre el modelo aparece debajo del Editor de consultas.

bq

1. Para crear el modelo remoto, ingresa la siguiente declaración CREATE MODEL:

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')"

   Reemplaza lo siguiente:

   • PROJECT_ID: Es el nombre de tu proyecto.
   • ENDPOINT_ID: Es el ID del extremo que copiaste antes.

2. Después de crear el modelo, verifica que aparezca en el conjunto de datos:

   bq ls -m bqml_tutorial

   El resultado es similar a este:

   Id               Model Type   Labels    Creation Time
   ---------------- ------------ -------- -----------------
   bert_sentiment                         28 Jan 17:39:43

Obtén predicciones con ML.PREDICT

Usas la función ML.PREDICT para obtener predicciones de sentimiento del modelo remoto. La entrada es una columna de texto (review) que contiene opiniones de películas de la tabla bigquery-public-data.imdb.reviews.

En este ejemplo, se seleccionan 10,000 registros y se envían para la predicción. El modelo remoto tiene un tamaño de lote de 128 instancias para las solicitudes de forma predeterminada.

Console

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En la sección Crear, haz clic en Consulta en SQL.

3. En el editor de consultas, ingresa esta consulta que usa la función ML.PREDICT y, luego, haz clic en Ejecutar.

   SELECT *
   FROM ML.PREDICT (
       MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
       (
           SELECT review as text
           FROM `bigquery-public-data.imdb.reviews`
           LIMIT 10000
       )
   )

   Los resultados de la consulta deberían ser similares a los siguientes:

   

bq

Ingresa este comando para ejecutar la consulta que usa ML.PREDICT.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT (
MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
  (
    SELECT review as text
    FROM `bigquery-public-data.imdb.reviews`
    LIMIT 10000
  )
)'

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Borra el proyecto

Console

Precaución: Borrar un proyecto tiene las siguientes consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

gcloud

Precaución: Borrar un proyecto tiene las siguientes consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Borra los recursos individuales

Como alternativa, para quitar los recursos individuales que se usan en este instructivo, sigue estos pasos:

1. Borra el modelo.

2. Opcional: Borra el conjunto de datos.

3. Anula la implementación del modelo y borra el extremo.

4. Borra el modelo de Model Registry.

5. Borra la conexión de recursos de Cloud.

¿Qué sigue?

• Para obtener una descripción general de BigQuery ML, consulta Introducción a la IA y el aprendizaje automático en BigQuery ML.
• Para obtener más información sobre el uso de la sentencia CREATE MODEL para modelos remotos, consulta La sentencia CREATE MODEL para modelos remotos sobre modelos personalizados.
• Para obtener más información sobre el uso de un notebook de BigQuery, consulta Introducción a los notebooks.
• Para obtener más información sobre regiones y multirregiones de BigQuery, consulta la página Ubicaciones compatibles.
• Para obtener más información sobre la importación de modelos en Vertex AI Model Registry, consulta Cómo importar modelos a Vertex AI.
• Para obtener más información sobre el control de versiones de modelos en Vertex AI Model Registry, consulta Control de versiones de modelos con Model Registry.
• Para obtener información sobre el uso de los Controles del servicio de VPC de Vertex AI, consulta Controles del servicio de VPC con Vertex AI.