Cómo analizar datos en GKE con BigQuery, Cloud Run y Gemma

Autopilot Estándar

---

En este instructivo, se muestra cómo obtener estadísticas a partir de grandes conjuntos de datos con BigQuery, Cloud Run y el LLM de Gemma. En este instructivo, implementarás una aplicación de ejemplo en Google Kubernetes Engine (GKE). La app de ejemplo aprovecha BigQuery para el almacenamiento y procesamiento de datos, Cloud Run para el manejo de solicitudes y el LLM de Gemma para analizar datos y generar predicciones basadas en instrucciones entrantes.

Este instructivo está dirigido a administradores y arquitectos de plataformas de nube, especialistas en datos y AI, ingenieros de AA y profesionales de MLOps (DevOps). Antes de leer esta página, asegúrate de estar familiarizado con Kubernetes y un entorno de notebook como Jupyter.

Como requisito previo a este instructivo, debes completar el instructivo Entrega modelos abiertos de Gemma mediante GPUs en GKE con TGI de Hugging Face. El framework de TGI facilita el proceso de entrega de modelos.

Por qué GKE y BigQuery

BigQuery es una plataforma como servicio (PaaS), un almacén de datos sin servidores y completamente administrado que permite el análisis escalable de petabytes de datos. BigQuery te permite enfocarte en el análisis de datos para encontrar estadísticas significativas mientras usas SQL familiar y el aprendizaje automático integrado.

Con GPUs en GKE con TGI, puedes implementar un modelo de lenguaje de Gemma para analizar y sresumir las interacciones de los usuarios en lenguaje natural. Luego, cuando integres BigQuery con GKE, podrás usar BigQuery para controlar de manera eficiente conjuntos de datos masivos (como Google Analytics) y las capacidades de comprensión del lenguaje natural del modelo para generar estadísticas significativas.

Por ejemplo, como científico o analista de datos, o como persona que toma decisiones comerciales en una empresa de comercio electrónico, es posible que desees comprender el comportamiento de los usuarios en tu sitio web o aplicación. Esta información puede ayudarte a optimizar y personalizar los recorridos de los usuarios y tomar decisiones comerciales fundamentadas para aumentar las ventas.

En esta situación, puedes tomar datos sin procesar de Google Analytics de BigQuery, enviarlos al modelo de Gemma y recibir resúmenes y estadísticas de visitas a la página en lenguaje natural. El modelo Gemma, que se ejecuta en una infraestructura escalable con aceleración de GPU de GKE, procesa rápidamente los datos del recorrido del usuario y, además, identifica patrones y tendencias. Podrías obtener estadísticas para identificar combinaciones de productos populares, revelar puntos de abandono comunes en el proceso de confirmación de la compra y destacar las campañas de marketing exitosas que dirigen el tráfico a páginas de destino específicas.

Beneficios

Esta solución ofrece un flujo de trabajo optimizado con las siguientes ventajas:

• Integración de BigQuery: Usa BigQuery para almacenar y procesar conjuntos de datos grandes (como los datos de Google Analytics en este instructivo). Esto te permite consultar y agregar los datos necesarios para el análisis del modelo.
• Aceleración de GPU: Ejecuta el modelo de Gemma en un clúster de GKE con compatibilidad con GPU para acelerar el proceso de inferencia y generar predicciones mucho más rápido que con los procesadores basados en CPU.
• Reducción de costos y tiempo: Ahorra tiempo y recursos con el modelo de lenguaje Gemma preentrenado y de código abierto, lo que elimina la necesidad de crear un modelo personalizado desde cero.

Objetivos

En este instructivo, aprenderás a realizar lo siguiente:

1. Implementa el modelo y expónlo: Crea un archivo YAML de servicio para definir un balanceador de cargas interno que acceda al modelo de Gemma.
2. Crea una función remota de BigQuery: Ejecuta código Python para definir una función remota que tome datos de Google Analytics, cree instrucciones para el modelo, envíe solicitudes al extremo del modelo con el balanceador de cargas y muestre la respuesta del modelo.
3. Configura la red de nube privada virtual (VPC): Configura una red de VPC y un conector de VPC para habilitar la comunicación segura entre BigQuery y el clúster de GKE. Esto es fundamental para que la función remota acceda al extremo del modelo.
4. Analizar datos: Analiza los datos con los DataFrames de BigQuery o directamente en SQL con la herramienta de línea de comandos bq. Ejecuta los fragmentos de código proporcionados en un notebook de Colab Enterprise para lo siguiente:
   • Consulta los datos de Google Analytics desde BigQuery con SQL.
   • Aplica la función remota a los datos para generar estadísticas a partir del modelo de Gemma.
   • Muestra los resultados.

Arquitectura

En el siguiente diagrama de arquitectura, se muestran los componentes involucrados y cómo interactúan:

• Usa un notebook de Colab Enterprise para ejecutar tu código de Python. Con Python, puedes usar la biblioteca bigframes para simplificar tus interacciones con SQL.
• BigQuery funciona como tu motor de procesamiento de macrodatos, lo que potencia el uso de SQL para interactuar con los datos.
• La función remota invoca una función de Cloud Run. Los datos se enrutan automáticamente a la función remota, donde se preparan y se envían a GKE para la inferencia.
• Los resultados se vuelven a enviar a BigQuery y se muestran en una tabla.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Compute Engine instances used by GKE
• GPU resources used by GKE
• BigQuery
• Cloud Load Balancing
• Cloud Run functions

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Cuando finalices las tareas que se describen en este documento, puedes borrar los recursos que creaste para evitar que continúe la facturación. Para obtener más información, consulta Cómo realizar una limpieza.

Antes de comenzar

Asegúrate de completar los siguientes requisitos previos:

Selecciona o crea un proyecto

Puedes usar un proyecto existente o crear uno nuevo para este instructivo.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

Habilita las APIs

Enable the Artifact Registry, Compute Engine, GKE, IAM Service Account Credentials, Cloud Functions, Cloud Build, Cloud Run Admin, Cloud Logging, Serverless VPC Access, BigQuery, Dataform, Vertex AI APIs.

Enable the APIs

Configura Cloud Shell

En este instructivo, usarás Cloud Shell para ejecutar los comandos de gcloud y kubectl. Cloud Shell es un entorno de shell que se usa para administrar recursos alojados en Google Cloud. Viene preinstalado con las herramienta de línea de comandos de Google Cloud CLI y kubectl.

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

Se abrirá una sesión de Cloud Shell dentro de un marco en la parte inferior en la consola.

Antes de ejecutar comandos en este instructivo, asegúrate de que tu proyecto predeterminado esté configurado como el ID del proyecto en el que deseas implementar la app de ejemplo. Si aún no está configurado, ejecuta el siguiente comando en Cloud Shell:

gcloud config set project PROJECT_ID

Reemplaza PROJECT_ID por el ID del proyecto.

Asigna roles de IAM

Asegúrate de que tu cuenta de usuario y la cuenta de servicio predeterminada de Compute Engine en tu proyecto tengan los roles de administración de identidades y accesos (IAM) necesarios para este instructivo.

Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/aiplatform.colabEnterpriseAdmin, roles/run.invoker, roles/container.admin, roles/iam.serviceAccountAdmin, roles/logging.logWriter

gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

• Replace PROJECT_ID with your project ID.

• Replace USER_IDENTIFIER with the identifier for your user account. For example, user:[e-mail].

• Replace ROLE with each individual role.

Otorga roles a tu cuenta de servicio predeterminada de Compute Engine. Ejecuta el siguiente comando una vez para cada uno de los siguientes roles de IAM: roles/logging.logWriter, roles/artifactregistry.writer, roles/storage.objectViewer

gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:[e-mail]" --role=ROLE

• Reemplaza PROJECT_ID con el ID del proyecto.
• Reemplaza PROJECT_NUMBER por el número de proyecto para crear el dominio de la cuenta de servicio predeterminada de Compute Engine para tu proyecto. Por ejemplo, [e-mail].
• Reemplaza ROLE por cada rol individual.

Publica un modelo de Gemma

Ve al instructivo Entrega modelos abiertos de Gemma mediante GPUs en GKE con Hugging Face TGI y sigue las instrucciones desde Antes de comenzar hasta Interactúa con el modelo con curl para asegurarte de que tu modelo de Gemma se implemente correctamente y puedas interactuar con él.

Para los fines de este instructivo, implementa el modelo Gemma 2B-it.

Configura la red de VPC

Crea o usa la red de VPC en la región us-central1 para que tu función remota pueda conectarse al clúster de GKE. En este instructivo, usa la VPC Default.

Para garantizar que tu conjunto de datos de BigQuery, la función remota y las funciones subyacentes de Cloud Run se implementen en ubicaciones compatibles, la red de VPC debe estar en la misma región que tu función remota de BigQuery. En este instructivo, cuando configures las opciones de BigQuery DataFrames mientras creas una función remota, especificas US como una ubicación para tu conjunto de datos, que se establece de forma predeterminada en la región us-central1 para tus funciones de Cloud Run. Por lo tanto, crea o usa la VPC en la región us-central1.

Crea un balanceador de cargas

Sigue estas instrucciones para crear un balanceador de cargas interno en tu clúster de GKE:

1. Crea el siguiente manifiesto tgi-2b-lb-service.yaml:

   apiVersion: v1
   kind: Service
   metadata:
   name: llm-lb-service
   annotations:
       networking.gke.io/load-balancer-type: "Internal"
   spec:
   selector:
     app: gemma-server
   type: LoadBalancer
   ports:
   - protocol: TCP
     port: 8000
     targetPort: 8000
   

2. Abre una nueva terminal de Cloud Shell y ejecuta el siguiente comando para aplicar el manifiesto:

   kubectl apply -f tgi-2b-lb-service.yaml
   

3. Obtén la dirección IP del balanceador de cargas. Es posible que debas esperar entre 1 y 2 minutos para que se recupere esta dirección IP:

   kubectl get service llm-lb-service --output yaml | grep ip:
   

Usarás esta dirección IP para comunicarte con tu aplicación gemma-server que se ejecuta detrás del balanceador de cargas.

Crear un conector

Usas un conector de Acceso a VPC sin servidores para enviar y recibir solicitudes a través de tu red de VPC sin usar la Internet pública. Para obtener más información, consulta Acceso a VPC sin servidores.

En este instructivo, crearás un conector con una subred nueva y dedicada para evitar cualquier conflicto de dirección IP con los recursos existentes en la VPC. Para obtener instrucciones, consulta la sección Crea un conector y sigue las instrucciones de gcloud en la sección Crea un conector y una subred nueva.

Como alternativa, si deseas usar una subred existente, sigue las instrucciones de la sección Crea un conector con una subred existente.

Nota: Cada conector requiere su propia subred /28 dedicada y específica para PRIVATE con un rango de direcciones IPv4 principal. Otros recursos, como las VMs, Private Service Connect o los balanceadores de cargas, no pueden usar esta subred. Google Cloud aplica este requisito para garantizar una administración eficiente de las direcciones IP y evitar posibles conflictos.

Para obtener más información, consulta Requisitos de la subred del conector.

Crea un notebook

En este instructivo, usarás un notebook de Colab Enterprise para ejecutar todo tu código para definir la función remota de BigQuery y realizar el análisis.

Para crear un notebook de Colab Enterprise con la consola de Google Cloud , haz lo siguiente:

1. En la consola de Google Cloud , ve a la página Notebooks de Colab Enterprise:

   Ir a Notebooks

2. En el menú Región, selecciona us-central1. Esta es la misma región en la que creas todos tus servicios en este instructivo.

3. Junto a Archivos, haz clic en Crear un notebook.

El notebook nuevo aparece en la pestaña Mis notebooks.

Para ejecutar código en tu notebook nuevo, inserta una celda de código nueva para cada comando o fragmento de código que quieras ejecutar.

Crea una función remota de BigQuery

Una de las formas en que puedes definir una función remota de BigQuery es con la biblioteca bigframes. En esta sección, usa bigframes para crear una función remota llamada process_incoming. Esta función remota toma los datos de Google Analytics como entrada, construye una instrucción y la envía a tu modelo de Gemma para su análisis.

En el notebook de Colab Enterprise que creaste, haz lo siguiente:

1. Haz clic en + Código para insertar una celda de código nueva.

2. Copia el siguiente código en la nueva celda de código:

   # Install the necessary packages on the notebook runtime
   %pip install --upgrade bigframes --quiet
   
   import bigframes.pandas as bpd
   import os
   import ast
   import requests
   
   # Replace the following  variables
   # Use the format ip:port
   # For example, "10.128.05:8000"
   lb_url = "LOADBALANCER_IP_ADDRESS:8000"
   
   # Set BigQuery DataFrames options
   bpd.options.bigquery.project = "PROJECT_ID"
   bpd.options.bigquery.location = "US"
   # Update the VPC connector name with the one you created
   vpc_connector_name = "VPC_CONNECTOR_NAME"
   
   # Create a remote function using bigframes
   # https://cloud.google.com/bigquery/docs/remote-functions#bigquery-dataframes
   
   @bpd.remote_function(
     [str],
     str,
     dataset="ga_demo",
     name="ga_explain_example",
     bigquery_connection="bigframes-rf-conn",
     reuse=True,
     packages=["requests"],
     cloud_function_vpc_connector=VPC_CONNECTOR_NAME
   
   )
   def process_incoming(data):
     ga_data = ast.literal_eval(data)
     USER_PROMPT = """
         'The following are the results from Google Analytics.
         They are reverse ranked.
         reverse_event_number 1 is the last page visited.
         reverse_event_number 2 is the second last page visited.
         You are given the following data.
         {}
         Can you summarize what was the most popular page people landed on and what page they came from?
     """.format(ga_data)
   
     url = 'http://{}/generate'.format(lb_url)
   
     myobj = {
         "inputs": USER_PROMPT,
         "temperature": 0.90,
         "top_p": 0.95,
         "max_tokens": 2048
     }
     x = requests.post(url, json=myobj)
     result = x.text
     return (result)
   
   function_name = process_incoming.bigframes_remote_function
   print (f"The function name is: {function_name}")
   
   

   Reemplaza lo siguiente:

   • LOADBALANCER_IP_ADDRESS: La dirección IP y el puerto del balanceador de cargas interno que creaste antes, por ejemplo, 10.128.05:8000.
   • PROJECT_ID: el ID de tu proyecto
   • VPC_CONNECTOR_NAME: Es el nombre del conector de Acceso a VPC sin servidores que creaste antes.

   En este instructivo, la ubicación de tu conjunto de datos de BigQuery se establece en US, que, de forma predeterminada, se establece en la región us-central1.

3. Haz clic en Ejecutar celda.

El resultado muestra el nombre de la función de forma similar a la siguiente:

The function name is: PROJECT_ID.ga_demo.ga_explain_example

Cómo analizar el comportamiento de los usuarios

En esta sección, analizarás el comportamiento de los usuarios en tu sitio web con la función remota process_incoming de una de las siguientes dos maneras:

• con BigQuery DataFrames
• con la herramienta de línea de comandos de bq para ejecutar una consulta directamente en SQL.

Usa BigQuery DataFrames

Para ejecutar la función remota con BigQuery DataFrames en el notebook de Colab Enterprise que creaste, haz lo siguiente:

1. Haz clic en + Código para insertar una celda de código nueva.
2. Copia el siguiente código en la celda de código nueva y haz clic en Ejecutar celda.

# Generate a list of all matchups and their histories as a JSON

grouping_sql = """
with
data_table as (
 SELECT
 distinct
   user_pseudo_id,
   events.value.string_value,
   event_timestamp,
   rank() over (partition by user_pseudo_id order by event_timestamp desc) as reverse_event_number
 FROM
   `bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_20210131` as events20210131,
   unnest (events20210131.event_params) as events
 where events.key = 'page_location'
 qualify reverse_event_number < 3
)
select
*,TO_JSON_STRING (data_table) as ga_history
from data_table
limit 10;

"""

ga_df = bpd.read_gbq(grouping_sql)
post_processed = ga_df.assign(results=ga_df['ga_history'].apply(process_incoming),axis=1)
post_processed.head(10)

En el siguiente resultado, se muestran los resultados de muestra de la consulta:

user_pseudo_id	string_value	event_timestamp	reverse_event_number	ga_history	resultados	eje
0	2342103247.0307162928	https://shop.googlemerchandisestore.com/Google...	1612096237169825	2	{"user_pseudo_id":"2342103247.0307162928","str...	{"generated_text":"\n 'Las siguientes son...
1	48976087.6959390698	https://www.googlemerchandisestore.com/	1612056537823270	2	{"user_pseudo_id":"48976087.6959390698","strin...	{"generated_text":"\n \n ```python\n imp...

Usa la herramienta de línea de comandos de bq

Como alternativa, puedes usar la herramienta de línea de comandos de bq para realizar el análisis directamente con SQL.

Para ejecutar la función remota con la herramienta de línea de comandos bq en el notebook de Colab Enterprise que creaste, haz lo siguiente:

1. Haz clic en + Código para insertar una celda de código nueva.

2. Copia el siguiente código en la nueva celda de código y reemplaza PROJECT_ID por el ID de tu proyecto.

   # Update with your PROJECT_ID
   
   function_name = 'PROJECT_ID.ga_demo.ga_explain_example'
   
   new_sql = """'with \
   data_table as ( \
   SELECT \
   distinct \
     user_pseudo_id, \
     events.value.string_value, \
     event_timestamp, \
     rank() over (partition by user_pseudo_id order by event_timestamp desc) as reverse_event_number \
   FROM \
     `bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_20210131` as events20210131, \
     unnest (events20210131.event_params) as events \
   where events.key = "page_location" \
   qualify reverse_event_number < 3 \
   ) \
   select \
   *, `{}`(TO_JSON_STRING (data_table)) as result \
   from data_table \
   limit 10;' \
   """.format(function_name)
   
   # Run query using bq cli directly in a notebook cell
   
   !bq query --use_legacy_sql=false \
   {new_sql}
   

3. Haz clic en Ejecutar celda.

En el siguiente resultado, se muestran los resultados de muestra de la consulta:

user_pseudo_id	string_value	event_timestamp	reverse_event_number	Resultado
86037838.0267811614	https://shop.googlemerchandisestore.com/Google+Redesign/Apparel/Google+Dino+Game+Tee	1612128627715585	1	{"generated_text":"Answer:\n La página más popular fue https://shop.googlemerchandisestore.com/Google+Redesign/Apparel/Google+Dino+Game+Tee\n La siguiente página más popular fue la página de la que provenía.\n\n Explanation:\n\nLos datos proporcionados muestran que el usuario actual visitó la tienda de artículos promocionales de Google específicamente para el producto "Google Dino Game Tee". \n \nConsideraciones importantes:\n\n* Interpretación de los datos: No puedes afirmar de forma definitiva que"}
4024190.3037653934	https://shop.googlemerchandisestore.com/Google+Redesign/Apparel/Google+Black+Cloud+Zip+Hoodie	1612085948486438	1	{"generated_text":"\n ```python\n import pandas as pd\n\n data = {'user_pseudo_id': ['4024190.3037653934', '4024190.3037653934', '4024190.3037653934'],\n 'string_value': ['https://shop.googlemerchandisestore.com"}

Éxito: Aplicaste correctamente la función remota a los datos para generar estadísticas a partir del modelo de Gemma.

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Para evitar que se generen cargos en tu cuenta de Google Cloud por los recursos que se usaron en este instructivo, borra los recursos individuales.

1. Borra tu notebook de Colab Enterprise.
2. Borra el entorno de ejecución de Colab Enterprise.
3. Borra tu función de BigQuery. Asegúrate de que tu cuenta de servicio tenga el permiso bigquery.routines.delete. Para obtener más información, consulta Permisos de BigQuery.
4. Borra tu conexión externa de BigQuery.
5. Borra tus funciones de Cloud Run.
6. Borra tu clúster de GKE.
7. Borra el conector de VPC.

¿Qué sigue?

• Prueba un codelab práctico para un caso de uso de análisis de datos estructurados y no estructurados.
• Consulta Prácticas recomendadas para ejecutar cargas de trabajo por lotes en GKE.
• Obtén más información sobre los casos de uso de IA/aprendizaje automático en BigQuery.
• Obtén más información sobre los casos de uso de IA/AA en GKE.