Crear paneles de control, gráficos y alertas

En este documento se describe cómo crear gráficos y alertas para monitorizar recursos de BigQuery con Cloud Monitoring.

Antes de empezar

Antes de usar Cloud Monitoring, asegúrate de que tienes lo siguiente:

• Una cuenta de facturación de Cloud.
• Un proyecto de BigQuery con la facturación habilitada.

Una forma de asegurarte de que tienes ambas es completar la guía de inicio rápido sobre la consola Google Cloud .

Ver y crear paneles de control, gráficos y alertas

Ver el panel de control de Cloud Monitoring

Para usar Cloud Monitoring y monitorizar tu proyecto de BigQuery, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Monitorización.

   Ir a Monitoring

2. Selecciona el nombre de tu proyecto si aún no lo has hecho en la parte superior de la página.

3. Para ver los recursos de BigQuery, selecciona Paneles de control > BigQuery. En esta página, verá una lista de tablas, eventos e informes de incidencias que los usuarios pueden configurar, así como gráficos de métricas de proyectos o de conjuntos de datos.

   

Visualizar las franjas horarias disponibles y las asignadas

Para ver las ranuras disponibles y las asignadas a tu proyecto, ve al panel de control de BigQuery que se describe en el artículo Ver el panel de control de Cloud Monitoring:

1. En la Google Cloud consola, ve a la página Monitorización.

   Ir a Monitoring

2. Selecciona Paneles de control > BigQuery.

3. En el panel de control de Cloud Monitoring de BigQuery, desplázate hasta el gráfico Utilización de slots.

El gráfico Utilización de slots aparece tanto en el panel de control predeterminado principal de Cloud Monitoring como en el panel de control de Cloud Monitoring de BigQuery.

Crear un panel y un gráfico

Muestra las métricas recogidas por Cloud Monitoring en tus propios gráficos y paneles de control:

1. En la Google Cloud consola, ve a la página Monitorización.

   Ir a Monitoring

2. Selecciona Paneles > Crear panel.

3. Haz clic en Añadir gráfico. Verá la página Añadir gráfico:

   

4. En los campos del panel Buscar tipo de recurso y métrica:

   • En la lista desplegable Tipo de recurso, selecciona Global. Puede que tengas que desplegar la lista de Tipos de recursos para que se muestre la opción Global.
   • En la lista desplegable Métrica, selecciona Tiempo de ejecución de la consulta.

5. Los campos del panel Agregación controlan cómo se muestran los datos del tiempo de ejecución. Puedes modificar los ajustes predeterminados de estos campos.

6. Haz clic en Guardar.

Ver el uso y los límites de las cuotas

En Cloud Monitoring, puede ver las métricas de uso y los límites de las cuotas:

1. En la Google Cloud consola, ve a la página Monitorización.

   Ir a Monitoring

2. En el panel de navegación, selecciona Explorador de métricas.

3. En la barra de herramientas, selecciona Explorador > Configuración.

4. En la sección Recurso y métrica, haga clic en Seleccionar una métrica.

5. Selecciona Cuota de consumidor > Cuota > Límite de cuota y, a continuación, haz clic en Aplicar.

6. Haz clic en Añadir filtro y, a continuación, en el menú Etiqueta, selecciona limit_name.

7. En el menú Valor, seleccione la cuota de la que quiera ver las métricas.

   

Nota: Solo puedes ver las métricas de uso y los límites de cuota de las cuotas de conexiones simultáneas y de rendimiento de la API Storage Write de BigQuery.

Crear una alerta

Para crear una política de alertas que se active cuando el percentil 99 del tiempo de ejecución de una consulta de BigQuery supere el límite que has definido, usa los siguientes ajustes.

Pasos para crear una política de alertas

Para crear una política de alertas, haz lo siguiente:

1. En la Google Cloud consola, ve a la página  Alertas:

   Ve a Alertas.

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Monitorización.

2. Si no has creado tus canales de notificación y quieres recibir notificaciones, haz clic en Editar canales de notificación y añade tus canales de notificación. Vuelve a la página Alertas después de añadir tus canales.
3. En la página Alertas, selecciona Crear política.
4. Para seleccionar el recurso, la métrica y los filtros, despliega el menú Seleccionar una métrica y, a continuación, usa los valores de la tabla Nueva condición:
   1. Opcional: Para limitar el menú a las entradas relevantes, introduce el nombre del recurso o de la métrica en la barra de filtros.
   2. Selecciona un Tipo de recurso. Por ejemplo, selecciona Instancia de VM.
   3. Seleccione una categoría de métrica. Por ejemplo, selecciona instancia.
   4. Selecciona una métrica. Por ejemplo, selecciona Uso de CPU.
   5. Selecciona Aplicar.
5. Haga clic en Siguiente y, a continuación, configure el activador de la política de alertas. Para completar estos campos, usa los valores de la tabla Configurar activador de alerta.
6. Haz clic en Siguiente.

7. Opcional: Para añadir notificaciones a tu política de alertas, haz clic en Canales de notificación. En el cuadro de diálogo, selecciona uno o más canales de notificación y, luego, haz clic en Aceptar.

   Para recibir notificaciones cuando se abran y se cierren incidentes, marca la opción Notificar cuando se cierre un incidente. De forma predeterminada, las notificaciones solo se envían cuando se abren incidentes.

8. Opcional: Actualiza la duración del cierre automático de incidentes. Este campo determina cuándo cierra Monitoring los incidentes si no hay datos de métricas.
9. Opcional: Haz clic en Documentación y añade la información que quieras incluir en las notificaciones.
10. Haz clic en Nombre de la alerta y escribe el que quieras asignar a la política de alertas.
11. Haz clic enCreate Policy (Crear política).

Campo Nueva condición	Valor
Recurso y métrica	En el menú Recursos, selecciona Proyecto de BigQuery. En el menú Categorías de métricas, selecciona Consulta. En el menú Métricas, selecciona Tiempos de ejecución de consultas.
Filtro
En series temporales Agrupación por serie temporal	priority
Entre series temporales Agregación de series temporales	99th percentile
Ventana de tiempo	5 m
Función de ventana móvil	sum

Configurar el activador de alertas Campo	Valor
Tipo de condición	Threshold
Activador de alerta	Any time series violates
Posición del umbral	Above threshold
Valor de umbral	Tú decides este valor, pero te recomendamos que uses un umbral de 60 segundos.
Ventana de repetición de la prueba	most recent value

Para crear una política de alertas que se active cuando el total de bytes analizados facturados de un proyecto de BigQuery supere un límite definido por el usuario, utiliza la siguiente configuración de política de alertas.

Campo Nueva condición	Valor
Recurso y métrica	En el menú Recursos, selecciona Proyecto de BigQuery. En el menú Categorías de métricas, selecciona Consulta. En el menú Métricas, selecciona Bytes escaneados de extracto facturados.
Filtro	(No es necesario aplicar ningún filtro para recibir alertas de todo el proyecto)
En series temporales Agrupación de series temporales	(Déjelo en blanco para agregar todas las series)
En series temporales Agregación de series temporales	sum
Ventana de tiempo	5 m
Función de ventana móvil	sum

Configurar el activador de alertas Campo	Valor
Tipo de condición	Threshold
Activador de alerta	Any time series violates
Posición del umbral	Above threshold
Valor de umbral	Tú decides este valor. Por ejemplo, para activar una alerta cuando el uso supere 1 TiB, introduce 1000000000000.

Aunque la política de alertas monitoriza el total de bytes analizados, puedes definir un umbral basado en un presupuesto específico. Para implementar esta política de alertas basada en el presupuesto, primero debes convertir el umbral de coste que quieras en el número de bytes equivalente. La fórmula se basa en los precios de computación bajo demanda de BigQuery. Para obtener más información, consulta los precios de los recursos de computación bajo demanda.

Puede usar la siguiente fórmula para convertir el umbral de coste en bytes:

Threshold in Bytes = (Target Amount / (price per TiB)) * 1,000,000,000,000

Ejemplo: Activar una alerta cuando el uso supere los 100 USD

Supongamos que quiere recibir una alerta cuando los costes de las consultas de su proyecto superen los 100$.

1. Calcula el volumen de datos equivalente en TiB:
   $100 / (price per TiB) = Equivalent Data Volume in TiB
2. Convertir el volumen de datos en bytes:
   (Equivalent Data Volume in TiB) * 1,000,000,000,000 = Threshold Value in Bytes
3. Defina el valor del umbral:
   En la sección Configurar activador de alerta de su política, introduzca el "Valor del umbral en bytes" como Valor del umbral.

Ahora, la política de alertas se activa cuando el total de bytes analizados facturados en la ventana acumulativa corresponde a aproximadamente 100 USD en costes de consultas bajo demanda.

Métricas disponibles para la visualización

Están disponibles las siguientes métricas, con un retraso de hasta varias horas.

Tipo de recurso	Nombre	Unidades	Descripción
BigQuery	Scanned bytes	Bytes por minuto	Número de bytes analizados.
BigQuery	Scanned bytes billed	Bytes por minuto	Número de bytes enviados para la facturación al usar el modelo de análisis bajo demanda. Los bytes analizados y los bytes analizados facturados pueden diferir, ya que los cargos se redondean al alza, con una cantidad mínima de datos procesados por consulta.
BigQuery	BI Engine Query Fallback Count (Preview)	Consultas	La cantidad de consultas que no han usado BI Engine como tasa. Puedes definir la opción Agrupar por en reason para separar el recuento en diferentes motivos de reserva, entre los que se incluyen los siguientes: NO_RESERVATION INSUFFICIENT_RESERVATION UNSUPPORTED_SQL_TEXT INPUT_TOO_LARGE OTHER_REASON
BigQuery	Query count	Consultas	Consultas en vuelo.
BigQuery	Query execution count (Preview)	Consultas	Número de consultas ejecutadas.
BigQuery	Query execution times - 5th percentile - 50th percentile - 95th percentile - 99th percentile	Segundos	Tiempos de ejecución de consultas no almacenadas en caché.
BigQuery	Slots used by project	Ranuras	Número de ranuras de BigQuery asignadas a las tareas de consulta del proyecto. Los slots se asignan por cuenta de facturación y varios proyectos pueden compartir la misma reserva de slots.
BigQuery	Slots used by project and job type	Ranuras	Número de ranuras asignadas al proyecto en cualquier momento, separadas por tipo de trabajo. También se puede considerar como el número de espacios que utiliza ese proyecto. Las tareas de carga y exportación son operaciones gratuitas y se ejecutan en un grupo público de recursos. Los slots se asignan por cuenta de facturación y varios proyectos pueden compartir la misma reserva de slots.
BigQuery	Slots used by project, reservation, and job type	Ranuras	Número de ranuras de BigQuery asignadas al proyecto. La asignación de franjas horarias se puede desglosar en función de la reserva y del tipo de trabajo.
BigQuery	Total slots	Ranuras	Número total de espacios disponibles para el proyecto. Si el proyecto comparte una reserva de ranuras con otros proyectos, no se muestran las ranuras que usan los otros proyectos.
BigQuery	Slots used across projects in reservations	Ranuras	Número de ranuras de BigQuery asignadas a los proyectos de la reserva. Tenga en cuenta que los datos de las métricas solo se registran cuando se ha asignado al menos un proyecto a la reserva y está consumiendo ranuras. Como alternativa, puedes consultar la información de las reservas en INFORMATION_SCHEMA.
BigQuery	Slots used by project in reservation	Ranuras	Número de ranuras de BigQuery asignadas al proyecto en la reserva.
Tarea continua de BigQuery	Estimated backlog logical bytes	Bytes	El número de bytes en el registro pendiente de cada fase del trabajo continuo.
Tarea continua de BigQuery	Estimated backlog records	Registros	El número estimado de registros pendientes de cada fase del trabajo continuo.
Tarea continua de BigQuery	Estimated bytes processed	Bytes	Número estimado de bytes procesados en cada fase de la tarea continua.
Tarea continua de BigQuery	Output watermark	Marca de tiempo	La marca de tiempo más reciente, en microsegundos desde la época, hasta la que esta fase de la tarea continua ha procesado todos los datos.
Tarea continua de BigQuery	Records read	Registros	Número de registros de entrada leídos en cada fase del trabajo continuo.
Tarea continua de BigQuery	Records written	Registros	Número de registros de salida escritos en cada fase del trabajo continuo.
Tarea continua de BigQuery	Slots used	Milisegundos de la ranura	El total de milisegundos de ranura usados por la tarea continua.
Conjunto de datos de BigQuery	Stored bytes	Bytes	Bytes almacenados en el conjunto de datos: en las 100 tablas más grandes del conjunto de datos, se muestran los bytes almacenados de cada tabla (por nombre). Las tablas adicionales del conjunto de datos (más allá de las 100 más grandes) se registran como una suma única y el nombre de la tabla del resumen es una cadena vacía.
Conjunto de datos de BigQuery	Table count	Tablas	Número de tablas del conjunto de datos.
Conjunto de datos de BigQuery	Uploaded bytes	Bytes por minuto	Número de bytes subidos a cualquier tabla del conjunto de datos.
Conjunto de datos de BigQuery	Filas subidas	Filas por minuto	Número de registros subidos a cualquier tabla del conjunto de datos.

Para ver una lista completa de las Google Cloud métricasGoogle Cloud disponibles, consulte el artículo sobre las Google Cloud métricas.

Problemas conocidos

• Si no se está ejecutando ninguna consulta, no se devolverán datos de las ranuras asignadas, las ranuras disponibles ni ninguna variable relacionada con las consultas. Reduce el zoom para ver los datos.

• Si las consultas se ejecutan tanto en EE. UU. como en la UE, es posible que las ranuras asignadas y las ranuras disponibles sean incorrectas.

• Las ranuras asignadas se indican como el valor medio en un periodo (la anchura del periodo depende del nivel de zoom del gráfico). Al aumentar y reducir el zoom, puede cambiar el valor de los espacios asignados. Si amplías una ventana de tiempo de 1 hora o menos, se muestran los valores reales de los espacios asignados. En este intervalo, para cualquier periodo visible en el gráfico, avg(slots allocated) = slots allocated.

• Los datos de los gráficos de Cloud Monitoring solo corresponden al proyecto seleccionado.

• Las métricas son valores instantáneos, muestreados en un momento concreto, y pueden perderse puntos de datos entre intervalos de muestreo. Por ejemplo, la métrica de recuento de trabajos se muestrea cada minuto. El valor es el número de tareas en ese momento concreto, no el número máximo de tareas a lo largo de todo el minuto.