Crea paneles, gráficos y alertas

En este documento, se describe cómo crear gráficos y alertas para supervisar los recursos de BigQuery a través de Cloud Monitoring.

Antes de comenzar

Antes de usar Cloud Monitoring, asegúrate de tener los siguientes elementos:

  • Una cuenta de facturación de Cloud
  • Un proyecto de BigQuery con facturación habilitada

Una forma de asegurarte de tener ambos elementos es completar la guía de inicio rápido con la consola de Google Cloud.

Ve y crea paneles, gráficos y alertas

Ve el panel de Cloud Monitoring

Para usar Cloud Monitoring para supervisar tu proyecto de BigQuery, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Monitoring.

    Ir a Monitoring

  2. Selecciona el nombre de tu proyecto si aún no está seleccionado en la parte superior de la página.

  3. Para ver los recursos de BigQuery, selecciona Dashboards (Paneles) > BigQuery. En esta página, ves una lista de tablas, informes de incidentes y eventos que el usuario puede configurar, así como gráficos de métricas de proyectos o métricas de conjuntos de datos.

    Panel de BigQuery

Visualiza las ranuras disponibles y las asignadas

Si deseas visualizar las ranuras disponibles y las que están asignadas a tu proyecto, ve al panel de BigQuery que se describe en Visualiza el panel de Cloud Monitoring:

  1. En la consola de Google Cloud, ve a la página Monitoring.

    Ir a Monitoring

  2. Selecciona Paneles > BigQuery.

  3. En el panel de Cloud Monitoring para BigQuery, desplázate hasta el gráfico denominado Uso de ranuras.

El gráfico Uso de ranuras aparece en el panel principal predeterminado de Cloud Monitoring predeterminado y en el panel de Cloud Monitoring para BigQuery.

Cree un panel y un gráfico

Muestra las métricas que recopila Cloud Monitoring en tus propios gráficos y paneles:

  1. En la consola de Google Cloud, ve a la página Monitoring.

    Ir a Monitoring

  2. Selecciona Paneles > Crear panel.

  3. Haz clic en Agregar gráfico. Verás la página Agregar gráfico:

    Página Agregar gráfico.

  4. En los campos del panel Find resource type and metric (Buscar tipo de recurso y métrica):

    • En la lista desplegable Tipo de recurso, selecciona Global. Es posible que necesites expandir la lista Tipo de recurso para que la opción Global se vea.
    • Para la lista desplegable Métrica, selecciona Tiempo de ejecución de la consulta (Query execution time).
  5. Los campos del panel Agregación controlan cómo se muestran los datos de tiempo de ejecución. Puedes modificar la configuración predeterminada de estos campos.

  6. Haz clic en Guardar.

Visualiza el uso y los límites de la cuota

En Cloud Monitoring, puedes ver las métricas del uso de cuotas y los límites:

  1. En la consola de Google Cloud, ve a la página Monitoring.

    Ir a Monitoring

  2. En el panel de navegación, selecciona Explorador de métricas.

  3. En la barra de herramientas, selecciona Explorador > Configuración.

  4. En la sección Recursos y métricas, haz clic en Seleccionar una métrica.

  5. Selecciona Cuota del consumidor > Cuota > Límite de cuota y, luego, haz clic en Aplicar.

  6. Haz clic en Agregar filtro y, luego, en el menú Etiqueta, selecciona limit_name.

  7. En el menú Valor, selecciona la cuota de la que deseas ver las métricas.

    Explorador de métricas

Cree una alerta

Para crear una política de alertas que se active cuando el percentil 99 del tiempo de ejecución de una consulta de BigQuery exceda un límite definido por el usuario, usa la siguiente configuración:

Nueva condición
Campo

Valor
Recurso y métrica En el menú Recursos, selecciona Proyecto de BigQuery.
En el menú Categorías de métricas, selecciona Consulta.
En el menú Métricas, selecciona Tiempos de ejecución de consultas.
Filtro
Series temporales
Grupo de series temporales por
priority
Series temporales
Agregación de series temporales
99th percentile
Ventana progresiva 5 m
Función analítica progresiva sum
Configura el activador de alertas
Campo

Valor
Tipo de condición Threshold
Activador de alertas Any time series violates
Posición del umbral Above threshold
Valor del umbral Tú determinas este valor; Sin embargo, se recomienda un límite de 60 segundos.
Período para volver a probar most recent value

Métricas disponibles para la visualización

Las siguientes métricas están disponibles; el horario se retrasa durante varias horas.

Tipo de recurso Nombre Unidades Descripción
BigQuery
Scanned bytes
Bytes por minuto Cantidad de bytes analizados
BigQuery
Scanned bytes billed
Bytes por minuto Cantidad de bytes enviados para la facturación cuando se usa el modelo de análisis a pedido. Los bytes analizados y los bytes analizados que se facturaron pueden diferir a medida que los cargos se redondean hacia arriba, con una cantidad mínima de datos procesados por consulta.
BigQuery
BI Engine Query Fallback Count (Preview)
Consultas La cantidad de consultas que no utilizó BI Engine como tasa. Puedes configurar la opción Agrupar por en reason para separar el recuento en diferentes motivos de resguardo, incluidos los siguientes:
  • NO_RESERVATION
  • INSUFFICIENT_RESERVATION
  • UNSUPPORTED_SQL_TEXT
  • INPUT_TOO_LARGE
  • OTHER_REASON
BigQuery
Query count
Consultas Consultas en tránsito
BigQuery
Query execution count (Preview)
Consultas La cantidad de consultas ejecutadas.
BigQuery
Query execution times
- 5th percentile
- 50th percentile
- 95th percentile
- 99th percentile
Segundos Tiempos de ejecución de consultas no almacenadas en caché.
BigQuery
Slots used by project
Ranuras Cantidad de ranuras de BigQuery asignadas para trabajos de consulta en el proyecto.

Las ranuras se asignan a cada cuenta de facturación, y varios proyectos pueden compartir la misma reserva de ranuras.

BigQuery
Slots used by project and job type
Ranuras Cantidad de ranuras asignadas al proyecto en cualquier momento por tipo de trabajo. Esto también puede considerarse como la cantidad de ranuras que usa ese proyecto. Los trabajos de carga y exportación son operaciones gratuitas y se ejecutan en un conjunto de recursos público.

Las ranuras se asignan a cada cuenta de facturación, y varios proyectos pueden compartir la misma reserva de ranuras.

BigQuery
Slots used by project, reservation, and job type
Ranuras Cantidad de ranuras de BigQuery asignadas para el proyecto. La asignación de ranuras se puede desglosar en función de la reserva y el tipo de trabajo.
BigQuery
Total slots
Ranuras Cantidad total de ranuras disponibles para el proyecto.

Si el proyecto comparte una reserva de ranuras con otros proyectos, no se muestran las ranuras que usan los otros proyectos.

BigQuery
Slots used across projects in reservations
Ranuras Cantidad de ranuras de BigQuery asignadas entre proyectos en la reserva. Ten en cuenta que los datos de métricas solo se informan mientras al menos un proyecto se asigna a la reserva y consume ranuras. Como alternativa, considera consultar la información de reservas de INFORMATION_SCHEMA.
BigQuery
Slots used by project in reservation
Ranuras Cantidad de ranuras de BigQuery asignadas para el proyecto en la reserva.
Conjunto de datos de BigQuery
Stored bytes
Bytes Bytes almacenados en un conjunto de datos: para las 100 tablas más grandes del conjunto de datos, se muestran los bytes almacenados en cada tabla individual (por nombre). Todas las tablas adicionales en el conjunto de datos (más allá de las 100 tablas más grandes) se informan como una suma única, y el nombre de la tabla para el resumen es una string vacía.
Conjunto de datos de BigQuery
Table count
Tablas Cantidad de tablas en el conjunto de datos
Conjunto de datos de BigQuery
Uploaded bytes
Bytes por minuto Cantidad de bytes subidos a cualquier tabla del conjunto de datos
Conjunto de datos de BigQuery Filas subidas Filas por minuto Cantidad de registros subidos a cualquier tabla en el conjunto de datos depot/google3/production/config/cdd/cloud-pulse/templates/gcp/aliased_metrics_bigquery.gcl

Para obtener una lista completa de las métricas de Google Cloud disponibles, consulta Métricas de Google Cloud.

Problemas conocidos

  • Si no se ejecutan consultas, no se devuelven datos para las ranuras asignadas, las ranuras disponibles ni cualquier variable relacionada con la consulta. Aléjate para ver los datos.

  • Si las consultas se ejecutan en EE.UU. y en la UE, es posible que las ranuras asignadas y las ranuras disponibles sean incorrectas.

  • Las ranuras asignadas se informan como el valor promedio en un período (la amplitud del período depende del nivel de zoom del gráfico). El acercarse o alejarse puede cambiar el valor de las ranuras asignadas. Acercarse a un período de 1 hora o menos muestra los valores reales de las ranuras asignadas. En este rango para cualquier horario visible en el gráfico, avg(slots allocated) = slots allocated.

  • Los datos en los gráficos de Cloud Monitoring solo pertenecen al proyecto seleccionado.

  • Las métricas son valores instantáneos, muestreados en un momento en el tiempo, y pueden ignorar algunos datos entre los intervalos de la muestra. Por ejemplo, la métrica de recuento de trabajos se muestrea cada un minuto. El valor es la cantidad de trabajos en ese momento en particular, no la cantidad máxima de trabajos durante todo el minuto.