Supervisión de BigQuery

En este documento, se describe cómo supervisar los recursos de BigQuery con Stackdriver Monitoring, lo que incluye la creación de gráficos y alertas para las métricas de BigQuery.

Antes de comenzar

  • Antes de usar Stackdriver Monitoring, asegúrate de tener los elementos que se enumeran a continuación:

    • Una cuenta de Google Cloud
    • Un proyecto de BigQuery con facturación habilitada

    Una forma de asegurarte de tener ambos elementos es completar la guía de inicio rápido con la IU web.

  • Para usar Stackdriver Monitoring, tu proyecto debe estar en un lugar de trabajo. Sigue los pasos que se indican en Crea un lugar de trabajo para un proyecto único.

Visualiza y crea paneles, gráficos y alertas

Visualiza el panel de Stackdriver Monitoring

Para supervisar tu proyecto de BigQuery con Stackdriver Monitoring, haz lo siguiente:

  1. En Google Cloud Console, ve a la página Monitoring.

    Ir a Monitoring

  2. Selecciona el nombre de tu proyecto si aún no está seleccionado en la parte superior de la página.

  3. Para ver los recursos de BigQuery, selecciona Recursos > BigQuery. En esta página, verás una lista de tablas, informes de incidentes y eventos que son configurables por el usuario, así como gráficos de métricas de proyectos o métricas de conjuntos de datos.

    Panel de BigQuery

Visualiza ranuras disponibles y asignadas

Si deseas visualizar las ranuras disponibles y las ranuras asignadas a tu proyecto, ve al panel para BigQuery que se describe en Visualiza el panel de Stackdriver Monitoring:

  1. En Google Cloud Console, ve a la página Monitoring.

    Ir a Monitoring

  2. Selecciona Resources (Recursos) > BigQuery.

  3. En el panel de Stackdriver Monitoring para BigQuery, desplázate hasta el gráfico denominado Uso de ranuras.

El gráfico Uso de ranuras aparece en el panel principal predeterminado de Stackdriver Monitoring y en el panel de Stackdriver Monitoring para BigQuery.

Crea un panel y un gráfico

Muestra las métricas que recopila Stackdriver Monitoring en tus propios gráficos y paneles.

  1. En Google Cloud Console, ve a la página Monitoring.

    Ir a Monitoring

  2. Selecciona Paneles > Crear panel.

  3. Haz clic en Agregar gráfico. Verás la página Agregar gráfico:

    Página Agregar gráfico.

  4. En los campos del panel Find resource type and metric (Buscar tipo de recurso y métrica):

    • Para la lista desplegable Resource type (Tipo de recurso), selecciona Global. Es posible que necesites expandir la lista Tipo de recurso para que la opción Global se vea.
    • Para la lista desplegable Metric (Métrica), selecciona Query execution time (Tiempo de ejecución de la consulta).
  5. Los campos del panel Aggregation (Agregación) controlan cómo se muestran los datos de tiempo de ejecución. Puedes modificar la configuración predeterminada de estos campos.

  6. Haz clic en Guardar.

Crea una alerta

Para crear una política de alertas que se active cuando el percentil 50 del tiempo de ejecución de una consulta de BigQuery exceda un límite definido por el usuario, usa la siguiente configuración:


Campo del panel Objetivo

Valor
Resource type Global
Metric Query execution time
Filter
Aggregator none
Advanced Aggregation Aligner: 50th percentile
Alignment Period: 1 m

Campo del panel Condiciones

Valor
Condition triggers if Any time series violates
Condition is above
Threshold Tú determinas el valor aceptable. Para esta métrica, considera un límite que sea aproximadamente el doble del valor promedio para el percentil 50.
For 1 minute

Métricas disponibles para la visualización

Las siguientes métricas están disponibles; el horario se retrasa durante varias horas.

Tipo de recurso Nombre Unidades Descripción
BigQuery Bytes analizados Bytes por minuto Cantidad de bytes analizados
BigQuery Bytes analizados que se facturaron Bytes por minuto Cantidad de bytes enviados para la facturación

Los bytes analizados y los bytes analizados que se facturaron pueden diferir por dos razones.

  • Hay un importe mínimo de facturación. Si analizas menos de esa cantidad, no se facturará.
  • Si tu cuenta tiene algún crédito asociado, estas métricas pueden variar.

BigQuery Tiempo de consulta
Percentil 5 Percentil 50 Percentil 95 Percentil 99
Segundos Tiempo de ejecución de consultas no almacenadas en caché (s)
BigQuery Ranuras asignadas Ranuras Cantidad de ranuras asignadas al proyecto en cualquier momento. Esto también puede considerarse como la cantidad de ranuras que usa ese proyecto.

Las ranuras se asignan por cuenta de facturación, y varios proyectos pueden compartir la misma reserva de ranuras.

BigQuery Ranuras asignadas por tipo de trabajo Ranuras Cantidad de ranuras asignadas al proyecto en cualquier momento separadas por tipo de trabajo. Esto también puede considerarse como la cantidad de ranuras que usa ese proyecto. Por el momento, los trabajos de carga y exportación son operaciones gratuitas y se ejecutan en un conjunto de recursos público.

Las ranuras se asignan por cuenta de facturación, y varios proyectos pueden compartir la misma reserva de ranuras.

BigQuery Ranuras disponibles Ranuras Cantidad total de ranuras disponibles para el proyecto.

Si el proyecto comparte una reserva de ranuras con otros proyectos, no se muestran las ranuras que utilizan los otros proyectos.

Conjunto de datos de BigQuery Bytes almacenados Bytes Bytes almacenados en un conjunto de datos: para las 100 tablas más grandes del conjunto de datos, se muestran los bytes almacenados en cada tabla individual (por nombre). Todas las tablas adicionales en el conjunto de datos (más allá de las 100 tablas más grandes) se informan como una suma única, y el nombre de la tabla para el resumen es una string vacía.
Conjunto de datos de BigQuery Tablas Tablas Cantidad de tablas en el conjunto de datos
Conjunto de datos de BigQuery Bytes facturados subidos Bytes por minuto Cantidad de bytes subidos a cualquier tabla en el conjunto de datos que se facturaron
Conjunto de datos de BigQuery Bytes subidos Bytes por minuto Número de bytes subidos a cualquier tabla del conjunto de datos

Los bytes facturados que se subieron y los bytes subidos que se facturaron pueden diferir por dos razones.

  • Hay un importe mínimo de facturación. Si analizas menos de esa cantidad, no se facturará.
  • Si tu cuenta tiene algún crédito asociado, estas métricas pueden variar.
Conjunto de datos de BigQuery Filas subidas Filas por minuto Cantidad de registros subidos a cualquier tabla en el conjunto de datos

Problemas conocidos

  • Si no se ejecutan consultas, no se mostrarán datos para las ranuras asignadas, las ranuras disponibles ni cualquier variable relacionada con la consulta. Aléjate a fin de ver los datos.

  • Si las consultas se ejecutan en EE.UU. y en la UE, es posible que las ranuras asignadas y las ranuras disponibles sean incorrectas.

  • Las ranuras asignadas se informan como el valor promedio en un período (la amplitud del período depende del nivel de zoom del gráfico). El acercarse o alejarse puede cambiar el valor de las ranuras asignadas. Acercarse a un período de 1 hora o menos muestra los valores reales de las ranuras asignadas. En este rango para cualquier horario visible en el gráfico, avg(slots allocated) = slots allocated.

  • Los datos en los gráficos de Stackdriver Monitoring pertenecen solo al proyecto seleccionado. La supervisión de varios proyectos no se encuentra disponible actualmente.

¿Te ha resultado útil esta página? Enviar comentarios:

Enviar comentarios sobre...

Si necesitas ayuda, visita nuestra página de asistencia.