Supervisa el estado, el uso de recursos y los trabajos

Como administrador de BigQuery, puedes usar gráficos de recursos administrativos para supervisar el estado de tu organización, el uso de ranuras y el rendimiento de los trabajos de BigQuery con el paso del tiempo.

Para visualizar el panel de estado operativo, debes contar con al menos una reserva a la que accedas con un proyecto de administración. Los Gráficos de recursos y el Explorador de trabajos están disponibles para todos los usuarios con los permisos correspondientes.

Funciones obligatorias

Para obtener los permisos que necesitas para ver todos los datos de los gráficos de recursos administrativos, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu organización:

Si quieres obtener más información para otorgar funciones, consulta Administra el acceso.

Estos roles predefinidos contienen los permisos necesarios para ver todos los datos de los gráficos de recursos administrativos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para ver todos los datos en los gráficos de recursos administrativos:

  • bigquery.jobs.listExecutionMetadata en la organización
  • bigquery.jobs.listAll en la organización
  • bigquery.reservationAssignments.list en el proyecto de administración de reservas
  • bigquery.capacityCommitments.list en el proyecto de administración de reservas
  • Para ver los datos de resumen del estado operativo: bigquery.tables.get or bigquery.tables.list en la organización
  • Para ver los datos parciales a nivel de la reserva:
    • bigquery.reservations.list en el proyecto de administración de reservas
    • bigquery.reservationAssignments.list en el proyecto de administración de reservas
  • Para ver los datos de la capacidad de reserva en los gráficos de recursos administrativos: bigquery.capacityCommitments.list en el proyecto de administrador de reservas
  • Para ver los datos a nivel del proyecto: bigquery.jobs.listAll en el proyecto

También puedes obtener estos permisos con funciones personalizadas o con otras funciones predefinidas

Supervisa el estado operativo de toda una organización

Para solicitar comentarios o asistencia para esta función, envía un correo electrónico a bq-operational-health+feedback@google.com.

En el panel de estado operativo, se muestran métricas clave para tu organización y sus reservas en toda la ubicación de tus reservas. Puedes usar este panel para supervisar las métricas, entre las que se incluyen las siguientes:

  • Uso de ranuras
  • Uso aleatorio
  • Simultaneidad de trabajos
  • Errores
  • Duración del trabajo
  • Bytes procesados
  • Almacenamiento total

BigQuery proporciona esta información al realizarle consultas a las siguientes INFORMATION_SCHEMA vistas:

Para supervisar el estado operativo, sigue estos pasos:

  1. Ve a la página de BigQuery.

    Ir a BigQuery

  2. En el menú del proyecto, selecciona el proyecto de administración que usaste para comprar ranuras y crear reservas.

  3. En el panel de navegación, selecciona Administración (Administration) > Supervisión (Monitoring). De forma predeterminada, el gráfico del estado operativo muestra métricas de resumen para todas las ubicaciones y reservas.

  4. Para visualizar los datos que se actualizan con más frecuencia, puedes activar Datos en vivo. Si los datos en vivo están habilitados, los datos se actualizan de forma automática cada cinco minutos. Si los Datos en vivo están inhabilitados, la inactividad máxima de los datos es de alrededor de una hora. Se muestra la última hora de actualización de los datos.

Para visualizar la vista detallada, selecciona los valores de los cuales deseas ver los gráficos de cronograma detallados:

  1. En la lista Seleccionar ubicación, selecciona una región específica.
  2. En la lista Seleccionar reserva, haz clic en la reserva.
  3. En la lista Intervalo de tiempo, selecciona un intervalo.
  4. Para obtener más información de uno de los gráficos de métricas clave, haz clic en Explorar más. Para obtener más información del gráfico del Explorador de trabajos, haz clic en Explorar más en el gráfico de consultas activas principales.

Vistas

La pestaña Estado operativo muestra las siguientes vistas:

Vista de resumen

La vista de resumen proporciona una vista del estado de los subsistemas, entre los que se incluyen las reservas y las regiones de los últimos 30 minutos para tu organización.

Vista de resumen administrativo de BigQuery

Para ver la vista de resumen, haz lo siguiente:

  • Dirígete al gráfico Estado operativo y, en la lista Seleccionar ubicación, selecciona Todas las ubicaciones.

Vista detallada

En la vista detallada, se muestran gráficos de cronograma detallados de diferentes métricas a nivel de ubicación o reserva.

Descripción general de la vista administrativa detallada de BigQuery

Para visualizar la vista detallada, haz lo siguiente:

  • Dirígete al gráfico Estado operativo y , en la lista Seleccionar ubicación, selecciona la región o edición o selecciona el nombre de la reserva en Seleccionar reserva.

Gráficos

La pestaña Estado operativo muestra las siguientes opciones para la configuración del gráfico:

Tabla de resumen

En las tablas de resumen, se muestran las siguientes métricas:

  • Uso de ranuras. El uso promedio de las ranuras. La capacidad total de ranuras equivale a la capacidad del modelo de referencia y a la capacidad máxima del ajuste de escala automático.
  • Uso aleatorio. El valor máximo de toda la proporción de uso de Shuffle.
  • Simultaneidad. La cantidad máxima de trabajos que se ejecutaron de forma simultánea.
  • Bytes procesados. El total de bytes procesados por trabajos completados.
  • Duración del trabajo El tiempo promedio de ejecución de los trabajos completados, el cual se calcula desde el momento en que el trabajo se crea hasta que finaliza.
  • Almacenamiento total. El total de bytes lógicos activos en la última actualización.

Hay dos tablas de resumen presentadas por ubicación o reservas en las vistas. Cada fila de la tabla representa una ubicación o un uso de reserva.

En las tablas, se muestran las métricas de los 30 minutos anteriores a la última actualización. Si los Datos en vivo están habilitados, los datos se actualizan de forma automática cada cinco minutos. Si los Datos en vivo están inhabilitados, la inactividad máxima de los datos es de alrededor de una hora.

La celda de la tabla responde a un código de colores si la métrica es superior al umbral. Todos los umbrales están predefinidos y no pueden personalizarse. Si el valor de la métrica durante los últimos 30 minutos es mayor al valor de P99 respecto al uso del día anterior, la celda de la tabla se marca con un fondo azul oscuro. Si el valor de las métricas durante los 30 minutos previos a la última actualización se encuentran entre el valor de P95 y P99 respecto al uso del día anterior, la celda de la tabla se marca con un fondo celeste.

Tabla de resumen administrativo de BigQuery.

Filtra datos

Puedes filtrar datos en gráficos según los siguientes valores:

Datos de filtros administrativos de BigQuery.

  • Ubicación. Están disponibles las regiones en las que la organización tuvo actividad en los últimos 30 días. La vista de resumen presenta una tabla de resumen a nivel de la región para realizar un seguimiento del uso en todas las regiones activas.
  • Reserva. Este campo se vuelve seleccionable luego de que hayas seleccionado una región. Están disponibles todas las reservas que pertenecen a los proyectos administrativos de visualización. Solo puedes elegir una reserva.
  • Intervalo de tiempo. Este campo solo está disponible para la vista detallada. Afecta las Métricas del cronograma de métricas y el Gráfico de anillo de errores en la vista detallada. La escala de datos en las Métricas del gráfico de cronograma se ajusta según el intervalo de tiempo seleccionado y de forma automática.

Gráfico de consultas activas principales

Este gráfico muestra los diez principales trabajos con recursos activos que se ordenan en orden descendente. En el menú desplegable, puedes seleccionar una opción de orden que se basa en el uso de las ranuras o la duración del trabajo. El ID de trabajo y la cantidad relevante de uso de recursos se presentan en el gráfico de barras. Selecciona Explorar más en el gráfico de consultas activas principales para visualizar el Explorador de trabajos. Para obtener más información sobre los detalles de ejecución y diagnosticar cualquier problema de rendimiento en tus trabajos de BigQuery, consulta gráfico de ejecución de consulta.

Barra de lista de trabajos principales de BigQuery.

Gráfico de anillo de errores

Este gráfico muestra la proporción de las principales causas de falla en el período seleccionado. En la vista de resumen, incluye de forma predeterminada los últimos 30 minutos. En la vista detallada, el selector de intervalos de tiempo controla su cobertura. Puedes agrupar los errores por tipo, proyecto de propietario o reserva. El registro de trabajos con errores se presenta en el gráfico de anillo.

Gráfico de errores de BigQuery.

Gráficos de cronograma de métricas

En estos gráficos, se muestra una descripción general de las métricas compatibles durante 30 días como máximo. El período predeterminado es de una hora. A medida que cambia el período seleccionado, se escala el nivel de detalle de cada dato del gráfico de forma automática.

En estos gráficos, se muestra un valor agregado sobre una región o una reserva. La visualización de datos no se admite para varias regiones o reservas.

Gráficos de cronograma de métricas de BigQuery.

Los gráficos de cronograma de métricas admiten las siguientes métricas:

  • Uso de ranuras. El uso promedio de las ranuras en el período seleccionado. Muestra el uso general de las ranuras de todos los trabajos con y sin errores por separado.
  • Simultaneidad de trabajos. La cantidad máxima de trabajos que se ejecutaron de forma simultánea en el período seleccionado. Muestra el registro de trabajos en ejecución y de trabajos pendientes por separado y se muestra como un gráfico de barras apiladas.
  • Bytes analizados. El total de bytes procesados por trabajos completados en el período seleccionado.
  • Shuffle. La cantidad máxima de toda la proporción de uso promedio de la reserva en el período seleccionado.
  • Duración del trabajo El tiempo de ejecución promedio de los trabajos completados en el período seleccionado, el cual se calcula desde la hora de creación del trabajo hasta la hora de finalización del mismo.
  • Error según el tipo. En el Gráfico de anillo de errores, se muestra la proporción de diferentes causas de fallas en el período seleccionado.

Además de las tendencias de las métricas, estos gráficos muestran líneas de referencia del valor de las métricas P95 y P99 respecto al uso del día anterior. En el gráfico Simultaneidad de los trabajos, se muestra el umbral de la suma de trabajos pendientes y en ejecución. Esos valores a los que se hace referencia se usan como los umbrales de codificación de color en la tabla de resumen.

Para obtener más información sobre el gráfico, haz clic en Explorar más. Se te redireccionará a la pestaña Uso de recursos.

Visualiza uso de recursos

Los datos en los gráficos de recursos administrativos se basan en la vista INFORMATION_SCHEMA.JOBS y se actualizan en tiempo real, con un máximo de 30 días anteriores.

Puedes ver el uso de los recursos de BigQuery mediante los gráficos de recursos administrativos. Estos gráficos de recursos tienen los siguientes tres componentes interactivos principales:

  • El gráfico de cronograma de eventos muestra una descripción general de los datos en un máximo de 30 días. El valor predeterminado es 1 día.

  • El gráfico principal muestra las métricas seleccionadas (uso de ranuras, simultaneidad de trabajos, rendimiento de trabajos, errores o bytes procesados) para la organización o el proyecto de administrador de reserva a lo largo del tiempo. El gráfico incluye una leyenda de tabla que se correlaciona con los datos del gráfico, lo que muestra estadísticas más detalladas agregadas durante el período.

  • Un panel lateral para elegir diferentes gráficos, desgloses y opciones de filtro.

En el siguiente diagrama, se proporciona una descripción general de varias opciones de gráficos administrativos en BigQuery:

Descripción general de los gráficos de recursos administrativos de BigQuery.

Antes de comenzar

  1. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

    Ir al selector de proyectos

    Puedes crear un proyecto de administrador de la reserva del proyecto de Google Cloud independiente para administrar la reserva si le asignas un nombre descriptivo como bq-COMPANY_NAME-admin.

  2. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

  3. Habilita BigQuery Reservation API.

    Habilita la API

    Para obtener más información, consulta Habilita la API de BigQuery Reservations.

  4. En la consola de Google Cloud, consulta tus cuotas de ranuras:

    Visualiza tus cuotas de ranuras

    A fin de comprar ranuras, debes tener suficiente cuota para la región en la que deseas comprarlas.

    Si la cuota de ranuras para la región es menor que la cantidad de ranuras que deseas comprar, consulta Solicitar un aumento de la cuota.

Visualiza gráficos de recursos administrativos

De forma predeterminada, tienes acceso a los gráficos de recursos administrativos de edición cuando navegas desde el proyecto administrativo de reservas. Puedes activar o desactivar los gráficos de recursos administrativos on demand y los gráficos de recursos administrativos de edición desde el proyecto administrativo de reserva (Vista previa).

Para ver los gráficos de recursos administrativos, sigue estos pasos:

  1. Ve a la página de BigQuery.

    Ir a BigQuery

  2. En el menú del proyecto, selecciona el proyecto administrativo que usaste para comprar ranuras y crear reservas.

  3. En el panel de navegación, selecciona Administración (Administration) > Supervisión (Monitoring).

  4. En la sección Opciones de gráfico > Alcance, puedes seleccionar el modelo de facturación de la lista, que incluye tres tipos de ediciones y a pedido. De forma predeterminada, el modelo de facturación está configurado en Enterprise Edition.

  5. En la sección Opciones de gráfico (Chart options) > Configuración de gráfico (Chart Configuration), haz lo siguiente:

    1. En la lista Gráfico (Chart), selecciona el tipo de gráfico. Para obtener más información sobre las diferentes opciones de gráficos, consulta Opciones de gráficos.
    2. En la lista Métricas (Metrics), selecciona el tipo de métricas disponible.
    3. En la lista Agrupar por (Group by), selecciona la dimensión en la que deseas agrupar los datos en el gráfico. Para obtener información sobre las diferentes dimensiones, consulta Agrupa por opciones.
    4. En la lista de Filtros (Filters), selecciona las opciones de filtro disponibles. Para obtener información sobre los diferentes filtros, consulta Filtros y búsqueda.
    5. Establece el período para el que deseas ver los datos en el gráfico.

Configuración de gráficos

Para ajustar la vista de tus gráficos de recursos administrativos, cambia las siguientes opciones de configuración del gráfico.

Opciones del gráfico

BigQuery proporciona los siguientes tipos de métricas para mostrar en los gráficos:

  • Uso de ranuras. Es el uso promedio de las ranuras en el período seleccionado. Las capacidades y el uso de ranuras inactivas se aplican en las siguientes condiciones:

    • La opción de agrupar por opción es "General".
    • No hay filtros ni filtro por una sola reserva.

  • Simultaneidad de los trabajos. Cantidad máxima de trabajos que se ejecutaron de forma simultánea en el período seleccionado.

  • Rendimiento de trabajos. Es el tiempo promedio de ejecución de trabajos completados, que se calcula desde la hora de creación del trabajo hasta la hora de finalización.

  • Trabajos con errores. Uso promedio de las ranuras en el período seleccionado para los trabajos que fallaron.

  • Bytes procesados. Cantidad total de bytes procesados por trabajos completados en el período seleccionado.

  • Uso de redistribución. Proporción de uso aleatorio promedio en el período seleccionado (vista previa).

Componente de la tabla

En la tabla, se muestran las métricas relevantes para el período y la dimensión que seleccionaste en el gráfico de recursos administrativos.

En el gráfico Uso de ranuras, se muestra el Uso promedio de ranuras de todos los trabajos que se ejecutaron durante el período seleccionado. Los trabajos que no finalizaron dentro del período seleccionado incluyen solo las ranuras que se usaron en el período.

Para el gráfico Rendimiento del trabajo, el componente de la tabla muestra las siguientes métricas:

  • Cantidad de trabajos. La cantidad de trabajos que se ejecutaron total o parcialmente dentro del período seleccionado.

  • Duración promedio del trabajo. La duración promedio del trabajo para los trabajos completados que se ejecutaron al menos de forma parcial en el período seleccionado.

  • Duración mediana del trabajo. La duración mediana del trabajo para los trabajos completados que se ejecutaron al menos de forma parcial en el período seleccionado.

  • Duración mínima del trabajo. La duración mínima del trabajo para los trabajos completados que se ejecutaron al menos de forma parcial dentro del período seleccionado. Esta columna está oculta de forma predeterminada, pero puedes habilitarla en Opciones de visualización de columnas.

  • Duración máxima del trabajo. La duración máxima del trabajo para los trabajos completados que se ejecutaron al menos de forma parcial dentro del período seleccionado. Esta columna está oculta de forma predeterminada, pero puedes habilitarla en Opciones de visualización de columnas.

En el gráfico Trabajos con errores, el componente de la tabla muestra los siguientes datos:

  • Uso promedio de ranuras. Es igual que el gráfico Uso de ranuras, pero solo en trabajos con errores.

  • Total de trabajos con errores. La cantidad de trabajos que fallaron dentro del período seleccionado.

Agrupa por opciones

Según el tipo de gráfico, puedes agrupar datos en la vista del gráfico por varias dimensiones:

  • General. La vista General es una descripción general de alto nivel de la métrica seleccionada a lo largo de toda la organización. Para el uso de las ranuras, la capacidad y el uso se muestran en el mismo gráfico a fin de darle una idea del uso general de las ranuras a lo largo del tiempo.

  • Proyecto. En la vista Proyecto, se muestra la métrica seleccionada agrupada por proyecto. Si una organización tiene más de 10 proyectos, solo se muestran los 10 proyectos principales con el mayor uso de ranuras, simultaneidad de trabajos, duración del trabajo o trabajos con errores en el período seleccionado. Para el uso de las ranuras, todos los demás proyectos se agrupan en la categoría Otro en la parte inferior del gráfico, a fin de facilitar la comparación entre la capacidad general.

  • Todas las demás vistas de agrupación son similares a la vista de proyecto, con datos agrupados por la dimensión correspondiente.

Opción de período

Puedes modificar el período de las siguientes maneras:

  • Selecciona y arrastra el período en el gráfico del cronograma del evento.

  • Selecciona y arrastra el período en el gráfico principal.

El período de alineación se actualiza de forma automática a medida que cambia el período seleccionado. Cuanto más pequeño sea el período de alineación, más detallada será la vista. Para ver mejor los recursos que cambian con frecuencia, por ejemplo, la opción Uso de ranuras, reduce el período de alineación.

Para limitar los datos del gráfico, aplica filtros en el panel de filtros. Algunos filtros solo están disponibles para ciertos gráficos. Los filtros Reservas, Carpetas, Proyectos y Usuarios se propagan con los recursos respectivos que consumieron ranuras en el período seleccionado. Por ejemplo, si no se usó un proyecto en los últimos 30 días, no aparecerá en la lista de filtros del proyecto.

El gráfico se actualiza después de aplicar filtros para mostrar datos dentro de los parámetros seleccionados.

Visualiza datos de gráficos administrativos a nivel de proyecto

Puedes ajustar el alcance en las Opciones de gráficos para generar una descripción general de los gráficos administrativos a nivel de proyecto. Esta vista puede ayudar a los analistas de proyectos a supervisar el uso de recursos para proyectos propios, similares a los gráficos administrativos a nivel de la organización, con la excepción de algunas opciones de gráficos y agrupar por opciones que no son aplicables. En esta vista, se muestra el uso general de los recursos sin importar el modo de facturación dentro del proyecto contextual.

Descripción general de los gráficos de recursos administrativos a nivel de proyecto de BigQuery.

Cuando navegas a los gráficos administrativos de un proyecto que no es de administrador con permisos a nivel de organización, el gráfico administrativo cambia al nivel del proyecto de forma predeterminada. Puedes volver a la vista correcta mediante el menú desplegable Alcance en las Opciones del gráfico.

Visualiza el explorador de trabajos administrativos

BigQuery proporciona estadísticas y detalles al realizarle consultas a las siguientes vistas INFORMATION_SCHEMA:

A medida que estas vistas INFORMATION_SCHEMA están regionalizadas, puedes ver los trabajos correspondientes en función de la región seleccionada.

Filtrar trabajos

Para filtrar trabajos de las consultas que contienen INFORMATION_SCHEMA.JOBS* views, sigue estos pasos:

  1. Ve a la página de BigQuery.

    Ir a BigQuery

  2. En el menú del proyecto, selecciona el proyecto administrativo que usaste para comprar ranuras y crear reservas.

  3. En el panel de navegación, selecciona Administración (Administration) > Supervisión (Monitoring).

  4. Haz clic en la pestaña Explorador de trabajos.

  5. En la lista Ubicación, selecciona la ubicación de los trabajos que debes ver. Puedes ver la lista de todos los trabajos de consulta que se ejecutan contenidos en las vistas INFORMATION_SCHEMA.JOBS para esa ubicación.

    También puedes ver las consultas activas y en cola junto con el uso total de ranuras en el último minuto.

  6. Filtra trabajos mediante opciones.Filtra trabajos mediante opciones.

    Figura 1. Filtrar trabajos

    En la figura 1, se incluyen las opciones para filtrar trabajos:

    • Intervalo de tiempo entre los que se ejecutaron los trabajos.
    • El alcance del trabajo, como el proyecto y la organización.
    • Estado del trabajo, como en ejecución, pendiente, terminado y error
    • ID de trabajo.
    • ID de correo electrónico del propietario de los trabajos de administrador.
    • Trabajos que tardaron más que el tiempo especificado en la ranura.
    • Duración del trabajo
    • Trabajos que procesaron más bytes que los bytes procesados
    • Tipos de estadísticas de consultas, como contención de ranuras, capacidad de Shuffle de memoria excedida y cambio en la escala de entrada de datos.
    • El hash de consulta contiene los hashes de la consulta. Es un hash STRING de hexadecimal que ignora los comentarios, los valores de los parámetros, las UDF y los literales. Este campo aparece para las consultas correctas de GoogleSQL que no son aciertos de caché.

Visualiza los detalles de la ejecución de la consulta

Para ver los detalles de la ejecución de consultas de los trabajos, sigue estos pasos:

  1. Ve a la página Monitoring.

    Ir a Monitoring

  2. Para ver los trabajos, haz clic en Explorador de trabajos.

  3. Puedes filtrar trabajos para ver trabajos limitados.

  4. Haz clic en un trabajo para el que desees ver los detalles de la ejecución de la consulta.

  5. En el panel Resultados de la consulta, haz clic en la pestaña Gráfico de ejecución para ver los detalles de la ejecución de tus trabajos de administrador

    Gráfico de ejecución para trabajos.

    Figura 2. Gráfico de ejecución para trabajos.

Si deseas obtener información para interpretar las estadísticas, consulta Interpreta las estadísticas de rendimiento de las consultas.

Facturación

Los gráficos de recursos administrativos y el explorador de trabajos están disponibles sin costo adicional. Las consultas que se usan para propagar estos gráficos no se facturan y no usan ranuras en reservas de usuarios. Se agota el tiempo de espera de las consultas que procesan demasiados datos.

¿Qué sigue?