Estima los requisitos de capacidad de las ranuras

Cuando compras ranuras reservadas en BigQuery, debes estimar la cantidad correcta de ranuras para tu carga de trabajo específica. El estimador de ranuras de BigQuery te ayuda a administrar la capacidad de las ranuras según las métricas de rendimiento históricas.

Puedes usar el estimador de ranuras para tus cargas de trabajo de edición, reserva y según demanda a fin de realizar las siguientes tareas:

Con las cargas de trabajo de edición seleccionadas, puedes hacer lo siguiente:

  • Visualizar la capacidad de las ranuras y los datos de uso de los últimos 30 días y, también, identificar los períodos de uso máximo cuando se usan la mayoría de las ranuras
  • Visualizar las recomendaciones óptimas de costos para las ranuras de ajuste de escala automático y de compromiso con un rendimiento similar
  • Visualizar la configuración actual de tu reserva para una edición específica

Con las cargas de trabajo de reserva específicas, puedes hacer lo siguiente:

  • Visualizar la capacidad de las ranuras y los datos de uso de los últimos 30 días y, también, identificar los períodos de uso máximo cuando se usan la mayoría de las ranuras
  • Visualizar los percentiles de latencia del trabajo (P90, P95, etc.) para comprender el rendimiento de las consultas
  • Modelar cómo el aumento o la reducción de las ranuras de reserva máxima pueden afectar el rendimiento

Con las cargas de trabajo de facturación según demanda, puedes hacer lo siguiente:

  • Visualiza los datos de uso de ranuras a pedido de toda la organización o un proyecto individual de los últimos 30 días.
  • Visualizar las recomendaciones óptimas de costos para las ranuras de ajuste de escala automático y de compromiso con un rendimiento similar si actualizas a la edición empresarial.

Los clientes que usan la edición Enterprise, la edición Enterprise Plus o la facturación según demanda pueden usar el recomendador de ranuras de BigQuery para ver el uso de las ranuras, optimizar los compromisos y mejorar el rendimiento. Para obtener más información, consulta Visualiza las recomendaciones de ranuras de edición.

Limitaciones

  • Los datos se limitan a los últimos 30 días.
  • Los modelos no incluyen asignaciones ML_EXTERNAL. Si se usa un gran porcentaje de tus ranuras para asignaciones ML_EXTERNAL, los resultados del modelo serán menos precisos.

Antes de comenzar

Otorga funciones de Identity and Access Management (IAM) que les brindan a los usuarios los permisos necesarios para realizar cada tarea de este documento.

Permisos necesarios

Si quieres usar el estimador de ranuras para los datos de reservas, necesitas los siguientes permisos de IAM en el proyecto de administración:

  • bigquery.reservations.list
  • bigquery.reservationAssignments.list
  • bigquery.capacityCommitments.list

Cada uno de los siguientes roles predefinidos de IAM incluye los permisos que necesitas para usar el estimador de ranuras:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer
  • roles/bigquery.user

Para usar el estimador de ranuras para datos de uso a pedido, debes habilitar la API de Reservations en un proyecto que quieras usar como proyecto de administración para administrar las reservas. Además de los permisos anteriores, también necesitas uno de los siguientes permisos de IAM en tu organización para ver los datos a nivel de la organización o en tu proyecto a fin de ver los datos a nivel del proyecto:

  • bigquery.jobs.listExecutionMetadata (solo se puede aplicar a nivel de la organización)
  • bigquery.jobs.listAll (se puede aplicar a nivel de organización o de proyecto)

Cada uno de los siguientes roles predefinidos de IAM incluye los permisos que necesitas para usar el estimador de ranuras:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer

Para ver las recomendaciones de ranuras de compromiso, también necesitas los permisos descritos en Visualiza las recomendaciones de ranuras de edición.

Para obtener más información sobre los roles de IAM en BigQuery, consulta Funciones y permisos predefinidos.

Visualiza la capacidad y el uso de las ranuras

Para ver la capacidad y el uso de ranuras a lo largo del tiempo, navega al estimador de ranuras:

  1. En la consola de Google Cloud, abre la página de BigQuery.

    Ir a BigQuery

  2. Selecciona el proyecto de administración.

    1. Haz clic en la lista desplegable Seleccionar desde en la parte superior de la página.
    2. En la ventana Seleccionar una opción que aparece, elige tu proyecto.

  3. En el panel de navegación, ve a la sección Administración de capacidad.

  4. Haz clic en la pestaña Estimador de ranuras.

En el gráfico de uso, se muestra la capacidad y el uso de ranuras durante los últimos 30 días, que se calculan mediante el nivel de detalle por hora.

La pestaña Usage and utilization by percentage muestra el uso de ranuras como un porcentaje del uso de ranuras por ranuras máximas.

Porcentaje de uso

En la pestaña Usage and utilization by capacity, se muestran las ranuras y el uso máximos como valores absolutos.

Uso y capacidad

Puedes elegir una edición o una opción según demanda en el menú desplegable Fuente para ver las estadísticas de diferentes permisos. Cuando seleccionas una edición, se propaga el menú desplegable Reserva con las reservas relevantes.

Para las opciones a pedido, puedes elegir un proyecto individual o toda la organización del menú desplegable Recomendaciones para si tienes permisos a nivel de la organización. La página de Estimador de ranuras solo muestra la información a nivel de proyecto si solo tienes permisos a nivel de proyecto.

Opciones según demanda del estimador de ranuras

Las estadísticas de la pestaña Usage and utilization by capacity pueden variar ligeramente en función del alcance:

  • Para la fuente de la edición, se muestra la cantidad máxima de ranuras disponibles para toda la edición, las ranuras de compromiso, la suma de ranuras de referencia, el uso promedio de las ranuras, el uso de las ranuras P99 y el uso de las ranuras P50.
  • Para una reserva específica, muestra las ranuras de reserva máxima, las de referencia, el uso promedio de ranuras, el uso de ranuras P99 y el uso de ranuras P50.
  • Para la fuente a pedido, muestra el uso promedio de las ranuras, el uso de las ranuras P99 y el uso de las ranuras P50.

Rendimiento de las ranuras del modelo

Cuando se selecciona una reserva, puedes usar el estimador de ranuras para ver los datos de rendimiento del trabajo y modelar el efecto de cambiar la cantidad de ranuras máximas. El estimador de ranuras te permite modelar cómo puede cambiar el rendimiento en diferentes niveles de capacidad, desde el 80% hasta el 150% de la capacidad máxima de ranuras. La opción de disminución no puede ser inferior al 80% del mínimo de cantidad máxima de ranuras en el período.

Los modelos suponen una repetición del patrón de uso de los 30 días anteriores, en el que todo permanece igual, excepto por un cambio en las ranuras.

La mejora del rendimiento estimado se basa en varios factores. Los factores más importantes son la cantidad de ranuras en el modelo y la proporción de trabajos en cada bucket de percentiles que se ejecutaron durante los períodos de mayor demanda en comparación con los períodos normales. Los períodos de tráfico máximo se definen como las duraciones en las que se usaron casi todas las ranuras. Los trabajos que se ejecutan durante estos momentos se ven más afectados por la contención de ranuras, por lo que obtienen el mayor rendimiento de ranuras adicionales. Como resultado, diferentes buckets de trabajos pueden ver efectos diferentes del mismo aumento de capacidad, según cuándo se ejecutan.

Para modelar el rendimiento de las ranuras, sigue estos pasos:

  1. En la consola de Google Cloud, abre la página de BigQuery.

    Ir a BigQuery

  2. Selecciona el proyecto de administración.

    1. Haz clic en la lista desplegable Seleccionar desde en la parte superior de la página.
    2. En la ventana Seleccionar una opción que aparece, elige tu proyecto.

  3. En el panel de navegación, ve a la sección Administración de capacidad.

  4. Haz clic en la pestaña Estimador de ranuras.

  5. En el menú desplegable Reserva, selecciona una reserva en particular. El modelo incluye la cantidad de ranuras inactivas que la reserva pudo usar en cualquier momento.

  6. En el menú desplegable Modelo con ranuras adicionales en ranuras máximas, selecciona uno o más valores de ranuras para modelar y haz clic en Aceptar.

En la tabla que figura en Cambios en el rendimiento del trabajo con ranuras adicionales, se muestran los datos de rendimiento de los últimos 30 días, junto con el cambio estimado en el rendimiento por aumentar o disminuir la cantidad máxima de ranuras. Los datos se agrupan en porcentajes según la duración del trabajo de todos los trabajos que se ejecutaron en el período seleccionado. La columna denotada por el ícono de bombilla corresponde a la recomendación para mejorar el rendimiento de la reserva seleccionada.

Modelado de ranuras

Los datos de rendimiento se desglosan por percentil. La tabla divide los datos en 12 buckets como máximo: P10 a P90, más P95, P99 y P100. El bucket P100 representa el 1% superior de los trabajos que más tiempo ejecutaron. P99 incluye el 96% al 99% más alto. P95 incluye el 91% más alto a 95%. P90 incluye entre el 81% y el 90%, etcétera. Según los datos, la tabla puede agruparlos en menos buckets. En ese caso, la tabla contiene menos filas.

Para cada bucket de percentiles, la tabla muestra la siguiente información:

  • Percentil de duración del trabajo: Es el bucket de percentiles para esta fila.
  • Duración promedio del trabajo: Es el tiempo promedio que los trabajos en ese bucket de percentil se ejecutaron.
  • Cantidad de trabajos: Es la cantidad de trabajos en ese bucket de percentiles.
  • La duración promedio estimada de los trabajos en ese percentil para cada modelo.

En la tabla, también se genera una estadística de “cambio de 30 días” para cada modelo. Este valor es el cambio estimado en el total de horas que se usaron para procesar los trabajos en el historial de 30 días con diferentes capacidades de ranuras.

Comprende los resultados del modelado con el uso de ranuras

Para las reservas de capacidad fija, si el uso compartido de ranuras inactivas está habilitado, los trabajos de esa reserva pueden tomar prestadas las ranuras inactivas de otras reservas. Como resultado, el uso puede superar el 100% de las ranuras asignadas. Si una reserva toma ranuras inactivas de otras reservas de forma coherente, esto puede ser una señal para aumentar el tamaño de la reserva. Por otro lado, si una reserva rara vez usa su capacidad completa, la reserva podría ser demasiado grande.

Las reservas que usan ajuste de escala automático usan y agregan ranuras en la siguiente prioridad:

  1. Ranuras del modelo de referencia.
  2. Uso compartido de ranuras inactivas (si está habilitado).
  3. Ranuras con ajuste de escala automático.

Si una reserva llega al máximo de las ranuras de ajuste de escala automático de forma constante, esto puede ser una señal para aumentar la cantidad máxima de ranuras de reserva. Para obtener información sobre cómo ver el uso de las ranuras, consulta Visualiza gráficos de recursos administrativos.

Precios

Puedes usar el estimador de ranuras sin cargo.