Introducción a la administración de cargas de trabajo

La administración de cargas de trabajo de BigQuery te permite controlar los recursos y las funciones disponibles para el análisis de datos en tu organización, así como definir los modelos de facturación. La capacidad de procesamiento de BigQuery, medida en ranuras, se puede comprar en reservas y compromisos que luego asignas a toda la organización para realizar trabajos.

BigQuery ofrece dos modelos de administración de cargas de trabajo para el análisis de datos, también conocido como procesamiento. Con la facturación a pedido, pagas por los bytes procesados cuando consultas tus datos. Con la facturación basada en capacidad, se reserva la capacidad de procesamiento para cargas de trabajo con la opción de aumentar y reducir el escalamiento automático de la capacidad.

Puedes cambiar entre los modelos de facturación a pedido y basados en la capacidad en cualquier momento o puedes combinar los dos modelos. El modelo basado en la capacidad te brinda un control explícito sobre las ranuras y la capacidad de procesamiento, mientras que el modelo según demanda no lo hace.

Las compensaciones de Reservations.

Los siguientes modelos definen cómo administras las cargas de trabajo y cómo se te factura:

  • Precios según demanda: de forma predeterminada, se te facturan los datos que se analizan en las consultas. Tienes una capacidad de procesamiento de consultas fija y por proyecto y solo pagas por la cantidad de bytes procesados cuando los usas.

  • Precios basados en la capacidad: Compras capacidad de procesamiento de consultas dedicada o de ajuste de escala automático a una tarifa con descuento. La capacidad se mide en ranuras que asignas a cargas de trabajo o partes de tu organización. La facturación basada en la capacidad ofrece la opción de compromisos, que te permiten comprometerte con un nivel coherente de capacidad de procesamiento durante un período de 1 o 3 años a un precio con descuento. No se aplican cargos por los bytes procesados cuando se usa el modelo basado en la capacidad. Las ventajas de los precios basados en la capacidad incluyen las siguientes:

    • Costo. Como práctica recomendada, puedes establecer tu compromiso mínimo de estadísticas mensuales como el compromiso basado en la capacidad de BigQuery para reducir costos.
    • Previsibilidad. Las ranuras basadas en la capacidad permiten realizar tarifas mensuales más coherentes.
    • Compras centralizadas. Puedes comprar ranuras y asignarlas en toda la organización, en lugar de hacerlo en cada proyecto que use BigQuery.
    • Flexibilidad. Puedes elegir cuánta capacidad asignar a una carga de trabajo o permitir que BigQuery escale la capacidad de forma automática según tus requisitos de carga de trabajo. Se te factura en incrementos por segundo con un período de uso mínimo de un minuto.

Crear un compromiso de capacidad es opcional cuando se trabaja con reservas que usan ediciones de BigQuery, pero puede reducir los costos para cargas de trabajo de estado estable.

Puedes combinar los modelos de facturación. Por ejemplo, puedes ejecutar algunas cargas de trabajo con precios según demanda y otras con precios basados en la capacidad. Como el modelo de facturación se especifica por proyecto, esto requeriría que uses varios proyectos para tus trabajos de consulta. Para comprender mejor los precios de BigQuery para las reservas, consulta los siguientes vínculos:

Ranuras

La capacidad de procesamiento en BigQuery se mide en ranuras. Las ranuras representan CPU virtuales que se usan para consultar datos. En general, el acceso a más ranuras te permite ejecutar más consultas simultáneas y tus consultas complejas pueden ejecutarse con mayor rapidez. El modelo de precios basado en la capacidad te permite reservar un volumen de ranuras. Tus consultas se ejecutan dentro de esa capacidad y pagas por esa capacidad de forma continua cada segundo que se implementa. Por ejemplo, si compras 2,000 ranuras de BigQuery, tus consultas en conjunto se limitan al uso de 2,000 CPU virtuales en cualquier momento. Tendrás esta capacidad hasta que la borres y pagarás por 2,000 ranuras hasta que las borres.

Para obtener más información sobre las ranuras y cómo se usan, consulta Información sobre las ranuras.

Cuotas de ranuras

Las cuotas de ranuras proporcionan una protección para BigQuery. El tipo de cuota depende del modelo de precios de las ranuras:

  • Modelo de precios según demanda: la cuota de ranuras por proyecto con capacidad de aumento de actividad transitorio es suficiente para la mayoría de los usuarios. Según tus cargas de trabajo, el acceso a más ranuras puede mejorar el rendimiento de las consultas. Para verificar cuántas ranuras usa tu cuenta, consulta Supervisión de BigQuery.

  • Modelo de precios basado en la capacidad: Las cuotas y los límites de las reservas definen la cantidad máxima de ranuras que puedes comprar en una ubicación. Solo se te facturarán los compromisos y las reservas, no las cuotas.

Si deseas obtener información para aumentar la cuota de tus ranuras, consulta Solicita un aumento de la cuota.

Reservas

Las ranuras se compran, se asignan a los recursos y se asignan a trabajos en grupos llamados reservas. Las reservas te permiten asignar ranuras de formas adecuadas para tu organización. Por ejemplo, puedes crear una reserva llamada prod para las cargas de trabajo de producción y otra llamada test para las pruebas, de modo que los trabajos de prueba no compitan por los recursos de cargas de trabajo de producción. O bien, puedes crear reservas para diferentes departamentos de la organización.

Si compras compromisos de ranuras antes de crear una reserva, se crea una reserva llamada default de forma automática para tu conveniencia. La reserva default no tiene un comportamiento especial. Puedes crear reservas adicionales si es necesario o usar la reserva predeterminada.

Para obtener información sobre los precios, consulta los precios basados en la capacidad y los precios según demanda.

Limitaciones de las reservas

  • Las reservas que creas no se comparten con otras organizaciones.
  • Debes crear una reserva independiente y un proyecto de administración independiente para cada organización.
  • Cada organización puede tener un máximo de 10 proyectos de administración con compromisos activos en una sola ubicación.
  • La capacidad inactiva no se puede compartir entre organizaciones o entre diferentes proyectos de administración dentro de una sola organización.
  • Los compromisos y las reservas son recursos regionales. Los compromisos adquiridos en una o en varias regiones no se pueden usar para reservas en otras regiones ni multirregiones, incluso cuando la ubicación de una sola región se encuentra dentro de la ubicación multirregional. Por ejemplo, no puedes usar un compromiso comprado en la multirregión EU para una reserva en europe-west1.
  • Los compromisos y las reservas no se pueden mover de una región o multirregión a otra.
  • Los compromisos adquiridos en un proyecto de administración no se pueden mover a otro proyecto de administración.
  • Los compromisos adquiridos con una edición no se pueden usar con reservas de otra edición.
  • Las ranuras inactivas no se comparten entre reservas de ediciones diferentes.
  • Las ranuras con ajuste de escala automático no se pueden compartir, ya que reducirán la escala verticalmente cuando ya no sean necesarias.

Asignaciones de reservas

Para usar las ranuras que compres, debes asignar uno o más proyectos, carpetas u organizaciones a una reserva. Una reserva es el nivel más bajo en el que puedes especificar la asignación de ranuras. Cuando se ejecuta un trabajo en un proyecto, usa ranuras de su reserva asignada. Los recursos pueden heredar asignaciones de sus superiores en la jerarquía de recursos. Si un proyecto no está asignado a una reserva, hereda la asignación de la organización o carpeta superior, si la hubiera.

Los proyectos usan la reserva única más específica de la jerarquía de recursos a la que están asignados. Una asignación de carpeta anula una asignación de organización y una asignación de proyecto anula una asignación de carpeta.

Si un proyecto no tiene una reserva asignada o heredada, el trabajo usa precios según demanda. Para obtener más información sobre la jerarquía de recursos, consulta Organiza recursos de BigQuery.

Los recursos se pueden asignar a None para representar la ausencia de una asignación. Los proyectos asignados a None siempre usan los precios según demanda. Un caso de uso común para las asignaciones None es asignar una organización a una reserva y, luego, usar None para inhabilitar ciertos proyectos o carpetas de esa reserva. Para obtener más información, consulta Asigna un proyecto a None.

Cuando creas una asignación, debes especificar el tipo de trabajo para esa asignación:

  • BACKGROUND: Usa esta reserva cuando elijas usar tu propia reserva para ejecutar tus trabajos de administración de índice de búsqueda de BigQuery, trabajos en segundo plano de captura de datos modificados (CDC) de BigQuery o trabajos de caché de metadatos de BigLake. También usa esta reserva cuando repliques las bases de datos de origen en BigQuery con las operaciones de aplicación en segundo plano de Datastream. Las reservas de BACKGROUND no están disponibles en la edición Estándar.

  • CONTINUOUS (versión preliminar): Usa esta reserva para trabajos de consulta continua. Para usar las consultas continuas, debes inscribirte en la vista previa de la función.

  • ML_EXTERNAL: Usa esta reserva para las consultas CREATE MODEL de BigQuery ML que usan servicios externos a BigQuery. Para obtener más información, consulta Asigna ranuras a las cargas de trabajo de BigQuery ML. Las reservas de ML_EXTERNAL no están disponibles en la edición Estándar.

  • PIPELINE: usa esta reserva para los trabajos de carga y extracción.

    De forma predeterminada, los trabajos de carga y de exportación son gratuitos y usan un grupo compartido de ranuras. BigQuery no garantiza la disponibilidad de capacidad para este grupo compartido o la capacidad de procesamiento que observas. Si cargas grandes cantidades de datos, puede que el trabajo deba esperar a que las ranuras estén disponibles. En ese caso, se recomienda comprar ranuras dedicadas y asignarles trabajos de PIPELINE. Como práctica recomendada, crea una reserva dedicada adicional con la opción Ignorar ranuras inactivas habilitada. Para obtener más información sobre las ranuras inactivas, consulta Ranuras inactivas.

    Cuando los trabajos de carga y de extracción se asignan a una reserva, pierden acceso al grupo gratuito. Debes supervisar el uso y los trabajos de recursos para asegurarte de que tus reservas tengan suficiente capacidad para funcionar mejor que usar el grupo gratuito.

  • QUERY: Usa esta reserva para los trabajos de consulta no continuos, incluidas las consultas de SQL, DDL, DML y BigQuery ML.

No puedes distribuir ranuras a asignaciones específicas. El programador de BigQuery controla la distribución de ranuras para las asignaciones en una reserva. Para obtener más información sobre cómo se usan las ranuras, consulta Asignación de ranuras dentro de una reserva.

Comprende la administración de cargas de trabajo

Las reservas de BigQuery son recursos con alcance de la organización que por lo general pertenecen a un proyecto, pero que otros proyectos dentro de la organización pueden usar. Debes comprar reservas de forma centralizada para que se usen en toda la organización. Puedes requerir que los departamentos o divisiones individuales administren sus reservas si compras capacidad comprometida y asignas esa capacidad al departamento o división. El proyecto de administración se asocia con una cuenta de Facturación de Cloud, a la que se le factura la capacidad.

Puedes usar una organización distinta de Google Cloud para cada uno de los departamentos o las divisiones. En esta situación, debes definir un proyecto de administración para cada departamento y administrar las reservas de ese departamento desde el proyecto de administración. No se comparte la capacidad comprometida o inactiva entre organizaciones.

Las ranuras inactivas y sin asignar solo se comparten entre las reservas creadas en el mismo proyecto de administración y dentro de la misma edición. Si usas más de un proyecto de administración, las ranuras no se comparten entre reservas que se encuentran en proyectos de administración diferentes.

Administra cargas de trabajo de la organización

Cuando creas compromisos y reservas, estas se asocian a un proyecto de Google Cloud. Este proyecto administra los recursos de BigQuery Reservations y es su fuente principal de facturación. No es necesario que este proyecto sea el mismo que contiene los trabajos de BigQuery.

Como práctica recomendada, crea un proyecto dedicado para los recursos de Reservations. Este proyecto se conoce como el proyecto de administración, ya que centraliza la facturación y la administración de los compromisos. Otorga a este proyecto un nombre descriptivo como bq-COMPANY_NAME-admin. Luego, crea uno o más proyectos diferentes para conservar los trabajos de BigQuery.

Solo los proyectos dentro del mismo recurso de la organización que el proyecto de administración se pueden asignar a una reserva. Si el proyecto de administración no forma parte de una organización, solo ese proyecto puede usar las ranuras asignadas a ese proyecto.

Al proyecto de administración se le cobra por las ranuras comprometidas. No se facturan las ranuras a los proyectos que usan ranuras de reservas que pertenecen al proyecto de administración. Puedes comprar más de un tipo de plan (por ejemplo, compromisos de uno y tres años) y colocar las ranuras en el mismo proyecto de administración.

Como práctica recomendada, crea un proyecto de administración para todas las reservas. El uso de un solo proyecto de administración simplifica la forma de administrar la facturación y asignar ranuras. Solo debes habilitar la API de BigQuery Reservations en el proyecto de administración para que todos los compromisos se administren a través de este proyecto.

Administración de cargas de trabajo y departamentos

Puedes usar BigQuery Reservations para aislar tu capacidad comprometida entre las cargas de trabajo, los equipos o los departamentos si creas reservas adicionales y asignas proyectos a estas reservas. Una reserva es un grupo aislado de recursos que tiene la ventaja de que puede aprovechar la capacidad inactiva en toda la organización.

Por ejemplo, puedes tener una capacidad comprometida total de 1,000 ranuras y tres tipos de cargas de trabajo: ciencia de datos, IE y ELT.

  • Puedes crear una reserva ds con 500 ranuras y asignar todos los proyectos relevantes de Google Cloud a la reserva ds.
  • Puedes crear una reserva elt con 300 ranuras y asignar los proyectos que usas para cargas de trabajo de ELT a la reserva elt.
  • Puedes crear una reserva bi con 200 ranuras y asignar los proyectos conectados a tus herramientas de BI a la reserva bi.

Borrar compromisos.

En lugar de particionar la capacidad entre las cargas de trabajo, puedes optar por crear reservas para equipos o departamentos individuales.

Administra las reservas en diferentes regiones

Las reservas son un recurso regional. Las ranuras compradas y las reservas creadas en una región no se pueden usar en otra. Las ubicaciones de región única no coinciden con las ubicaciones multirregionales, incluso cuando la ubicación de una sola región se encuentra dentro de la ubicación multirregional. Por ejemplo, no puedes usar una reserva en la multirregión EU para ejecutar un trabajo en europe-west1. Los proyectos, las carpetas y las organizaciones se pueden asignar a las reservas de una región y ejecutar a pedido en otra. Para administrar las reservas en otra región, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página de BigQuery.

    Ir a BigQuery

  2. En el menú de navegación, haz clic en Administración de la capacidad.

  3. En la lista Ubicación, selecciona la región en la que quieres administrar las reservas.

    Después de seleccionar una región, puedes crear reservas, crear compromisos y asignar un proyecto a una reserva.

Compromisos

Un compromiso de capacidad es la compra de ranuras durante un período específico. Las ranuras se pueden comprar en incrementos de 100 ranuras, hasta alcanzar el límite de tu cuota de ranuras. Los compromisos de capacidad son opcionales, pero pueden proporcionar ahorros de costos para las cargas de trabajo de estado estable. No hay límite en la cantidad de compromisos que puedes crear. Se te cobrará desde el momento en que adquieres el compromiso. Para obtener información de los precios actuales, consulta los precios de compromiso de capacidad.

  • Compromiso por tres años. Adquieres un compromiso de tres años. Puedes elegir si deseas renovarlo o convertirlo en un tipo de plan de compromiso diferente después de 3*365 días.

  • Compromiso anual. Adquieres un compromiso de 365 días. Puedes elegir si deseas renovarlo o convertirlo en un tipo de plan de compromiso diferente después de 365 días.

Al final del período de compromiso, este se renovará según el plan de renovación seleccionado.

Se te facturará mensualmente por planes de compromiso anuales o de tres años. Sin embargo, tu compromiso financiero es para todo el período del compromiso y no se puede cancelar mensualmente. El uso se actualiza a diario en el informe de facturación y se puede ver en cualquier momento.

Los compromisos de ranuras están sujetos a la disponibilidad de capacidad. Cuando intentes comprar compromisos de ranuras, no se garantizará el éxito de la compra. Sin embargo, si logras comprar un compromiso, la capacidad estará disponible hasta que venza.

Renueva compromisos

Selecciona un plan de renovación cuando compres un compromiso. Puedes cambiar el plan de renovación de un compromiso en cualquier momento hasta que venza. Los siguientes planes de renovación están disponibles:

  • Ninguno. Una vez finalizado el período compromiso, este se quita. Las reservas no se ven afectadas.
  • Anual. Una vez finalizado el período de compromiso, este se renueva por otro año.
  • Tres años. Una vez finalizado el período de compromiso, este se renueva por otros tres años.

Para obtener información sobre la compra y la renovación de compromisos, consulta Crea un compromiso de capacidad.

Por ejemplo, si compraste un compromiso anual a las 6:00 p.m. el 5 de octubre de 2019, se comenzará a cobrar en ese segundo. Puedes borrar o renovar el compromiso después de las 6:00 p.m. del 4 de octubre de 2020, lo que indica que 2020 es un año bisiesto. Puedes cambiar los planes de renovación antes del 4 de octubre de 2020 a las 6:00 p.m. de la siguiente manera:

  • Si decides renovar tu compromiso a un compromiso anual, el 4 de octubre de 2020 a las 6:00 p.m., tu compromiso se renovará por otro año.
  • Si eliges renovar un compromiso por tres años, el 4 de octubre de 2020 a las 6:00 p.m., tu compromiso se renovará por tres años.

Nota: El proceso de renovación puede tardar hasta una hora después de que venza el compromiso. Por ejemplo, si un compromiso vence a las 6:00 p.m. del 4 de octubre de 2020, el registro del compromiso renovado aparecerá en el sistema entre las 6:00 p.m. y las 7:00 p.m. del 4 de octubre de 2020. No se aplican cargos a pedido durante este período de actualización de datos, ya que la hora de inicio efectiva del compromiso creado es a las 6:00 p.m.

Vencimiento del compromiso

Después de crear un compromiso, se puede borrar solo una vez que venza. Para borrar un compromiso anual o de tres años, establece su plan de renovación en NONE. Una vez que venza el compromiso, se borra de forma automática. Para obtener más información sobre los vencimientos de compromisos, consulta Vencimiento de compromisos.

Si compras un compromiso de forma accidental o cometiste un error cuando lo configuraste, comunícate con la Asistencia de Facturación de Cloud para obtener ayuda.

¿Qué sigue?