Descripción general de la herramienta de escalador automático

En esta página, se presenta la herramienta Escalador automático para Spanner (escalador automático), una herramienta de código abierto que puedes usar como herramienta complementaria de Spanner. Esta herramienta te permite aumentar o reducir de forma automática la capacidad de procesamiento en una o más instancias de Spanner según la capacidad en uso.

Para obtener más información sobre el escalamiento en Spanner, consulta Ajuste de escala automático de Spanner. Para obtener información sobre cómo implementar la herramienta Escalador automático, consulta los siguientes vínculos:

En esta página, se presentan las funciones, la arquitectura, la configuración y las topologías de implementación del escalador automático. Los temas que continúan en esta serie te guiarán a través de la implementación del Escalador automático en cada una de las topologías.

Escalador automático

La herramienta Escalador automático es útil para administrar el uso y el rendimiento de tus implementaciones de Spanner. Para ayudarte a equilibrar el control de costos con las necesidades de rendimiento, la herramienta Escalador automático supervisa tus instancias y agrega o quita nodos o unidades de procesamiento de forma automática para garantizar que se mantengan dentro de los siguientes parámetros:

El ajuste de escala automático de las implementaciones de Spanner permite que la infraestructura se adapte y escale de forma automática para cumplir con los requisitos de carga con poca o ninguna intervención. El ajuste de escala automático también aplica un tamaño adecuado a la infraestructura aprovisionada, lo que puede ayudarte a reducir costos.

Arquitectura

En esta sección, se describen los componentes del escalador automático y sus respectivos propósitos con más detalle.

La arquitectura de la herramienta de escalador automático consta de Cloud Scheduler, dos temas de Pub/Sub, dos Cloud Functions y Firestore. La API de Cloud Monitoring se usa con el fin de obtener métricas de uso de CPU y almacenamiento para las instancias de Spanner.

Cloud Scheduler

Con Cloud Scheduler, defines la frecuencia con la que la herramienta de ajuste de escala automático verifica los umbrales de las métricas de escalamiento de las instancias de Spanner. Un trabajo de Cloud Scheduler puede verificar una o varias instancias al mismo tiempo. Puedes definir tantos programas de trabajos como necesites.

Función de sondeo de Cloud Functions

La función de sondeo de Cloud Functions es responsable de recopilar y procesar las métricas de series temporales para una o más instancias de Spanner. La herramienta de sondeo procesa previamente los datos de las métricas para cada instancia de Spanner, de modo que solo se evalúen los datos más relevantes y se envíen a la función de ajuste de escala de Cloud Functions. El procesamiento previo que realiza la función de sondeo de Cloud Functions también simplifica el proceso de evaluación de umbrales para instancias regionales y multirregionales de Spanner.

Cloud Functions de escalamiento

Cloud Function de escalador evalúa los datos recibidos de la función de sondeo de Cloud Functions y determina si necesitas ajustar la cantidad de nodos o unidades de procesamiento y, si es así, en qué medida. La Cloud Function compara los valores de las métricas con el umbral, más o menos un margen permitido, y ajusta la cantidad de nodos o unidades de procesamiento según el método de escalamiento configurado. Para obtener más detalles sobre los métodos de escalamiento, consulta Funciones del escalador automático.

Flujo operativo

En esta sección, se detalla el modelo operativo de la herramienta Escalador automático, como se muestra en el siguiente diagrama de la arquitectura.

Modelo operativo del escalador automático.

  1. Tú defines la programación, la hora y la frecuencia de tus trabajos de ajuste de escala automático en Cloud Scheduler.
  2. Según el programa que defines, Cloud Scheduler envía un mensaje que contiene una carga útil de JSON con los parámetros de configuración de la herramienta Escalador automático para una o más instancias de Spanner al tema de Pub/Sub de sondeo.
  3. Cuando el mensaje se publica en el tema de sondeo, se crea una instancia de la función de sondeo de Cloud Functions para manejar el mensaje.
  4. La función de sondeo de Cloud Functions lee la carga útil del mensaje y consulta la API de Cloud Monitoring para recuperar las métricas de uso de cada instancia de Spanner.
  5. Para cada instancia de Spanner enumerada en el mensaje, la función de sondeo envía un mensaje al tema Escalamiento de Pub/Sub, que contiene las métricas y los parámetros de configuración para evaluar la instancia específica de Spanner.
  6. Para cada mensaje enviado al tema Escalador, la Cloud Function hace lo siguiente:

    1. Compara las métricas de la instancia de Spanner con los umbrales configurados, más o menos un margen configurable.

    Puedes configurar el margen por tu cuenta o usar el valor predeterminado. 1. Determina si se debe escalar la instancia. 1. Calcula la cantidad de nodos o unidades de procesamiento a las que se debe escalar la instancia según el método de escalamiento elegido.

  7. La función de escalador de Cloud Functions recupera la hora en la que la instancia se escaló por última vez desde Firestore y la compara con la hora actual para determinar si se permite el escalamiento vertical según los períodos de inactividad.

  8. Si ya pasó el período de inactividad configurado, la función de ajuste de escala automático de Cloud Functions envía una solicitud a la instancia de Spanner para escalar verticalmente o reducir la escala.

Durante el flujo, la herramienta de escalador automático escribe un resumen de sus recomendaciones y acciones en Cloud Logging para realizar un seguimiento y realizar auditorías.

Sin importar la topología de implementación que elijas, el funcionamiento general de la herramienta Escalador automático sigue siendo el mismo.

Funciones del escalador automático

En esta sección, se describen las funciones principales de la herramienta Escalador automático.

Administra varias instancias

La herramienta Escalador automático puede administrar varias instancias de Spanner en varios proyectos. Las instancias multirregionales y regionales también tienen diferentes umbrales de uso que se usan cuando se escala. Por ejemplo, las implementaciones multirregionales escalan con un uso de CPU de prioridad alta del 45%, mientras que las implementaciones regionales se escalan con un uso de CPU de prioridad alta del 65%, más o menos un margen permitido. Para obtener más información sobre los diferentes umbrales de escalamiento, consulta Alertas de uso de CPU alto.

Parámetros de configuración independientes

Cada instancia de Spanner con ajuste de escala automático puede tener uno o más programas de sondeo. Cada programa de sondeo tiene su propio conjunto de parámetros de configuración.

Estos parámetros determinan los siguientes factores:

  • La cantidad mínima y máxima de nodos o unidades de procesamiento que controlan lo pequeña o grande que puede ser tu instancia, lo que te ayuda a controlar los costos.
  • El método de escalamiento que se usa para ajustar la instancia de Spanner específica a la carga de trabajo.
  • Los períodos de inactividad para permitir que Spanner administre las divisiones de datos.

Distintos métodos de escalamiento para diferentes cargas de trabajo

La herramienta Escalador automático proporciona tres métodos de escalamiento diferentes para aumentar y reducir la escala de tus instancias de Spanner: gradual, lineal y directo. Cada método está diseñado para admitir diferentes tipos de cargas de trabajo. Puedes aplicar uno o más métodos a cada instancia de Spanner en la que se realiza el ajuste de escala automático cuando creas programas de sondeo independientes.

Paso a paso

El escalamiento gradual es útil para cargas de trabajo que tienen picos pequeños o múltiples. Aprovisiona capacidad para suavizarlos todos con un solo evento de ajuste de escala automático.

En el siguiente gráfico, se muestra un patrón de carga con varias plataformas o pasos de carga, en el que cada paso tiene varios picos pequeños. Este patrón es adecuado para el método gradual.

Patrón de carga con varios pasos.

Cuando se supera el umbral de carga, este método aprovisiona y quita nodos o unidades de procesamiento mediante un número fijo pero configurable. Por ejemplo, se agregan o quitan tres nodos para cada acción de escalamiento. Si cambias la configuración, puedes permitir que se agreguen o quiten incrementos más grandes de capacidad en cualquier momento.

Lineal

El escalamiento lineal se usa mejor con patrones de carga que cambian de manera más gradual o tienen algunos picos grandes. Con el método, se calcula la cantidad mínima de nodos o unidades de procesamiento necesarios para mantener el uso por debajo del umbral de escalamiento. La cantidad de nodos o unidades de procesamiento que se agregan o quitan en cada evento de escalamiento no se limita a una cantidad de pasos fija.

En el patrón de carga de muestra del siguiente gráfico, se muestran mayores aumentos y disminuciones repentinos en la carga. Estas fluctuaciones no se agrupan en pasos perceptibles como en el gráfico anterior. Este patrón se maneja con mayor facilidad mediante el escalamiento lineal.

Patrón de carga con fluctuaciones.

La herramienta Escalador automático usa la proporción del uso observado sobre el umbral de uso para calcular si se deben agregar o quitar nodos o unidades de procesamiento de la cantidad total actual.

La fórmula para calcular la cantidad nueva de nodos o unidades de procesamiento es la siguiente:

newSize = currentSize * currentUtilization / utilizationThreshold

Direct

El escalamiento directo proporciona un aumento inmediato de capacidad. Este método está diseñado para admitir cargas de trabajo por lotes en las que se requiere un recuento de nodos predeterminado más alto de forma periódica en un programa con hora de inicio conocida. Este método escala la instancia hasta la cantidad máxima de nodos o unidades de procesamiento especificadas en el programa y está diseñado para usarse junto con un método lineal o paso a paso.

En el siguiente gráfico, se muestra el gran aumento planificado en la carga con capacidad aprovisionada de manera previa del escalador automático para usar el método directo.

Patrón de carga con ajuste de escala directo aprovisionado de forma previa

Una vez que se completa la carga de trabajo por lotes y el uso vuelve a los niveles normales, según la configuración, se aplica un escalamiento lineal o gradual para reducir la escala de la instancia de forma automática.

Métodos de implementación

La herramienta de escalador automático se puede implementar en un proyecto individual o junto con las instancias de Spanner que administra. La herramienta Escalador automático está diseñada para permitir la flexibilidad y puede adaptarse a la separación existente de responsabilidades entre los equipos de operación y de aplicación. La responsabilidad de configurar el ajuste de escala automático de las instancias de Spanner puede centralizarse con un solo equipo de operaciones o distribuirse a los equipos que estén más cerca de las aplicaciones que entregan esas instancias de Spanner.

Los diferentes modelos de implementación se analizan con más detalle en Topologías de implementación.

Plataforma sin servidores para facilitar la implementación y la administración

La herramienta Escalador automático se compila solo con herramientas de Google Cloud sin servidores y de baja administración, como Cloud Functions, Pub/Sub, Cloud Scheduler y Firestore. Con este enfoque, se minimiza el costo y la sobrecarga operativa de ejecutar la herramienta Escalador automático.

Mediante el uso de las herramientas integradas de Google Cloud, la herramienta Escalador automático puede aprovechar al máximo IAM (IAM) para la autenticación y la autorización.

Configuración

La herramienta de escalador automático tiene diferentes opciones de configuración que puedes usar para administrar el escalamiento de tus implementaciones de Spanner. En las siguientes secciones, se describen las opciones de configuración base y las opciones de configuración más avanzadas.

Configuración básica

La herramienta Escalador automático administra las instancias de Spanner mediante la configuración definida en Cloud Scheduler. Si es necesario sondear varias instancias de Spanner con el mismo intervalo, te recomendamos que las configures en el mismo trabajo de Cloud Scheduler. La configuración de cada instancia se representa como un objeto JSON. El siguiente es un ejemplo de una configuración en la que dos instancias de Spanner se administran con un trabajo de Cloud Scheduler:

   [
    {
        "projectId": "my-spanner-project", "instanceId": "spanner1",
        "scalerPubSubTopic": "projects/my-spanner-project/topics/spanner-scaling",
        "units": "NODES", "minSize": 1, "maxSize": 3
     },
     {
        "projectId":
        "different-project", "instanceId": "another-spanner1", "scalerPubSubTopic":
        "projects/my-spanner-project/topics/spanner-scaling", "units":
        "PROCESSING_UNITS", "minSize": 500, "maxSize": 3000, "scalingMethod": "DIRECT"
    }
   ]

Las instancias de Spanner pueden tener varios parámetros de configuración en diferentes trabajos de Cloud Scheduler. Por ejemplo, una instancia puede tener una configuración de escalador automático con el método lineal para operaciones normales, pero también tiene otra configuración de escalador automático con el método directo para cargas de trabajo por lotes planificadas.

Cuando se ejecuta el trabajo de Cloud Scheduler, se envía un mensaje de Pub/Sub al tema de sondeo de Pub/Sub. La carga útil de este mensaje es el arreglo JSON de los objetos de configuración para todas las instancias configuradas en el mismo trabajo. Consulta la lista completa de opciones de configuración en el archivo README de sondeo.

Configuración avanzada

La herramienta de escalador automático tiene opciones de configuración avanzadas que te permiten controlar con mayor precisión cuándo y cómo se administran las instancias de Spanner. En las siguientes secciones, se presenta una selección de estos controles.

Límites personalizados

La herramienta de escalador automático determina la cantidad de nodos o unidades de procesamiento que se agregarán o quitarán de una instancia mediante los umbrales recomendados de Spanner para las siguientes métricas de carga:

  • CPU de alta prioridad
  • CPU promedio móvil de 24 horas
  • Uso de almacenamiento

Te recomendamos que uses los umbrales predeterminados como se describe en Crea alertas para las métricas de Spanner. Sin embargo, en algunos casos, es posible que desees modificar los umbrales que usa la herramienta Escalador automático. Por ejemplo, puedes usar umbrales más bajos para hacer que la herramienta Escalador automático reaccione con mayor rapidez que con umbrales más altos. Esta modificación ayuda a evitar que las alertas se activen en umbrales más altos.

Métricas personalizadas

Si bien las métricas predeterminadas de la herramienta de escalador automático abordan la mayoría de las situaciones de rendimiento y escalamiento, hay algunas instancias en las que es posible que debas especificar tus propias métricas que se usan para determinar cuándo escalar o reducir la escala. Para estas situaciones, defines métricas personalizadas en la configuración con la propiedad metrics.

Márgenes

Un margen define un límite superior y uno inferior alrededor del umbral. La herramienta Escalador automático solo activa un evento de ajuste de escala automático si el valor de la métrica es mayor o menor que el límite inferior.

El objetivo de este parámetro es evitar que los eventos de ajuste de escala automático se activen para fluctuaciones pequeñas de la carga de trabajo alrededor del umbral, lo que reduce la cantidad de fluctuación en las acciones del escalador automático. El umbral y el margen juntos definen el siguiente rango, según lo que desees que sea el valor de la métrica:

[threshold - margin, threshold + margin]
Cuanto más pequeño sea el margen, más estrecho será el rango, lo que generará una mayor probabilidad de que se active un evento de ajuste de escala automático.

Especificar un parámetro de margen para una métrica es opcional y tiene un valor predeterminado de cinco puntos porcentuales tanto antes como debajo del parámetro.

Topologías de implementación

Para implementar la herramienta Escalador automático, decide cuál de las siguientes topologías es la mejor para satisfacer tus necesidades técnicas y operativas:

  • Topología por proyecto: La infraestructura del escalador automático se implementa en el mismo proyecto que Spanner que debe tener ajuste de escala automático.
  • Topología centralizada: La herramienta de escalador automático se implementa en un proyecto y administra una o más instancias de Spanner en diferentes proyectos.
  • Topología distribuida: la mayor parte de la infraestructura del Escalador automático se implementa en un proyecto, pero algunos componentes de la infraestructura se implementan con las instancias de Spanner con ajuste de escala automático en proyectos diferentes.

Topología por proyecto

En una implementación de topología por proyecto, cada proyecto con una instancia de Spanner que necesita ajuste de escala automático también tiene su propia implementación independiente de los componentes del escalador automático. Recomendamos esta topología para equipos independientes que desean administrar su propia infraestructura y configuración del escalador automático. También es un buen punto de partida para probar las capacidades de la herramienta Escalador automático.

En el siguiente diagrama, se muestra una vista conceptual de alto nivel de una implementación por proyecto.

Implementación conceptual por proyecto

Las implementaciones por proyecto que se muestran en el diagrama anterior tienen las siguientes características:

  • Dos aplicaciones, Application 1 y Application 2, usan sus propias instancias de Spanner.
  • Las instancias de Spanner (A) se encuentran en los proyectos de Application 1 y Application 2 respectivos.
  • Se implementa un Escalador automático (B) independiente en cada proyecto para controlar el ajuste de escala automático de las instancias dentro de un proyecto.

Para obtener un diagrama más detallado de una implementación por proyecto, consulta la sección Arquitectura.

Una implementación por proyecto tiene las siguientes ventajas y desventajas.

Ventajas:

  • Diseño más simple: la topología por proyecto es el diseño más simple de las tres topologías, ya que todos los componentes del escalador automático se implementan junto con las instancias de Spanner con ajuste de escala automático.
  • Configuración: El control sobre los parámetros del programador pertenece al equipo propietario de la instancia de Spanner, lo que le brinda más libertad al equipo para adaptar la herramienta del escalador automático a sus necesidades que una topología centralizada o distribuida.
  • Límite claro de la responsabilidad de la infraestructura: el diseño de una topología por proyecto establece un límite claro de responsabilidad y seguridad en la infraestructura del escalador automático, debido a que el propietario del equipo de las instancias de Spanner también es el propietario de la infraestructura del escalador automático.

Desventajas:

  • Más mantenimiento general: Cada equipo es responsable de la infraestructura y la configuración del escalador automático, por lo que puede ser difícil asegurarse de que todas las herramientas del escalador automático de la empresa sigan los mismos lineamientos de actualización.
  • Auditoría más compleja: debido a que cada equipo tiene un alto nivel de control, una auditoría centralizada puede volverse más compleja.

Para obtener información sobre cómo configurar el escalador automático con una topología por proyecto, consulta Implementa una herramienta de escalador automático centralizada o por proyecto para Spanner.

Topología centralizada

Al igual que en la topología por proyecto, en una implementación de topología centralizada, todos los componentes de la herramienta Escalador automático residen en el mismo proyecto. Sin embargo, las instancias de Spanner se encuentran en proyectos diferentes. Esta implementación es adecuada para un equipo que administra la configuración y la infraestructura de varias instancias de Spanner desde una sola implementación de la herramienta de escalador automático en un lugar central.

En el siguiente diagrama, se muestra una vista conceptual de alto nivel de una implementación de proyecto centralizado:

Implementación conceptual de proyecto centralizado

La implementación centralizada que se muestra en el diagrama anterior tiene las siguientes características:

  • Dos aplicaciones, Application 1 y Application 2, usan sus propias instancias de Spanner.
  • Las instancias de Spanner (A) están en los proyectos de Application 1 y Application 2 respectivos.
  • El escalador automático (B) se implementa en un proyecto separado para controlar el ajuste de escala automático de las instancias de Spanner en los proyectos Application 1 y Application 2.

Para obtener un diagrama más detallado de una implementación centralizada de un proyecto, consulta Implementa una herramienta de escalador automático centralizada o por proyecto para Spanner.

Una implementación centralizada tiene las siguientes ventajas y desventajas.

Ventajas:

  • Infraestructura y configuración centralizadas: un solo equipo controla los parámetros del programador y la infraestructura del escalador automático. Este enfoque puede ser útil en industrias muy reguladas.
  • Menos mantenimiento general: El mantenimiento y la configuración suelen implicar menos esfuerzo en comparación con una implementación por proyecto.
  • Políticas y auditoría centralizadas: las prácticas recomendadas entre los equipos pueden ser más fáciles de especificar y aplicar. Es posible que las auditorías sean más fáciles de ejecutar.

Desventajas:

  • Configuración centralizada: Cualquier cambio en los parámetros del escalador automático debe pasar por el equipo centralizado, aunque el equipo que solicita el cambio sea propietario de la instancia de Spanner.
  • Posibilidad de riesgo adicional: El equipo centralizado podría convertirse en un punto único de fallo, incluso si la infraestructura del escalador automático está diseñada con la alta disponibilidad en mente.

Si deseas obtener un instructivo paso a paso para configurar la herramienta del escalador automático con esta opción, consulta Implementa un escalador automático por proyecto o centralizado para Spanner.

Topología distribuida

En una implementación de topología distribuida, las instancias de Cloud Scheduler y Spanner que necesitan ajuste de escala automático residen en el mismo proyecto. Los componentes restantes de la herramienta Escalador automático residen en un proyecto administrado de forma central. Esta implementación es híbrida. Los equipos que son propietarios de las instancias de Spanner administran solo los parámetros de configuración del escalador automático para sus instancias, y un equipo central administra la infraestructura restante del escalador automático.

En el siguiente diagrama, se muestra una vista conceptual de alto nivel de una implementación de proyecto distribuido.

Implementación conceptual de proyecto distribuido.

La implementación híbrida que se muestra en el diagrama anterior tiene las siguientes características:

  • Dos aplicaciones, Application 1 y Application 2, usan sus propias instancias de Spanner.
  • Las instancias de Spanner (A) están en los proyectos de aplicación 1 y aplicación 2.
  • Se implementa un componente independiente de Cloud Scheduler (C) en cada proyecto: Application 1 y Application 2.
  • Los componentes restantes del escalador automático (B) se implementan en un proyecto independiente.
  • La herramienta Escalador automático escala automáticamente las instancias de Spanner en los proyectos de Aplicación 1 y Aplicación 2 mediante la configuración que envían los componentes independientes de Cloud Scheduler en cada proyecto.

Para obtener un diagrama más detallado de la implementación centralizada del proyecto, consulta Implementa una herramienta de escalador automático distribuido para Spanner.

Una implementación distribuida tiene las siguientes ventajas y desventajas.

Ventajas:

  • Los equipos de aplicaciones controlan la configuración y los programas: Cloud Scheduler se implementa junto con las instancias de Spanner con ajuste de escala automático, lo que brinda a los equipos de aplicaciones más control sobre la configuración y la programación.
  • El equipo de operaciones controla la infraestructura: Los componentes principales de la herramienta de ajuste de escala automático se implementan de forma centralizada para que los equipos de operaciones controlen la infraestructura del escalador automático.
  • Mantenimiento centralizado: La infraestructura del escalador automático está centralizada, lo que reduce la sobrecarga.

Desventajas:

  • Configuración más compleja: Los equipos de aplicaciones deben proporcionar cuentas de servicio para escribir en el tema de sondeo.
  • Posibilidad de riesgo adicional: La infraestructura compartida puede convertirse en un punto único de fallo, incluso si la infraestructura se diseñó con la alta disponibilidad en mente.

Para aprender a configurar la herramienta de escalador automático en una implementación distribuida, consulta Implementa una herramienta de escalador automático distribuido para Spanner.

Divisiones de datos

Spanner asigna rangos de datos llamados divisiones a los nodos o subdivisiones de un nodo, llamados unidades de procesamiento. El nodo o las unidades de procesamiento administran y entregan los datos de forma independiente en las divisiones repartidas. Las divisiones de datos se crean en función de varios factores, incluidos el volumen de datos y los patrones de acceso. Para obtener más detalles, consulta Spanner: esquema y modelo de datos.

Los datos se organizan en divisiones y Spanner las administra de forma automática. Por lo tanto, cuando la herramienta de escalador automático agrega o quita nodos o unidades de procesamiento, debe permitir que el backend de Spanner tenga tiempo suficiente para reasignar y reorganizar las divisiones a medida que se agrega o quita capacidad nueva de las instancias.

La herramienta de escalador automático usa períodos de inactividad en los eventos de escalamiento vertical y reducción de escala para controlar la rapidez con la que puede agregar o quitar nodos o unidades de procesamiento de una instancia. Este método le da a la instancia el tiempo necesario para reorganizar las relaciones entre notas de procesamiento o unidades de procesamiento y divisiones de datos. De forma predeterminada, los períodos de escalamiento vertical y reducción de escala se establecen en los siguientes valores mínimos:

  • Valor de escalamiento vertical: 5 minutos
  • Valor de reducción de escala: 30 minutos

Para obtener más información sobre las recomendaciones de escalamiento y los períodos de inactividad, consulta Escala instancias de Spanner.

Costos

El consumo de recursos de la herramienta de escalador automático es mínimo, por lo que en la mayoría de los casos de uso los costos son insignificantes. Cuando se usa el escalador automático en Google Cloud, no hay costo. Por ejemplo, la ejecución de una herramienta de escalador automático para administrar 3 instancias de Spanner con un intervalo de sondeo de 5 minutos para cada instancia está disponible sin costo. Esta estimación incluye lo siguiente:

  • 3 trabajos de Cloud Scheduler
  • 0.15 GB de mensajes de Pub/Sub
  • 51840 invocaciones de Cloud Functions de 500 ms
  • Menos de 10 MB de datos en Firestore

La estimación no incluye los costos operativos de la base de datos de Spanner. Usa la calculadora de precios para generar una estimación de los costos según el uso previsto.

¿Qué sigue?