Puedes ver gráficos de supervisión de ajuste de escala automático para trabajos de transmisión dentro de la interfaz de supervisión de Dataflow. Estos gráficos muestran métricas sobre la duración de un trabajo de canalización e incluyen la siguiente información:
- La cantidad de instancias de trabajador que usa tu trabajo en un momento determinado
- Archivos de registro con ajuste de escala automático
- El trabajo pendiente estimado en el tiempo
- Uso de CPU promedio en el tiempo
Los gráficos se alinean verticalmente para que puedas correlacionar las métricas de trabajos pendientes y uso de CPU con eventos de escalamiento del trabajador.
Para obtener más información sobre cómo Dataflow toma decisiones de ajuste de escala automático, consulta la documentación Características de ajuste automático. Para obtener más información sobre la supervisión y las métricas de Dataflow, consulta Usa la interfaz de supervisión de Dataflow.
Accede a los gráficos de supervisión del ajuste de escala automático
Puedes acceder a la interfaz de supervisión de Dataflow mediante la consola de Google Cloud. Para acceder a la pestaña de métricas de Ajuste de escala automático (Autoscaling), sigue estos pasos:
- Accede a la consola de Google Cloud.
- Selecciona tu proyecto de Google Cloud.
- Abre el Menú de navegación.
- En Analytics, haz clic en Dataflow. Aparecerá una lista de trabajos de Dataflow junto con su estado.
- Haz clic en el trabajo que deseas supervisar y, luego, en la pestaña Ajuste de escala automático (Autoscaling).
Supervisa las métricas del ajuste de escala automático
El servicio de Dataflow elige automáticamente la cantidad de instancias de trabajadores necesarias para ejecutar el trabajo de ajuste de escala automático. La cantidad de instancias de trabajador puede variar con el tiempo según los requisitos del trabajo.
Puedes ver las métricas del ajuste de escala automático en la pestaña Ajuste de escala automático (Autoscaling) de la interfaz de Dataflow. Cada métrica se organiza en los siguientes gráficos:
La barra de acciones de ajuste de escala automático muestra el estado del ajuste de escala automático actual y el recuento de trabajadores.
Ajuste de escala automático
En el gráfico Ajuste de escala automático, se muestra un grafo de series temporales de la cantidad actual de trabajadores, la cantidad objetivo de trabajadores y la cantidad mínima y máxima de trabajadores.
Para ver los registros de ajuste de escala automático, haz clic en Show autoscaling logs.
Para ver el historial de los cambios del ajuste de escala automático, haz clic en Más historial (More History). Se muestra una tabla con información sobre el historial de trabajadores de tu canalización. El historial incluye eventos de ajuste de escala automático, incluida la cantidad de trabajadores que alcanzó el recuento mínimo o máximo de trabajadores.
Lógica del ajuste de escala automático (solo para Streaming Engine)
En el gráfico Justificación del ajuste de escala automático, se muestra por qué el escalador escaló verticalmente, redujo la escala o no realizó ninguna acción durante un período determinado.
Para ver una descripción de la lógica en un punto específico, mantén el puntero sobre el gráfico.
En la siguiente tabla, se enumeran las acciones de escalamiento y los posibles motivos de escalamiento.
| Acción de ajuste de escala | Razones | Descripción |
|---|---|---|
| Sin cambios en el ajuste de escala | Recopilar más datos para tomar decisiones | El escalador automático no tiene suficientes señales para escalar verticalmente o reducir la escala. Por ejemplo, el estado del grupo de trabajadores cambió recientemente; o las métricas de trabajo pendiente o de uso fluctúan. |
| Sin cambios en el escalamiento, señales estables | Se alcanzó el límite no relacionado con los recursos | El escalamiento está restringido por un límite como el paralelismo de claves o los trabajadores mínimos y máximos configurados. |
| Poco trabajo pendiente y alto uso de trabajadores | El ajuste de escala automático de la canalización convergió a un valor estable dado el tráfico y la configuración actuales. No es necesario realizar cambios en el escalamiento. | |
| Escalamiento vertical | Tareas pendientes | Escalamiento vertical para reducir las tareas pendientes. |
| Uso alto de trabajadores | Escalamiento vertical para lograr el uso de CPU objetivo | |
| Se alcanzó un límite no relacionado con los recursos. | Se actualizó la cantidad mínima de trabajadores y la cantidad actual de trabajadores es inferior a la mínima configurada. | |
| Reducción de escala | Poco uso de trabajadores | Reducción vertical de la escala para lograr el uso objetivo de CPU |
| Se alcanzó un límite no relacionado con los recursos. | Se actualizó la cantidad máxima de trabajadores y la cantidad actual de trabajadores es superior al máximo configurado. |
Uso de CPU de trabajadores
El uso de la CPU es la cantidad de CPU utilizada dividida por la cantidad de CPU disponible para el procesamiento. En el gráfico Uso de CPU medio, se muestra el uso de CPU promedio de todos los trabajadores a lo largo del tiempo, la sugerencia de uso de trabajador y si Dataflow usó el valor de forma activa. sugerencia como objetivo.
Tareas pendientes (solo Streaming Engine)
En el gráfico Maximum backlog, se proporciona información sobre los elementos que se deben procesar. En el gráfico, se muestra una estimación de la cantidad de tiempo en segundos necesarios para consumir las tareas pendientes actuales si no llegan datos nuevos y la capacidad de procesamiento no cambia. El tiempo estimado de tareas pendientes se calcula a partir de la capacidad de procesamiento y los bytes de tareas pendientes de la fuente de entrada que aún se deben procesar. La función de ajuste de escala automático de transmisión usa esta métrica para determinar cuándo escalar o reducir la escala verticalmente.
Los datos de este gráfico solo están disponibles para los trabajos que usan Streaming Engine. Si tu trabajo de transmisión no usa Streaming Engine, el gráfico está vacío.
Recomendaciones
Estos son algunos comportamientos que podrías observar en la canalización y recomendaciones para ajustar los parámetros de ajuste de escala automático:
Reducción vertical excesiva de la escala. Si el uso de CPU objetivo es demasiado alto, es posible que veas un patrón en el que Dataflow reduce la escala verticalmente, las tareas pendientes comienzan a crecer y Dataflow vuelve a escalar verticalmente para compensar, en lugar de converger en una cantidad estable de trabajadores. Para mitigar este problema, intenta configurar una sugerencia de uso de trabajadores más baja. Observa el uso de CPU en el punto en el que las tareas pendientes comienzan a crecer y establece la sugerencia de uso en ese valor.
Escalamiento demasiado lento. Si el escalamiento vertical es demasiado lento, es posible que se retrase con los aumentos repentinos de tráfico, lo que da como resultado períodos de mayor latencia. Intenta reducir la sugerencia de uso de trabajador para que Dataflow escale verticalmente más rápido. Observa el uso de CPU en el punto en que las tareas pendientes comienzan a crecer y establece la sugerencia de uso en ese valor. Supervisa la latencia y el costo, ya que un valor de sugerencia más bajo puede aumentar el costo total de la canalización, si se aprovisionan más trabajadores.
Escalamiento vertical excesivo. Si observas un escalamiento vertical excesivo, lo que genera un aumento en el costo, considera aumentar la sugerencia de uso de trabajadores. Supervisa la latencia a fin de asegurarte de que se mantenga dentro de los límites aceptables para tu situación.
Cuando experimentes con un valor de sugerencia de uso de trabajador nuevo, espera unos minutos para que la canalización se estabilice después de cada ajuste.
¿Qué sigue?
- Afina el ajuste de escala automático horizontal para canalizaciones de transmisión
- Soluciona problemas de ajuste de escala automático de Dataflow