Límites de ráfaga

En este documento, se describen los límites de aumento repentino que se aplican a los recursos de Google Security Operations, específicamente el volumen de datos que un solo cliente puede transferir a Google SecOps. Los límites de ráfaga restringen los recursos de uso que comparten todos los clientes:

  • Es el límite superior de la cantidad de transferencia de datos que puede usar un solo cliente. Esto garantiza que una afluencia repentina de datos de un solo cliente no afecte a otros.
  • Supervisa el uso de recursos compartidos de cada cliente.
  • Mantiene las configuraciones que aplican automáticamente los límites de aumento repentino.
  • Proporciona un medio para solicitar o hacer cambios en los límites de ráfaga.

En el caso de la protección contra sobretensiones, el límite de aumento se mide en períodos de 5 minutos. No es un límite de transferencia diaria.

Aumento del límite de ráfaga por cliente

Si deseas aumentar rápidamente tu tasa de transferencia, podemos ayudarte a planificar con anticipación y asegurarnos de que la transferencia de datos siga siendo estable. Para solicitar un aumento en el límite de aumento repentino, comunícate con el equipo de asistencia técnica de SecOps de Google con anticipación.

Descripción general de los límites de ráfagas

Los límites de ráfaga restringen la cantidad de datos que un cliente puede enviar a Google SecOps. Esto garantiza la equidad y evita los impactos en otros clientes debido a los aumentos repentinos de transferencia de cualquier cliente. Los límites de aumento repentino garantizan que la transferencia de datos de clientes funcione sin problemas y se pueda ajustar de forma proactiva mediante un ticket de asistencia. Para aplicar límites de aumento repentino, Google SecOps usa las siguientes clasificaciones según el volumen de transferencia:

Límite de ráfaga Datos equivalentes anuales con el límite máximo de ráfaga por segundo
20 MBps 600 TB
88 MBps 2.8 PB
350 MBps 11 PB
886 MBps 28 PB
2.6 GBps 82 PB

Se aplican los siguientes lineamientos a los límites de ráfaga:

  • Cuando se alcanza el límite de aumento repentino, las fuentes de transferencia configuradas correctamente deben almacenar en búfer los datos adicionales. No deben configurarse para descartar los datos.

    • En el caso de la transferencia basada en la extracción, como Google Cloud y los feeds de API, la transferencia se almacena en búfer automáticamente y no requiere configuración adicional.
    • Para los métodos de transferencia basados en el envío de datos, como los reenvío, los webhooks y la transferencia de API, configura los sistemas para que reenvíen los datos automáticamente cuando se alcance el límite de aumento repentino. En el caso de sistemas como Bindplane y Cribl, configura el almacenamiento en búfer para controlar el desbordamiento de datos de manera eficiente.

  • Puedes aumentarlo antes de alcanzar el límite de ráfaga.

  • Para determinar si estás cerca del límite de ráfaga, consulta Cómo ver el uso del límite de ráfaga.

Consulta el uso del límite de ráfaga

Puedes ver el uso del límite de ráfaga con Google SecOps o Cloud Monitoring.

Usa el panel de Google SecOps para ver tus límites de ráfaga

Para ver el uso del límite, usa las siguientes visualizaciones en el panel Data Ingestion and Health de Google SecOps:

  • Gráfico de límite de transferencia: Muestra la tasa de transferencia en comparación con el límite por segundo.
  • Gráfico de rechazo de ráfagas: Muestra el volumen de los registros que se rechazaron por exceder el límite de ráfagas.

Para ver las visualizaciones Burst Limit Graph y Burst Rejection Graph, haz lo siguiente:

  1. En el menú de Google SecOps, selecciona Paneles.

  2. En la sección Paneles predeterminados, selecciona Transferencia de datos y estado.

    En el panel Data Ingestion and Health que aparece, puedes ver las visualizaciones de Burst Limit Graph y Burst Rejection Graph.

Usa Cloud Monitoring para ver los límites de aumento repentino

Para ver los límites de ráfaga de Google SecOps en la Google Cloud consola, necesitas los mismos permisos que para cualquier Google Cloud límite. Para obtener más información, consulta Otorga acceso a Cloud Monitoring.

Para obtener información sobre cómo ver métricas con gráficos, consulta Crea gráficos con el Explorador de métricas.

Para ver el uso del límite de ráfaga, usa la siguiente consulta de PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Para ver la cantidad de bytes que se rechazaron después de exceder el límite de ráfaga, usa la siguiente consulta de PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Para crear una alerta cuando los bytes transferidos superen el 70% del límite de aumento repentino, usa la siguiente consulta de PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Almacena datos en búfer en la fuente de transferencia

En la siguiente tabla, se describe la configuración necesaria para almacenar en búfer (en lugar de descartar) los datos de tu empresa según la fuente de transferencia.

Fuente de transferencia Configuración de almacenamiento en búfer
Google Cloud y feeds de la API de Chronicle Se proporciona almacenamiento en búfer automáticamente
Redireccionamientos, webhooks y transferencia de APIs Configura los reintentos
Bindplane, Cribl y desviadores Configura la cola persistente

Soluciona problemas

Los siguientes lineamientos te ayudarán a evitar superar el límite de aumento repentino:

  • Crea una alerta de transferencia que te notifique cuando el volumen de los bytes transferidos supere el umbral de límite de aumento repentino. Para obtener más información sobre cómo configurar alertas de transferencia, consulta Cómo usar Cloud Monitoring para las notificaciones de transferencia.

  • Para identificar las fuentes y el volumen de transferencia, crea una alerta de supervisión con collector_id y log_type junto con la métrica chronicle.googleapis.com/ingestion/log/bytes_count. Para identificar las fuentes y el volumen de transferencia, usa la siguiente consulta de PromQL:

    sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))

  • Si esperas que el volumen de transferencia aumente más de cuatro veces el volumen normal, comunícate con el equipo de asistencia técnica de SecOps de Google con anticipación para aumentar el límite de aumento repentino.

  • Si usas un reenviador de SecOps de Google para transferir datos, puedes usar buffers de disco para almacenar datos en búfer cuando superes el límite de aumento repentino. Para obtener más información, consulta Cómo usar búferes de disco para los reenviadores.

En la siguiente tabla, se enumeran los métodos de transferencia y la acción correspondiente que debes realizar cuando alcances el límite de aumento repentino:

Modo de transferencia Acción sugerida
Stream Ingestion Espera a que vuelvas a estar por debajo del límite de ráfaga. Si quieres reanudar la transferencia antes, comunícate con el equipo de asistencia técnica de SecOps de Google.
Administración de feeds Espera a que vuelvas a estar por debajo del límite de ráfaga. Si quieres reanudar la transferencia antes, comunícate con el equipo de asistencia técnica de SecOps de Google.
Reenviador Usa buffers de disco para almacenar datos en búfer cuando superes el límite de ráfaga.
Transferencia de datos mediante HTTPS push que usa Amazon Kinesis Data Streams, Pub/Sub o webhooks Asegúrate de que el tiempo de retención esté establecido en el valor máximo posible. Por ejemplo, para establecer el tiempo de retención de Pub/Sub, consulta Configura la retención de mensajes de suscripción.

Usa búferes de disco para los reenvío

Si usas el reenviador de SIEM de Google SecOps, te recomendamos que comiences a usar buffers de disco para almacenar datos en búfer cuando superes el límite de aumento repentino. El tamaño máximo de RAM que usa el recopilador es de 4 GB. Puedes establecer este límite con el parámetro max_file_buffer_bytes en la configuración del recopilador. Para almacenar en búfer datos de más de 4 GB, usa búferes de disco. Para decidir el tamaño del búfer de disco, identifica la velocidad a la que se transfieren los reenvío con la siguiente consulta de MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Por ejemplo, si la tasa de transferencia del reenviador es de 415 Kbps y la eficiencia de compresión del búfer es del 70%, la tasa de llenado del búfer se calcula como 415 Kbps × (100% - 70%) = 124.5 Kbps. A esta velocidad, un tamaño de búfer de 1 GB, que es el valor predeterminado del búfer en la memoria, se llena en 2 horas y 20 minutos. El cálculo es 1,024 × 1,024 / 124.5 = 8,422.297 segundos = 2 horas y 20 minutos. Si superaste el límite de aumento repentino, necesitarás un disco de 100 GB para almacenar en búfer los datos durante un día.

Preguntas frecuentes

¿Qué error se activa cuando superas el límite de aumento repentino?

Cuando superas el límite de aumento repentino, recibes el error HTTP 429.

¿Cómo se resuelve el error HTTP 429?

Vuelve a intentar la solicitud después de cinco minutos.

¿Con qué frecuencia se actualizan los límites de ráfaga?

Los límites de ráfagas se actualizan cada cinco minutos.