Limites de pico

Este documento descreve os limites de pico que se aplicam aos recursos do Google Security Operations, especificamente o volume de dados que podem ser processados no Google SecOps por um único cliente. Os limites de pico restringem os recursos de uso compartilhados por todos os clientes:

  • Limite máximo de ingestão de dados que pode ser usado por um único cliente. Isso garante que um fluxo repentino de dados de um único cliente não afete outros.
  • Monitora o uso de recursos compartilhados para cada cliente.
  • Mantém as configurações que aplicam automaticamente os limites de pico.
  • Fornece um meio de solicitar ou fazer alterações nos limites de pico.

Para proteção contra surtos, o limite de burst é medido em períodos de 5 minutos. Não é um limite de ingestão diário.

Aumento do limite de pico por cliente

Se você pretende aumentar rapidamente a taxa de transferência, podemos ajudar a planejar com antecedência e garantir que a transferência de dados permaneça estável. Para solicitar um aumento no limite de pico, entre em contato com o suporte técnico do Google SecOps com antecedência.

Visão geral dos limites de pico

Os limites de pico restringem a quantidade de dados que um cliente pode enviar ao Google SecOps. Isso garante a imparcialidade e evita impactos em outros clientes devido a picos de transferência de qualquer cliente. Os limites de pico garantem que a ingestão de dados do cliente funcione sem problemas e possa ser ajustada de forma proativa usando um tíquete de suporte. Para aplicar os limites de pico, o Google SecOps usa as seguintes classificações com base no volume de transferência:

Limite de pico Dados anuais equivalentes no limite máximo de burst por segundo
20 MBps 600 TB
88 MBps 2,8 PB
350 MBps 11 PB
886 MBps 28 PB
2,6 Gbps 82 PB

As seguintes diretrizes se aplicam aos limites de pico:

  • Quando o limite de pico for atingido, as origens de transferência configuradas corretamente vão ser definidas para armazenar em buffer os dados adicionais. Eles não podem ser configurados para descartar os dados.

    • Para transferências baseadas em pull, como Google Cloud e feeds de API, a transferência é armazenada em buffer automaticamente e não requer configuração adicional.
    • Para métodos de ingestão baseados em push, como encaminhadores, webhooks e ingestão de API, configure os sistemas para reenviar dados automaticamente quando o limite de pico for atingido. Para sistemas como Bindplane e Cribl, configure o buffer para processar o overflow de dados de maneira eficiente.

  • Antes de atingir o limite de burst, você pode aumentá-lo.

  • Para determinar se você está perto do limite de pico, consulte Conferir o uso do limite de pico.

Conferir o uso do limite de pico

É possível conferir o uso do limite de pico usando o Google SecOps ou o Cloud Monitoring.

Usar o painel do Google SecOps para conferir os limites de pico

Para conferir o uso do limite, use as seguintes visualizações no painel Ingestão e integridade de dados do Google SecOps:

  • Gráfico de limite de ingestão: mostra a taxa de ingestão em relação ao limite por segundo.
  • Gráfico de rejeição de pico: mostra o volume dos registros que foram rejeitados por exceder o limite de pico.

Para conferir as visualizações Gráfico de limite de pico e Gráfico de rejeição de pico, faça o seguinte:

  1. No menu do Google SecOps, selecione Painéis.

  2. Na seção Painéis padrão, selecione Ingestão e integridade de dados.

    No painel Ingestão e integridade de dados que aparece, você pode conferir as visualizações Burst Limit Graph e Burst Rejection Graph.

Usar o Cloud Monitoring para conferir os limites de pico

Para conferir os limites de pico do Google SecOps no console Google Cloud , você precisa das mesmas permissões que para qualquer limite de Google Cloud . Para mais informações, consulte Conceder acesso ao Cloud Monitoring.

Para saber como conferir métricas usando gráficos, consulte Criar gráficos com o Metrics Explorer.

Para conferir o uso do limite de pico, use a seguinte consulta PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Para conferir o número de bytes rejeitados após exceder o limite de pico, use a seguinte consulta do PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Para criar um alerta quando os bytes ingeridos ultrapassam 70% do limite de pico, use a consulta PromQL a seguir:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Armazenar dados em buffer na origem de ingestão

A tabela a seguir descreve a configuração necessária para armazenar em buffer (em vez de descartar) dados da sua empresa, dependendo da origem de transferência.

Origem da ingestão Configuração de armazenamento em buffer
Google Cloud e feeds da API Chronicle Buffering fornecido automaticamente
Encaminhadores, webhooks e transferência de API Configurar novas tentativas
Bindplane, Cribl e Forwarders Configurar fila permanente

Solução de problemas

As diretrizes a seguir ajudam a evitar o excesso do limite de pico:

  • Crie um alerta de ingestão que notifique você quando o volume dos bytes ingeridos exceder o limite de pico. Para mais informações sobre como configurar alertas de transferência, consulte Como usar o Cloud Monitoring para notificações de transferência.

  • Para identificar as fontes e o volume de transferência, crie um alerta de monitoramento com collector_id e log_type, além da métrica chronicle.googleapis.com/ingestion/log/bytes_count. Para identificar as fontes e o volume de ingestão, use a seguinte consulta do PromQL:

    sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))

  • Se você espera que o volume de transferência aumente mais de quatro vezes o volume de transferência normal, entre em contato com o Suporte técnico do Google SecOps com antecedência para aumentar o limite de pico.

  • Se você usa um forwarder do Google SecOps para ingerir dados, use buffers de disco para armazenar dados quando exceder o limite de pico. Para mais informações, consulte Usar buffers de disco para encaminhadores.

A tabela a seguir lista os métodos de transferência e a ação correspondente que você precisa realizar quando atinge o limite de pico:

Modo de ingestão Ação sugerida
API Ingestion Aguarde até que o limite de pico seja atingido novamente. Se você quiser retomar a transferência mais cedo, entre em contato com o Suporte técnico do Google SecOps.
Gerenciamento de feeds Aguarde até que o limite de pico seja atingido novamente. Se você quiser retomar a transferência mais cedo, entre em contato com o Suporte técnico do Google SecOps.
Encaminhador Use buffers de disco para armazenar dados em buffer quando você exceder o limite de pico.
Ingestão push HTTPS que usa o Amazon Data Kinesis, o Pub/Sub ou webhooks. Verifique se o tempo de retenção está definido como o valor máximo possível. Por exemplo, para definir o tempo de retenção do Pub/Sub, consulte Configurar a retenção de mensagens de assinatura.

Como usar buffers de disco para encaminhadores

Se você usa o forwarder do SIEM do Google SecOps, recomendamos que você comece a usar buffers de disco para armazenar dados em buffer quando exceder o limite de pico. O tamanho máximo de RAM usado pelo coletor é de 4 GB. É possível definir esse limite usando a configuração max_file_buffer_bytes na configuração do coletor. Para armazenar em buffer dados com mais de 4 GB, use buffers de disco. Para decidir o tamanho do buffer do disco, identifique a taxa de ingestão dos encaminhadores usando a seguinte consulta MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Por exemplo, se a taxa de transferência do encaminhador for 415 Kbps e a eficiência de compactação do buffer for 70%, a taxa de preenchimento do buffer será calculada como 415 Kbps x (100% - 70%) = 124,5 Kbps. Nesse ritmo, um tamanho de buffer de 1 GB, que é o valor padrão do buffer na memória, é preenchido em 2 horas e 20 minutos. O cálculo é 1.024 x 1.024 / 124,5 = 8422,297 segundos = 2 horas e 20 minutos. Se você tiver excedido o limite de pico, vai precisar de um disco de 100 GB para armazenar dados em buffer por um dia.

Perguntas frequentes

Qual erro é acionado quando você excede o limite de pico?

Quando você excede o limite de pico, recebe o erro HTTP 429.

Como resolver o erro HTTP 429?

Tente fazer a solicitação novamente após cinco minutos.

Com que frequência os limites de pico são atualizados?

Os limites de burst são atualizados a cada cinco minutos.