Esta página foi traduzida pela API Cloud Translation.

Limites de pico

Este documento descreve os limites de pico que se aplicam aos recursos do Google Security Operations, especificamente o volume de dados que podem ser processados no Google SecOps por um único cliente. Os limites de pico restringem os recursos de uso compartilhados por todos os clientes:

Limite superior da quantidade de ingestão de dados que pode ser usada por um único para o cliente. Isso garante que um fluxo repentino de dados de um único cliente e não impactam os outros.
Monitora o uso de recursos compartilhados para cada cliente.
Mantém as configurações que aplicam automaticamente os limites de pico.
Oferece um meio de solicitar ou fazer alterações nos limites de burst.

Para proteção contra surtos, o limite de burst é medido em períodos de 5 minutos. Ele não é um limite diário de ingestão.

Aumento do limite de pico por cliente

Se você pretende aumentar rapidamente sua taxa de ingestão, podemos ajudar a pré-planejar e garantir que a ingestão de dados permaneça estável. Para solicitar um aumento no limite de pico, entre em contato com o suporte técnico do Google SecOps com antecedência.

Visão geral dos limites de fotos em sequência

Os limites de pico restringem a quantidade de dados que um cliente pode enviar ao Google SecOps. Isso garante a imparcialidade e evita impactos em outros clientes devido a picos de ingestão de qualquer cliente. Limites de fotos em sequência garantir que a ingestão de dados do cliente funcione sem problemas e possa ser ajustada proativamente usando um tíquete de suporte. Para aplicar limites de bursts, o Google SecOps usa as seguintes classificações com base no volume de ingestão:

Limite de fotos em sequência	Dados anuais equivalentes no limite máximo de burst por segundo
88 MBps	2,8 PB
350 MBps	11 PB
886 MBps	28 PB
2,6 GBps	82 PB

As diretrizes a seguir se aplicam aos limites de burst.

Os limites de pico variam de 2 a 7 vezes acima do limite de transferência atual.
Quando o limite de pico for atingido, as origens de transferência configuradas corretamente vão ser definidas para armazenar em buffer os dados adicionais. Eles não devem ser configurados para descartar os dados.
- Para transferências baseadas em pull, como feeds do Google Cloud e da API, a transferência é armazenada em buffer automaticamente e não requer configuração adicional.
- Para transferências baseadas em push, como encaminhadores, webhooks e transferências de API, configure os sistemas para reenviar dados quando o limite de pico for atingido. Para o BindPlane e o Crible, configure o buffer.
Antes de atingir o limite de burst, você pode aumentá-lo.
Para determinar se você está perto do limite de bursts, consulte Ver o uso do limite de bursts.

Conferir o uso do limite de pico

É possível consultar o uso do limite de bursts usando o Google SecOps ou o Cloud Monitoring.

Usar o painel do Google SecOps para conferir os limites de pico

Para conferir o uso do limite, use as seguintes visualizações no painel Ingestão e integridade de dados do Google SecOps:

Gráfico do limite de ingestão: mostra a taxa de ingestão em comparação com o limite por segundo.
Gráfico de rejeição de pico: mostra o volume dos registros que foram rejeitados por exceder o limite de pico.

Para acessar as visualizações Gráfico de limite de fotos em sequência e Gráfico de rejeição de fotos em sequência, faça o seguinte:

No menu do Google SecOps, selecione Painéis.
Na seção Painéis padrão, selecione Ingestão e integridade de dados.

No painel Ingestão e integridade de dados que aparece, você pode conferir as visualizações Burst Limit Graph e Burst Rejection Graph.

Usar o Cloud Monitoring para conferir os limites de pico

Para conferir os limites de burst do Google SecOps no console do Google Cloud, você precisa: tem as mesmas permissões de qualquer limite do Google Cloud. Para mais informações, consulte Conceder acesso ao Cloud Monitoring.

Para saber como conferir métricas usando gráficos, consulte Criar gráficos com o Metrics Explorer.

Para conferir o uso do limite de pico, use a seguinte consulta PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Para conferir o número de bytes rejeitados após exceder o limite de pico, use a seguinte consulta do PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Para criar um alerta quando os bytes ingeridos exceder 70% do limite de burst, use a seguinte consulta PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Dados do buffer na origem da ingestão

A tabela a seguir descreve a configuração necessária para armazenar em buffer (em vez de descartar) dados da sua empresa, dependendo da origem de transferência.

Origem da ingestão	Configuração de armazenamento em buffer
Feeds da API Chronicle e do Google Cloud	Armazenamento em buffer fornecido automaticamente
Encaminhadores, webhooks e transferência de API	Configurar novas tentativas
BindPlane, Cribl e Forwarders	Configurar fila permanente

Solução de problemas

As diretrizes a seguir ajudam a evitar que você exceda o limite de bursts.

Crie um alerta de ingestão que notifique quando o volume de bytes ingeridos ultrapassar o limite de burst. Para mais informações sobre como configurar alertas de ingestão, consulte Como usar o Cloud Monitoring para notificações de ingestão.
Para identificar as origens e o volume de ingestão, crie um alerta de monitoramento com collector_id e log_type, além da métrica chronicle.googleapis.com/ingestion/log/bytes_count. Para identificar as origens e o volume de ingestão, use a seguinte consulta PromQL:
```
sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
```
Se você espera que seu volume de ingestão aumente mais de quatro vezes seu volume de ingestão normal volume, entre em contato com o suporte técnico do Google SecOps com antecedência para aumentar seu limite de fotos em sequência.
Se você usar um encaminhador do Google SecOps para ingerir dados, poderá usar buffers de disco para armazenar dados em buffer quando você excede o limite de burst. Para mais informações, consulte Como usar buffers de disco para encaminhadores.

A tabela a seguir lista os métodos de transferência e a ação correspondente que você precisa realizar quando atinge o limite de pico:

Modo de ingestão	Ação sugerida
API Ingestion	Aguarde até que o limite de pico seja atingido novamente. Se você quiser retomar a transferência mais cedo, entre em contato com o Suporte técnico do Google SecOps.
Gerenciamento de feeds	Aguarde até que o limite de pico seja atingido novamente. Se você quiser retomar a transferência mais cedo, entre em contato com o Suporte técnico do Google SecOps.
Encaminhador	Use buffers de disco para armazenar dados em buffer quando você exceder o limite de pico.
Ingestão push HTTPS que usa o Amazon Data Kinesis, o Pub/Sub ou os webhooks.	Defina o tempo de retenção com o valor máximo possível. Por exemplo, para definir o tempo de retenção do Pub/Sub, consulte Configurar a retenção de mensagens de assinatura.

Como usar buffers de disco para encaminhadores

Se você usa o encaminhador do Google SecOps SIEM, recomendamos que usando buffers de disco para armazenar dados em buffer quando você excede o limite de burst. O tamanho máximo de RAM usado pelo coletor é de 4 GB. É possível definir esse limite usando a configuração max_file_buffer_bytes na configuração do coletor. Para armazenar dados em buffer com mais de 4 GB, use buffers de disco. Para decidir o tamanho do buffer do disco, identifique a taxa de ingestão dos encaminhadores usando a seguinte consulta MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Por exemplo, se a taxa de ingestão do encaminhador for 415 Kbps e o buffer eficiência de compactação for 70%, a taxa de preenchimento do buffer será calculada como 415 Kbps x (100% - 70%) = 124,5 Kbps. A essa taxa, um tamanho de buffer de 1 GB, que é o valor padrão do buffer na memória, é preenchido em 2 horas e 20 minutos. O cálculo é 1.024 x 1.024 / 124,5 = 8422,297 segundos = 2 horas e 20 minutos. Se você excedeu o limite de bursts, você precisa de um disco de 100 GB para armazenar dados em buffer por um dia.

Perguntas frequentes

Qual erro é acionado quando você excede o limite de pico?

Quando o limite de bursts é excedido, você recebe o erro HTTP 429.

Como resolver o erro HTTP 429?

Tente fazer a solicitação novamente após cinco minutos.

Com que frequência os limites de burst são atualizados?

Os limites de burst são atualizados a cada cinco minutos.