Limiti di picco

Questo documento descrive i limiti di burst che si applicano alle risorse di Google Security Operations, in particolare il volume di dati che possono essere importati in Google SecOps da un singolo cliente. I limiti di burst limitano le risorse di utilizzo condivise da tutti i clienti:

  • Limite massimo alla quantità di importazione dei dati che può essere utilizzata da un singolo cliente. In questo modo, un improvviso afflusso di dati da un singolo cliente non influiranno sugli altri.
  • Monitora l'utilizzo delle risorse condivise per ogni cliente.
  • Mantiene le configurazioni che applicano automaticamente i limiti dei burst.
  • Fornisce un mezzo per richiedere o apportare modifiche ai limiti delle serie di burst.

Per la protezione dagli sbalzi di tensione, il limite di picco viene misurato su periodi di 5 minuti. Non è un limite di importazione giornaliero.

Aumento del limite di burst per cliente

Se hai intenzione di aumentare rapidamente la tua percentuale di importazione, possiamo aiutarti a pianificare in anticipo e a garantire che l'importazione dati rimanga stabile. Per richiedere un aumento del limite di picco, contatta in anticipo l'assistenza tecnica di Google SecOps.

Panoramica dei limiti di serie di foto a raffica

I limiti di burst limitano la quantità di dati che un cliente può inviare a Google SecOps. In questo modo viene garantita l'equità e si evitano ripercussioni su altri clienti a causa di picchi di importazione da parte di un singolo cliente. I limiti di picco garantiscono che l'importazione dei dati dei clienti funzioni senza problemi e possono essere regolati in modo proattivo utilizzando una richiesta di assistenza. Per applicare i limiti di picco, Google SecOps utilizza le seguenti classificazioni basate sul volume di importazione:

Limite di foto a raffica Dati annuali equivalenti al limite massimo di burst al secondo
88 Mbps 2,8 PB
350 Mbps 11 PB
886 MB/s 28 PB
2,6 Gbps 82 PB

Ai limiti delle serie di foto a raffica si applicano le seguenti linee guida:

  • I limiti di burst vanno da 2 a 7 volte al di sopra del limite di importazione attuale.
  • Quando viene raggiunto il limite di picco, le origini di importazione configurate correttamente devono essere impostate per mettere in coda i dati aggiuntivi. Non devono essere configurati per eliminare i dati.
    • Per l'importazione basata su pull, come i feed di Google Cloud e API, l'importazione viene messa in buffer automaticamente e non richiede alcuna configurazione aggiuntiva.
    • Per l'importazione basata su push come forwardinger, webhook e importazione di API, configura i sistemi per inviare di nuovo i dati quando viene raggiunto il limite del burst. Per BindPlane e Crible, configura il buffering.
  • Prima di raggiungere il limite di picco, puoi aumentarlo.
  • Per determinare se ti stai avvicinando al limite delle serie di foto a raffica, vedi Visualizzare l'utilizzo del limite delle serie di foto a raffica.

Visualizzare l'utilizzo del limite di burst

Puoi visualizzare l'utilizzo del limite di picco utilizzando Google SecOps o Cloud Monitoring.

Utilizzare la dashboard di Google SecOps per visualizzare i limiti di picco

Per visualizzare l'utilizzo del limite, utilizza le seguenti visualizzazioni nella dashboard Importazione e stato dei dati di Google SecOps:

  • Grafico del limite di importazione: mostra la frequenza di importazione rispetto al limite al secondo.
  • Grafico di rifiuto burst: visualizza il volume dei log che sono stati rifiutati per aver superato il limite delle serie di foto a raffica.

Per visualizzare le visualizzazioni Grafico limite di picco e Grafico di rifiuto dei picchi:

  1. Nel menu di Google SecOps, seleziona Dashboard.

  2. Nella sezione Dashboard predefinite, seleziona Importazione e integrità dei dati.

    Nella dashboard Importazione dati e integrità dei dati che viene visualizzata, puoi consultare Visualizzazioni Grafico limite raffica e Grafico rifiuto raffica.

Utilizzare Cloud Monitoring per visualizzare i limiti di picco

Per visualizzare i limiti di picco di Google SecOps nella console Google Cloud, devi avere le stesse autorizzazioni di qualsiasi limite di Google Cloud. Per ulteriori informazioni, consulta Concedere l'accesso a Cloud Monitoring.

Per informazioni su come visualizzare le metriche utilizzando i grafici, consulta Creare grafici con Metrics Explorer.

Per visualizzare l'utilizzo del limite di burst, usa la seguente query PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

per visualizzare il numero di byte rifiutati dopo aver superato il limite il limite di burst, utilizza la seguente query PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

A creare un avviso quando i byte importati superi il 70% del limite di burst, utilizza la seguente query PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Mettere in buffer i dati all'origine di importazione

La tabella seguente descrive la configurazione necessaria per eseguire il buffering (anziché eliminare) dei dati della tua azienda in base all'origine di importazione.

Origine di importazione Configurazione del buffering
Feed delle API Google Cloud e Google SecOps Buffering fornito automaticamente
Forwarder, webhook e importazione di API Configura nuovi tentativi
BindPlane, Cribl e Forwarder Configura coda permanente

Risoluzione dei problemi

Le seguenti linee guida ti aiutano a evitare di superare il limite di burst:

  • Crea un avviso di importazione che ti invii una notifica quando il volume dei byte importati supera la soglia del limite di picco. Per saperne di più sulla configurazione degli avvisi di importazione, consulta Utilizzo di Cloud Monitoring per le notifiche di importazione.

  • Per identificare le origini e il volume di importazione, crea un avviso di monitoraggio con collector_id e log_type insieme alla metrica chronicle.googleapis.com/ingestion/log/bytes_count. Per identificare l'origine e il volume di importazione, usa la seguente query PromQL:

    sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))

  • Se prevedi che il volume di importazione aumenti più di quattro volte rispetto al normale volume di importazione, contatta in anticipo l'assistenza tecnica di Google SecOps per aumentare il limite di picco.

  • Se utilizzi un forwarder Google SecOps per importare i dati, puoi utilizzare buffer di disco per mettere in buffer i dati quando superi il limite di picco. Per ulteriori informazioni, consulta la sezione Utilizzare i buffer dei dischi per i forwarder.

Nella tabella seguente sono elencati i metodi di importazione e l'azione corrispondente che che devi scattare quando raggiungi il limite di serie di foto a raffica:

Modalità di importazione Azione suggerita
API Ingestion Attendi finché non torni al di sotto del limite di serie di foto a raffica. Se vuoi riprendere l'importazione prima, contatta l'assistenza tecnica di Google SecOps.
Gestione dei feed Attendi finché non torni al di sotto del limite di serie di foto a raffica. Se vuoi riprendere l'importazione prima, contatta l'assistenza tecnica di Google SecOps.
Spedizioniere Usa i buffer del disco per eseguire il buffer dei dati quando superi il limite di burst.
Importazione push HTTPS che utilizza Amazon Data Kinesis, Pub/Sub o webhook. Assicurati che il tempo di conservazione sia impostato sul valore massimo possibile. Ad esempio, per impostare il tempo di conservazione per Pub/Sub, consulta Configurare la conservazione dei messaggi di abbonamento.

Utilizzo di buffer del disco per i server di inoltro

Se utilizzi lo strumento di inoltro SIEM di Google SecOps, ti consigliamo di iniziare utilizzando buffer dei dischi per eseguire il buffering dei dati quando superi il limite di burst. La dimensione massima della RAM utilizzata dal raccoglitore è 4 GB. Puoi impostare questo limite utilizzando l'impostazione max_file_buffer_bytes nel raccoglitore configurazione. Per mettere in buffer dati di dimensioni superiori a 4 GB, utilizza i buffer del disco. Per decidere la dimensione del buffer del disco, Identificare la velocità con cui i forwardinger importano utilizzando la seguente query MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Ad esempio, se la velocità di importazione dal server di forwarding è 415 Kbps e il buffer l'efficienza di compressione è del 70%, il tasso di riempimento del buffer è calcolato come 415 Kbps x (100% -70%) = 124,5 Kbps Questa velocità ha una dimensione del buffer di 1 GB, il valore predefinito del buffer in memoria, si riempie in 2 ore e 20 minuti. Il calcolo è: 1024 x 1024 / 124,5 = 8422,297 secondi = 2 ore e 20 minuti. Se hai superato il limite di picco, hai bisogno di un disco da 100 GB per mettere in buffer i dati per un giorno.

Domande frequenti

Quale errore viene attivato quando superi il limite delle serie di foto a raffica?

Quando superi il limite di picco, viene visualizzato l'errore HTTP 429.

Come risolvi l'errore HTTP 429?

Riprova tra cinque minuti.

Con quale frequenza vengono aggiornati i limiti di picco?

I limiti burst vengono aggiornati ogni cinque minuti.