Limiti di picco

Questo documento descrive i limiti di picco che si applicano alle risorse di Google Security Operations, in particolare il volume di dati che un singolo cliente può importare in Google SecOps. I limiti di picco limitano l'utilizzo delle risorse condivise da tutti i clienti:

  • Limite massimo alla quantità di importazione dei dati che può essere utilizzata da un singolo cliente. In questo modo, un improvviso afflusso di dati da un singolo cliente non influisce sugli altri.
  • Monitora l'utilizzo delle risorse condivise per ciascun cliente.
  • Mantiene le configurazioni che applicano automaticamente i limiti di picco.
  • Fornisce un mezzo per richiedere o apportare modifiche ai limiti di picco.

Per la protezione dagli sbalzi di tensione, il limite di picco viene misurato su periodi di 5 minuti. Non si tratta di un limite di importazione giornaliero.

Aumento del limite di picco per cliente

Se intendi aumentare rapidamente il tasso di importazione, possiamo aiutarti a pianificare in anticipo e garantire che l'importazione dei dati rimanga stabile. Per richiedere un aumento del limite di picco, contatta in anticipo l'assistenza tecnica di Google SecOps.

Panoramica dei limiti di burst

I limiti di picco limitano la quantità di dati che un cliente può inviare a Google SecOps. In questo modo viene garantita l'equità e si evitano ripercussioni su altri clienti a causa di picchi di importazione da parte di un singolo cliente. I limiti di picco garantiscono che l'importazione dei dati dei clienti funzioni senza problemi e possono essere regolati in modo proattivo utilizzando una richiesta di assistenza. Per applicare i limiti di picco, Google SecOps utilizza le seguenti classificazioni basate sul volume di importazione:

Limite di foto a raffica Dati equivalenti annuali al limite massimo di burst al secondo
20 MB/s 600 TB
88 MB/s 2,8 PB
350 MB/s 11 PB
886 MB/s 28 PB
2,6 Gbps 82 PB

Le seguenti linee guida si applicano ai limiti di burst:

  • Quando viene raggiunto il limite di picco, le origini di importazione configurate correttamente devono essere impostate per mettere in coda i dati aggiuntivi. Non devono essere configurati per eliminare i dati.

    • Per l'importazione basata su pull, come i feed Google Cloud e API, l'importazione viene messa in buffer automaticamente e non richiede alcuna configurazione aggiuntiva.
    • Per i metodi di importazione basati su push, come i forwarder, i webhook e l'importazione tramite API, configura i sistemi in modo che inviino nuovamente automaticamente i dati quando viene raggiunto il limite di picco. Per sistemi come Bindplane e Cribl, configura il buffering per gestire in modo efficiente il sovraccarico di dati.

  • Prima di raggiungere il limite di picco, puoi aumentarlo.

  • Per determinare se stai per raggiungere il limite di picco, consulta Visualizzare l'utilizzo del limite di picco.

Visualizzare l'utilizzo del limite di burst

Puoi visualizzare l'utilizzo del limite di picco utilizzando Google SecOps o Cloud Monitoring.

Utilizzare la dashboard di Google SecOps per visualizzare i limiti di picco

Per visualizzare l'utilizzo del limite, utilizza le seguenti visualizzazioni nella dashboard Importazione e stato dei dati di Google SecOps:

  • Grafico del limite di importazione: mostra la frequenza di importazione rispetto al limite al secondo.
  • Grafico di rifiuto per picco: mostra il volume dei log rifiutati per superamento del limite di picco.

Per visualizzare le visualizzazioni Grafico limite di picco e Grafico di rifiuto dei picchi:

  1. Nel menu di Google SecOps, seleziona Dashboard.

  2. Nella sezione Dashboard predefinite, seleziona Importazione e integrità dei dati.

    Nella dashboard Importazione e stato dei dati visualizzata, puoi visualizzare le visualizzazioni Grafico limite di picco e Grafico di rifiuto dei picchi.

Utilizzare Cloud Monitoring per visualizzare i limiti di picco

Per visualizzare i limiti di picco di Google SecOps nella Google Cloud console, devi disporre delle stesse autorizzazioni necessarie per qualsiasi Google Cloud limite. Per ulteriori informazioni, consulta Concedere l'accesso a Cloud Monitoring.

Per informazioni su come visualizzare le metriche utilizzando i grafici, consulta Creare grafici con Metrics Explorer.

Per visualizzare l'utilizzo del limite di picco, utilizza la seguente query PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Per visualizzare il numero di byte rifiutati dopo il superamento del limite di picco, utilizza la seguente query PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Per creare un avviso quando i byte importati superano il 70% del limite di picco, utilizza la seguente query PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Mettere in buffer i dati all'origine di importazione

La tabella seguente descrive la configurazione necessaria per mettere in coda (anziché eliminare) i dati della tua azienda in base all'origine di importazione.

Origine di importazione Configurazione del buffering
Google Cloud e i feed dell'API Chronicle Buffering fornito automaticamente
Forwarder, webhook e importazione di API Configurare i tentativi di nuovo invio
Bindplane, Cribl e Forwarders Configura la coda permanente

Risoluzione dei problemi

Le seguenti linee guida ti aiutano a evitare di superare il limite di burst:

  • Crea un avviso di importazione che ti invii una notifica quando il volume dei byte importati supera la soglia del limite di picco. Per ulteriori informazioni sulla configurazione degli avvisi di importazione, consulta Utilizzare Cloud Monitoring per le notifiche di importazione.

  • Per identificare le origini e il volume di importazione, crea un avviso di monitoraggio con collector_id e log_type insieme alla metrica chronicle.googleapis.com/ingestion/log/bytes_count. Per identificare le origini e il volume di importazione, utilizza la seguente query PromQL:

    sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))

  • Se prevedi che il volume di importazione aumenti più di quattro volte rispetto al normale volume di importazione, contatta in anticipo l'assistenza tecnica di Google SecOps per aumentare il limite di picco.

  • Se utilizzi un forwarder Google SecOps per importare i dati, puoi utilizzare buffer di disco per mettere in buffer i dati quando superi il limite di picco. Per ulteriori informazioni, consulta la sezione Utilizzare i buffer dei dischi per i forwarder.

Nella tabella seguente sono elencati i metodi di importazione e l'azione corrispondente che devi intraprendere quando raggiungi il limite di picco:

Modalità di importazione Azione suggerita
API Ingestion Attendi di tornare al di sotto del limite di scatto. Se vuoi riprendere l'importazione prima, contatta l'assistenza tecnica di Google SecOps.
Gestione dei feed Attendi di tornare al di sotto del limite di scatto. Se vuoi riprendere l'importazione prima, contatta l'assistenza tecnica di Google SecOps.
Spedizioniere Utilizza i buffer di disco per mettere in buffer i dati quando superi il limite di picco.
Importazione push HTTPS che utilizza Amazon Data Kinesis, Pub/Sub o webhook. Assicurati che il tempo di conservazione sia impostato sul valore massimo possibile. Ad esempio, per impostare il tempo di conservazione per Pub/Sub, consulta Configurare la conservazione dei messaggi delle sottoscrizioni.

Utilizzo dei buffer di disco per i forwarder

Se utilizzi il forwarder SIEM di Google SecOps, ti consigliamo di iniziare a utilizzare i buffer di disco per mettere in buffer i dati quando superi il limite di picco. La dimensione massima della RAM utilizzata dal raccoglitore è 4 GB. Puoi impostare questo limite utilizzando l'impostazione max_file_buffer_bytes nella configurazione del collector. Per mettere in buffer dati di dimensioni superiori a 4 GB, utilizza i buffer del disco. Per decidere le dimensioni del buffer del disco, identifica la frequenza di importazione dei forwarder utilizzando la seguente query MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Ad esempio, se la frequenza di importazione dal forwarder è di 415 Kbps e l'efficienza di compressione del buffer è del 70%, la frequenza di riempimento del buffer viene calcolata come 415 Kbps x (100% - 70%) = 124,5 Kbps. A questo ritmo, un buffer di 1 GB, che è il valore predefinito del buffer in memoria, si riempie in 2 ore e 20 minuti. Il calcolo è: 1024 x 1024 / 124,5 = 8422,297 secondi = 2 ore e 20 minuti. Se hai superato il limite di picco, hai bisogno di un disco da 100 GB per mettere in buffer i dati per un giorno.

Domande frequenti

Quale errore viene attivato quando superi il limite di picco?

Quando superi il limite di picco, viene visualizzato l'errore HTTP 429.

Come si risolve l'errore HTTP 429?

Riprova a inviare la richiesta dopo cinque minuti.

Con quale frequenza vengono aggiornati i limiti di picco?

I limiti burst vengono aggiornati ogni cinque minuti.