Gestire i costi degli audit log di accesso ai dati

Bigtable viene generalmente utilizzato per carichi di lavoro di grandi dimensioni e volumi elevati. Come Se non gestisci il volume dei log, Bigtable può generare un numero estremamente elevato di log DATA_READ e DATA_WRITE, con conseguente costi di archiviazione dei log inaspettatamente elevati. Se utilizzi il logging di controllo dell'accesso ai dati, devi adottare misure per gestire il volume dei log.

Quando si seguono le best practice per l'autenticazione Bigtable, la maggior parte delle attività degli audit log di accesso ai dati viene generata dal servizio . Un account di servizio è un account utilizzato da un'applicazione per autenticarsi ed effettuare chiamate API ai servizi Google Cloud come Bigtable. La gestione dei log degli account di servizio è il passaggio più importante per ridurre il volume dei log. Ti consigliamo di limitare i log anche utilizzando altri criteri.

Puoi attivare la registrazione di audit dell'accesso ai dati per Bigtable nei modi seguenti:

Dopo aver abilitato l'audit logging, segui questi passaggi per limitare il volume di log.

Identificare gli account di servizio

Innanzitutto, identifica gli account di servizio per i quali non hai bisogno dei log. L'elenco di gli account di servizio che non sono utili e che non devono essere registrati dipendono per ottenere un elenco degli account di servizio che hanno Autorizzazioni dell'API Cloud Bigtable (API di dati), puoi eseguire ricerche in IAM criteri per la tua organizzazione. Puoi visualizzarle anche nella pagina Autorizzazioni IAM della console Google Cloud, nella scheda Enti.

Configura le limitazioni dei log

Quindi, configura le limitazioni del log. Esistono due modi per gestire il volume dei log di Bigtable limitando i log degli account di servizio. Puoi escludere gli account di servizio utilizzando la configurazione di controllo oppure escludere dei log degli account di servizio usando i filtri di esclusione dei log. Per ogni metodo, puoi utilizzare l'API Cloud Logging o la console Google Cloud.

Escludi account di servizio utilizzando la configurazione di controllo

L'esenzione degli account di servizio che utilizzano la configurazione di controllo è approccio consigliato perché consente di impedire che determinati log generati. Per istruzioni dettagliate, consulta quanto segue:

Escludere gli account di servizio utilizzando i filtri di esclusione

I filtri di esclusione ti consentono di specificare escludere i log dall'importazione nei bucket di log. In questo approccio, i log vengono eliminati dopo essere stati creati, pertanto impongono comunque un carico di elaborazione sui componenti del servizio Bigtable che pubblicano i tuoi dati. A causa di questo carico, ti consigliamo di utilizzare la configurazione di controllo. Per ulteriori informazioni sulla configurazione dei filtri utilizzando la console Google Cloud e l'API, consulta Creare un sink.

Stima dei costi degli audit log di accesso ai dati

Poiché Bigtable viene in genere utilizzato per carichi di lavoro di grandi dimensioni e ad alto volume, ha il potenziale di generare un numero estremamente elevato di log. Prima di attivare gli audit logging di accesso ai dati per Bigtable, devi stimare e comprendere i costi di importazione e archiviazione degli audit log di Cloud che possono essere sostenuti ogni mese.

I costi di registrazione dei controlli di accesso ai dati sono direttamente correlati al numero di richieste Bigtable che scegli di registrare ogni mese. La tabella seguente mostra stime approssimative dei costi degli audit log di Cloud che puoi aspettarti in base alle richieste medie al secondo e alla durata di archiviazione dei log, supponendo che tu registri tutte le richieste di dati. Consulta Calcolo dei costi per una spiegazione dettagliata di come vengono elaborate queste stime. calcolato.

Richieste medie al secondo Tempo di conservazione dei log Costo mensile approssimativo
1000 30 1197 $
1000 90 1246 $
10.000 30 12.195 $
10.000 90 12.684 $
100.000 30 122.177 $
100.000 90 124.621 $

Calcola i tuoi costi

Inizia con le seguenti ipotesi:

  • Il numero di secondi in un mese medio è di circa 2.628.000.
  • Le dimensioni medie di un controllo sono di circa 1 KB.
  • Non ti vengono addebitati i primi 50 GiB di audit log importati al mese e, una volta superato l'importo, ti verranno addebitati 0,50 $per GiB.
  • Lo spazio di archiviazione è gratuito per 30 giorni; dopodiché ti verrà addebitato 0,01 $/GiB per lo spazio di archiviazione.

Il metodo descritto in questa pagina fornisce una stima lorda basata su tutti per via del traffico. In fase di produzione, ti consigliamo di limitare il logging degli account di servizio.

Calcolare il volume mensile dei log

Innanzitutto, stima la quantità media di log che il traffico genererà in un mese medio.

  1. Raccogliere il numero medio di richieste al secondo che la tua applicazione invia a Bigtable nel corso di un mese.
    • Se usi le metriche lato client, puoi utilizzarle per determinare la media di query al secondo (QPS) dell'ultimo mese.
    • Se preferisci utilizzare la pagina Monitoring dell'istanza nella console Google Cloud, usala per determinare i valori medi per le e Richieste di scrittura al secondo nell'ultimo mese, quindi aggiungi entrambi i valori insieme.
  2. Moltiplica le richieste al secondo per 2.628.000 per ottenere la media richieste al mese.
  3. Dividi il numero per 10e6, ovvero 1.000.000. Il risultato è il volume mensile stimato dei log in GB che potresti generare ogni mese.
  4. Moltiplica il volume mensile dei log in GB per 0,93 per ottenere il volume mensile dei log in GiB approssimativo.

Calcolare i costi di importazione

  1. Sottrai 50 GiB dal volume di log mensile in GiB calcolato. Non è previsto alcun costo per i primi 50 GiB.
  2. Moltiplica il resto per 0,50 $ per ottenere i costi di importazione mensili stimati.

Calcolare i costi di archiviazione

  1. Se prevedi di lasciare che i log scadano dopo 30 giorni, il costo per lo spazio di archiviazione è pari a 0,00 $.
  2. Se archivi i log per più di 30 giorni, i costi di archiviazione possono da stimare moltiplicando il volume dei log mensili per $0,01. Questi costi iniziano a essere addebitati dopo il primo mese.

Esempio dettagliato

5000 richieste al secondo, log conservati per 90 giorni

In questo esempio, supponiamo che il numero medio di richieste al secondo sia 5000 e prevedi di conservare i log per 90 giorni. Segui la procedura descritta in questa pagina calcoli le seguenti stime:

  • Moltiplica 5000 per 2.628.000 per ottenere 13.140.000.000 richieste al mese.
  • Dividi 13.140.000.000 per 10e6 per ottenere circa 13.140 GB di spazio mensile volume di log.
  • Converti questo numero in GiB moltiplicandolo per 0,93 per ottenere 12.220.
  • Sottrai 50 GiB dal volume mensile dei log per ottenere 12.170 GiB.
  • Moltiplica per 0,50 $ per ottenere 6085 $ di costi di importazione.
  • Per il primo mese in cui i log esistono, il costo dell'archiviazione è pari a 0 $.
  • Il secondo mese, il costo di archiviazione dei log è pari a 12.170 moltiplicato per 0,01 $, ovvero circa 122 $.
  • Ogni mese dopo il secondo mese, il costo mensile dello spazio di archiviazione è il doppio pari a 244 $.
  • Dopo il secondo mese, i costi stimati per la registrazione dei controlli di accesso ai dati dovrebbero ammontare a circa 6329 $ al mese.

Presentato in forma di equazione, ha questo aspetto: ((((5000 rps * 2.628.000 sec)/1.000.000) * 0,93) - 50 GiB) * $0,50) + $122 = $6207.

In questo esempio, i costi mensili di logging di accesso ai dati sono di circa 6.329$per mese.

Passaggi successivi