Gestire i costi degli audit log di accesso ai dati

Bigtable viene in genere utilizzato per carichi di lavoro di grandi dimensioni e ad alto volume. Di conseguenza, se non gestisci il volume dei log, Bigtable può generare un numero estremamente elevato di log DATA_READ e DATA_WRITE, con costi di archiviazione dei log inaspettatamente elevati. Se utilizzi il logging di controllo dell'accesso ai dati, devi adottare misure per gestire il volume dei log.

Quando segui le best practice per l'autenticazione Bigtable, la maggior parte delle attività degli audit log di accesso ai dati viene generata dagli account di servizio. Un account di servizio è un account utilizzato da un'applicazione per autenticarsi ed effettuare chiamate API ai servizi Google Cloudcome Bigtable. La gestione dei log degli account di servizio è il passaggio più importante per ridurre il volume dei log. Ti consigliamo di limitare i log anche utilizzando altri criteri.

Puoi attivare la registrazione di controllo dell'accesso ai dati per Bigtable nei seguenti modi:

Dopo aver attivato la registrazione di controllo, segui questi passaggi per limitare il volume di log.

Identificare gli account di servizio

Innanzitutto, identifica gli account di servizio per i quali non hai bisogno di log. L'elenco degli account di servizio che non sono utili e che non devono essere registrati dipende dalle esigenze della tua applicazione e della tua attività.Per ottenere un elenco degli account di servizio che dispongono delle autorizzazioni per l'API Cloud Bigtable (API di dati), puoi cercare i criteri IAM per la tua organizzazione. Puoi visualizzarle anche nella pagina Autorizzazioni IAM Google Cloud della console nella scheda Principali.

Configurare le limitazioni dei log

A questo punto, configura le limitazioni dei log. Esistono due modi per gestire il volume dei log di Bigtable limitando i log degli account di servizio. Puoi esonerare gli account di servizio utilizzando la configurazione di controllo oppure escludere i log degli account di servizio utilizzando i filtri di esclusione dei log. Per ogni metodo, puoi utilizzare l'API Cloud Logging o la console Google Cloud .

Esentare gli account di servizio utilizzando la configurazione di controllo

L'esclusione degli account di servizio tramite la configurazione di controllo è l'approccio consigliato perché ti consente di impedire la generazione di determinati log. Per istruzioni dettagliate, consulta quanto segue:

Escludere gli account di servizio utilizzando i filtri di esclusione

I filtri di esclusione ti consentono di specificare i log da escludere dall'importazione nei bucket dei log. In questo approccio, i log vengono eliminati dopo essere stati creati, pertanto impongono comunque un carico di elaborazione sui componenti del servizio Bigtable che pubblicano i tuoi dati. A causa di questo carico, ti consigliamo di utilizzare la configurazione di controllo. Per ulteriori informazioni sulla configurazione dei filtri utilizzando la consoleGoogle Cloud e l'API, consulta Creare un sink.

Stima dei costi degli audit log di accesso ai dati

Poiché Bigtable viene in genere utilizzato per carichi di lavoro di grandi dimensioni e ad alto volume, ha il potenziale di generare un numero estremamente elevato di log. Prima di attivare gli audit logging di accesso ai dati per Bigtable, devi stimare e comprendere i costi di importazione e archiviazione degli audit log di Cloud che possono essere sostenuti ogni mese.

I costi di registrazione dei controlli di accesso ai dati sono direttamente correlati al numero di richieste Bigtable che scegli di registrare ogni mese. La tabella seguente mostra stime approssimative dei costi degli audit log di Cloud che puoi prevedere in base alle richieste medie al secondo e alla durata di archiviazione dei log, supponendo che tu registri tutte le richieste di dati. Per una spiegazione dettagliata di come vengono calcolate queste stime, consulta la sezione Calcolo dei costi.

Richieste medie al secondo Tempo di conservazione dei log Costo mensile approssimativo
1000 30 1197 $
1000 90 1246 $
10.000 30 12.195 $
10.000 90 12.684 $
100.000 30 122.177 $
100.000 90 124.621 $

Calcola i costi

Inizia con le seguenti ipotesi:

  • Il numero di secondi in un mese medio è di circa 2.628.000.
  • Le dimensioni medie di un controllo sono di circa 1 KB.
  • Non ti viene addebitato alcun costo per i primi 50 GiB di log di controllo importati al mese e, una volta superato questo importo, ti viene addebitato 0,50 $/GiB.
  • Lo spazio di archiviazione è gratuito per 30 giorni; dopodiché ti verrà addebitato 0,01 $/GiB per lo spazio di archiviazione.

Il metodo descritto in questa pagina fornisce una stima lorda basata su tutto il traffico. In produzione, ti consigliamo di limitare il logging degli account di servizio.

Calcolare il volume mensile dei log

Innanzitutto, stima la quantità media di log generata dal tuo traffico in un mese medio.

  1. Raccogliere il numero medio di richieste al secondo che la tua applicazione invia a Bigtable nel corso di un mese.
    • Se utilizzi le metriche lato client, puoi utilizzarle per determinare il numero medio di query al secondo (QPS) per l'ultimo mese.
    • Se preferisci utilizzare la pagina Monitoraggio della tua istanza nella console Google Cloud , utilizzala per determinare i valori medi per le richieste di lettura e scrittura al secondo nell'ultimo mese, poi sommali.
  2. Moltiplica le richieste al secondo per 2.628.000 per ottenere le richieste medie al mese.
  3. Dividi questo numero per 10e6, ovvero 1.000.000. Il risultato è il volume mensile stimato dei log in GB che potresti generare ogni mese.
  4. Moltiplica il volume mensile dei log in GB per 0,93 per ottenere il volume mensile dei log in GiB approssimativo.

Calcolare i costi di importazione

  1. Sottrai 50 GiB dal volume mensile dei log in GiB che hai calcolato. Non è previsto alcun costo per i primi 50 GiB.
  2. Moltiplica il resto per 0,50 $per ottenere i costi di importazione mensili stimati.

Calcolare i costi di archiviazione

  1. Se prevedi di lasciare che i log scadano dopo 30 giorni, il costo per lo spazio di archiviazione è pari a 0,00 $.
  2. Se archivi i log per più di 30 giorni, i costi di archiviazione possono essere stimati moltiplicando il volume mensile dei log per 0,01 $. Questi costi iniziano a essere addebitati dopo il primo mese.

Esempio dettagliato

5000 richieste al secondo, log conservati per 90 giorni

In questo esempio, supponiamo che il numero medio di richieste al secondo sia di 5000 e che tu preveda di conservare i log per 90 giorni. Seguendo i passaggi descritti in questa pagina, puoi calcolare le seguenti stime:

  • Moltiplica 5000 per 2.628.000 per ottenere 13.140.000.000 richieste al mese.
  • Dividi 13.140.000.000 per 10e6 per ottenere circa 13.140 GB di volume mensile dei log.
  • Converti questo numero in GiB moltiplicandolo per 0,93 per ottenere 12 .220.
  • Sottrai 50 GiB dal volume mensile dei log per ottenere 12.170 GiB.
  • Moltiplica per 0,50 $per ottenere 6085 $di costi di importazione.
  • Per il primo mese di esistenza dei log, il costo dello spazio di archiviazione è pari a 0 $.
  • Il secondo mese, il costo di archiviazione dei log è pari a 12.170 moltiplicato per 0,01 $, ovvero circa 122 $.
  • Ogni mese successivo al secondo, il costo mensile dello spazio di archiviazione è il doppio, ovvero 244 $.
  • Dopo il secondo mese, i costi stimati per la registrazione dei controlli di accesso ai dati dovrebbero ammontare a circa 6329 $al mese.

In forma di equazione, il risultato è (((((5000 rps * 2628000 sec)/1000000) * 0,93) - 50 GiB) * 0,50 $) + 122 $= 6207 $.

In questo esempio, i costi mensili di registrazione dell'accesso ai dati sono di circa 6329$al mese.

Passaggi successivi