Gestione dei costi degli audit log di accesso ai dati
Bigtable viene generalmente utilizzato per carichi di lavoro di grandi dimensioni e volumi elevati. Come Se non gestisci il volume dei log, Bigtable può generare un numero estremamente elevato di log DATA_READ e DATA_WRITE, con conseguente costi di archiviazione dei log inaspettatamente elevati. Se utilizzi l'accesso ai dati per l'audit logging, devi seguire alcuni passaggi per gestire il volume dei log.
Quando si seguono le best practice per l'autenticazione Bigtable, la maggior parte delle attività degli audit log di accesso ai dati viene generata dal servizio . Un account di servizio è un account che per autenticare ed effettuare chiamate API a Google Cloud. come Bigtable. La gestione dei log degli account di servizio passaggio più importante per ridurre il volume dei log. Ti consigliamo anche di limitare i log utilizzando altri criteri.
Puoi abilitare l'audit logging degli accessi ai dati per Bigtable nei seguenti modi:
- Utilizzo della console Google Cloud
- Servizi individuali (ad esempio, solo Bigtable)
- Configurazione predefinita di tutti i servizi in un progetto Google Cloud (non solo Bigtable)
- Utilizzo dell'API Cloud Logging
Dopo aver abilitato l'audit logging, segui questi passaggi per limitare il volume di log.
Identificare gli account di servizio
Innanzitutto, identifica gli account di servizio per i quali non hai bisogno dei log. L'elenco di gli account di servizio che non sono utili e che non devono essere registrati dipendono per ottenere un elenco degli account di servizio che hanno Autorizzazioni dell'API Cloud Bigtable (API di dati), puoi eseguire ricerche in IAM criteri per la tua organizzazione. Puoi anche visualizzarle su Console Google Cloud relativa alle autorizzazioni IAM nella scheda Entità.
Configura le limitazioni dei log
Quindi, configura le limitazioni del log. Esistono due modi per gestire Volume dei log di Bigtable limitando i log degli account di servizio. Puoi escludere gli account di servizio utilizzando la configurazione di controllo oppure escludere dei log degli account di servizio usando i filtri di esclusione dei log. Per ogni metodo, puoi utilizza l'API Cloud Logging o la console Google Cloud.
Escludi account di servizio utilizzando la configurazione di controllo
L'esenzione degli account di servizio che utilizzano la configurazione di controllo è approccio consigliato perché consente di impedire che determinati log generati. Per istruzioni dettagliate, consulta quanto segue:
- Configurazione degli audit log di accesso ai dati con l'API
- Configurazione degli audit log di accesso ai dati con la console Google Cloud
Escludere gli account di servizio utilizzando i filtri di esclusione
I filtri di esclusione ti consentono di specificare escludere i log dall'importazione nei bucket di log. In questo approccio, vengono eliminati dopo la creazione, quindi impongono comunque di elaborazione del carico sui componenti del servizio Bigtable i tuoi dati. A causa di questo carico, ti consigliamo di utilizzare la configurazione di controllo . Per ulteriori informazioni sull'impostazione dei filtri utilizzando il Per la console Google Cloud e l'API, consulta Creare un sink.
Stima dei costi degli audit log di accesso ai dati
Bigtable viene generalmente utilizzato per carichi di lavoro di grandi dimensioni e volumi elevati, può generare un numero estremamente elevato di log. Prima di abilitare l'audit logging degli accessi ai dati per Bigtable, è necessario stimare e Scopri i costi di importazione e archiviazione di Cloud Audit Logs a cui è soggetto ogni mese l'audit logging.
I costi degli audit log di accesso ai dati sono direttamente correlati al numero di Richieste Bigtable che scegli di registrare ogni mese. La la tabella seguente mostra le stime approssimative dei costi di Cloud Audit Logs che puoi aspettarti in base ai le richieste medie al secondo e per quanto tempo archivi i tuoi i log, supponendo che vengano registrate tutte le richieste di dati. Consulta la sezione Calcolo dei costi per una spiegazione dettagliata di come vengono elaborate queste stime. calcolato.
| Richieste medie al secondo | Registra il tempo di conservazione | Costo mensile approssimativo |
|---|---|---|
| 1000 | 30 | 1197 $ |
| 1000 | 90 | 1246 $ |
| 10.000 | 30 | 12.195 $ |
| 10.000 | 90 | 12.684 $ |
| 100.000 | 30 | 122.177 $ |
| 100.000 | 90 | 124.621 $ |
Calcola i tuoi costi
Inizia con i seguenti presupposti:
- Il numero di secondi in un mese medio è di circa 2.628.000.
- Le dimensioni medie del controllo sono di circa 1 kB.
- Non ti vengono addebitati i primi 50 GiB di audit log importati al mese e, una volta superato l'importo, ti verranno addebitati 0,50 $per GiB.
- Lo spazio di archiviazione è gratuito per 30 giorni; dopo l'addebito di 0,01 $per GiB per archiviazione.
Il metodo descritto in questa pagina fornisce una stima degli importi lordi basati su tutti per via del traffico. In fase di produzione, ti consigliamo di limitare il logging degli account di servizio.
Calcolare il volume dei log mensili
Innanzitutto, stima la quantità media di log che il traffico genererà in un mese medio.
- Raccogli il numero medio di richieste al secondo di cui le tue
a Bigtable nel corso di un mese.
- Se usi le metriche lato client, puoi utilizzarle per determinare la media di query al secondo (QPS) dell'ultimo mese.
- Se preferisci utilizzare la pagina Monitoring dell'istanza nella console Google Cloud, usala per determinare i valori medi per le e Richieste di scrittura al secondo nell'ultimo mese, quindi aggiungi entrambi i valori insieme.
- Moltiplica le richieste al secondo per 2.628.000 per ottenere la media richieste al mese.
- Dividi questo numero per 10e6, ovvero 1.000.000. Il risultato è il valore stimato volume di log mensile in GB che potresti generare ogni mese.
- Moltiplica il volume di log mensile in GB per 0,93 per ottenere il valore approssimativo volume di log mensile in GiB.
Calcola i costi di importazione
- Sottrai 50 GiB dal volume di log mensile in GiB calcolato. Non è previsto alcun costo per i primi 50 GiB.
- Moltiplica il resto per 0,50 $per arrivare all'importo mensile stimato costi di importazione.
Calcola i costi di archiviazione
- Se prevedi di lasciare scadere i log dopo 30 giorni, il costo per spazio di archiviazione è $0,00.
- Se archivi i log per più di 30 giorni, i costi di archiviazione possono da stimare moltiplicando il volume dei log mensili per $0,01. Questi costi dopo il primo mese.
Esempio dettagliato
5000 richieste al secondo, log conservati per 90 giorni
In questo esempio, supponiamo che il numero medio di richieste al secondo sia 5000 e prevedi di conservare i log per 90 giorni. Segui la procedura descritta in questa pagina calcoli le seguenti stime:
- Moltiplica 5000 per 2.628.000 per arrivare a 13.140.000.000 richieste al mese.
- Dividi 13.140.000.000 per 10e6 per ottenere circa 13.140 GB di spazio mensile volume di log.
- Converti questo numero in GiB moltiplicandolo per 0,93 per arrivare a 12 .220.
- Sottrai 50 GiB dal tuo volume dei log mensile per ottenere 12.170 GiB.
- Moltiplica per 0,50 $per ottenere 6085 $in costi di importazione.
- Per il primo mese in cui i log esistono, il costo dell'archiviazione è pari a 0 $.
- Il secondo mese, il costo di archiviazione dei log è di 12.170 moltiplicato per 0,01 $oppure circa 122 $.
- Ogni mese dopo il secondo mese, il costo mensile dello spazio di archiviazione è il doppio pari a 244 $.
- Dopo il secondo mese, i costi stimati degli audit log di accesso ai dati sarebbe di circa 6.329 $al mese.
Presentato in forma di equazione, ha questo aspetto: ((((5000 rps * 2.628.000 sec)/1.000.000) * 0,93) - 50 GiB) * $0,50) + $122 = $6207.
In questo esempio, i costi mensili di logging di accesso ai dati sono di circa 6.329$per mese.