Questo documento spiega come scaricare e esaminare i log di utilizzo e le informazioni sullo spazio di archiviazione per i bucket Cloud Storage e analizzare i log utilizzando Google BigQuery.
Introduzione
Cloud Storage offre log di utilizzo e log di archiviazione sotto forma di file CSV che puoi scaricare e visualizzare. I log di utilizzo forniscono informazioni per tutte le richieste effettuate su un bucket specificato e vengono creati ogni ora. I log di archiviazione forniscono informazioni sul consumo di spazio di archiviazione del bucket per l'ultimo giorno e vengono creati ogni giorno.
Una volta configurati, sia i log di utilizzo che i log di archiviazione vengono generati automaticamente per il bucket specificato e archiviati come nuovi oggetti in un bucket specificato.
I log di utilizzo e di archiviazione sono soggetti agli stessi prezzi degli altri oggetti archiviati in Cloud Storage.
Dovresti utilizzare i log di utilizzo o Cloud Audit Logs?
Nella maggior parte dei casi, Cloud Audit Logs è il metodo consigliato per generare log che monitorano le operazioni dell'API eseguite in Cloud Storage:
- Cloud Audit Logs monitora gli accessi in modo continuo, con l'invio degli eventi entro pochi secondi dalla loro occorrenza.
- Cloud Audit Logs genera log più semplici da gestire.
- Cloud Audit Logs possono monitorare molti dei tuoi servizi Google Cloud, non solo Cloud Storage.
- Cloud Audit Logs può, facoltativamente, registrare informazioni dettagliate su richieste e risposte.
In alcuni casi, potresti voler utilizzare i log di utilizzo anziché o in aggiunta a Cloud Audit Logs. Ti consigliamo di utilizzare i log di utilizzo se:
- Vuoi monitorare l'accesso che si verifica perché una risorsa ha
allUsers
oallAuthenticatedUsers
nelle impostazioni di controllo dell'accesso dell'accesso, ad esempio l'accesso ai asset in un bucket che hai configurato come sito web statico. - Vuoi monitorare le modifiche apportate dalle funzionalità Gestione del ciclo di vita degli oggetti o Autoclass.
- Vuoi che i log includano informazioni sulla latenza, le dimensioni della richiesta e della risposta delle singole richieste HTTP o il percorso dell'URL completo e ogni parametro di query.
- Vuoi monitorare l'accesso solo a determinati bucket del progetto e quindi non vuoi attivare i log di controllo dell'accesso ai dati, che monitorano l'accesso a tutti i bucket del progetto.
Tieni presente che i log di utilizzo vengono generati solo ogni ora e possono subire ritardi, in particolare quando vengono generati report su bucket con tassi di richiesta elevati.
Utilizzare i log dello spazio di archiviazione o il monitoraggio?
In genere, non dovresti utilizzare i log di archiviazione. Lo strumento consigliato per misurare il consumo di spazio di archiviazione è Monitoring, che fornisce strumenti di visualizzazione e metriche aggiuntive relative al consumo di spazio di archiviazione che i log dello spazio di archiviazione non forniscono. Consulta la scheda Console per determinare le dimensioni di un bucket per istruzioni dettagliate sull'utilizzo di Monitoraggio.
Configurare l'invio dei log
Prima di configurare l'invio dei log, devi avere un bucket per l'archiviazione dei log. Questo bucket deve soddisfare i seguenti requisiti, altrimenti la registrazione non andrà a buon fine:
Il bucket che memorizza i log deve esistere nella stessa organizzazione del bucket di cui vengono registrati i log.
- Se il bucket in fase di registrazione non è contenuto in nessuna organizzazione, il bucket in cui sono archiviati i log deve esistere all'interno dello stesso progetto del bucket in cui è registrato il log.
Se utilizzi o attivi Controlli di servizio VPC, il bucket che memorizza i log deve trovarsi nello stesso perimetro di sicurezza del bucket di cui vengono registrati i log.
Se non hai già un bucket che soddisfa questi requisiti, crealo.
I passaggi riportati di seguito descrivono come configurare l'invio dei log per un bucket:
Riga di comando
Concedi a Cloud Storage il ruolo
roles/storage.objectCreator
per il bucket:gcloud storage buckets add-iam-policy-binding gs://example-logs-bucket --member=group:cloud-storage-analytics@google.com --role=roles/storage.objectCreator
Il ruolo concede a Cloud Storage, sotto forma del gruppo
cloud-storage-analytics@google.com
, l'autorizzazione per creare e archiviare i log come nuovi oggetti.Gli oggetti log hanno l'ACL predefinito per gli oggetti del bucket dei log, a meno che non sia abilitato l'accesso uniforme a livello di bucket nel bucket.
Abilita il logging per il bucket utilizzando il flag
--log-bucket
:gcloud storage buckets update gs://example-bucket --log-bucket=gs://example-logs-bucket [--log-object-prefix=log_object_prefix]
Se vuoi, puoi impostare un prefisso per gli oggetti log utilizzando il flag
--log-object-prefix
. Il prefisso dell'oggetto costituisce l'inizio del nome dell'oggetto log. Può contenere al massimo 900 caratteri e deve essere un nome di oggetto valido. Per impostazione predefinita, il prefisso dell'oggetto è il nome del bucket per cui sono abilitati i log.
API REST
API JSON
Concedi a Cloud Storage il ruolo
roles/storage.objectCreator
per il bucket. Se sono presenti altre associazioni IAM a livello di bucket per il bucket, assicurati di includerle nella richiesta.POST /storage/v1/b/example-logs-bucket/iam Host: storage.googleapis.com { "bindings":[ { "role": "roles/storage.objectCreator", "members":[ "group-cloud-storage-analytics@google.com" ] } ] }
Il ruolo concede a Cloud Storage, sotto forma del gruppo
cloud-storage-analytics@google.com
, l'autorizzazione per creare e archiviare i log come nuovi oggetti.Gli oggetti log hanno l'ACL predefinito per gli oggetti del bucket dei log, a meno che non sia abilitato l'accesso uniforme a livello di bucket nel bucket.
Abilita il logging per il bucket utilizzando la seguente richiesta:
PATCH /storage/v1/b/example-bucket Host: storage.googleapis.com { "logging": { "logBucket": "example-logs-bucket", "logObjectPrefix": "log_object_prefix" } }
API XML
Imposta le autorizzazioni per consentire l'autorizzazione
WRITE
Cloud Storage al bucket per creare e archiviare i log come nuovi oggetti. Devi aggiungere una voce ACL per il bucket che conceda al gruppocloud-storage-analytics@google.com
l'accesso in scrittura. Assicurati di includere nella richiesta tutte le ACL esistenti per il bucket, oltre alla nuova ACL.PUT /example-logs-bucket?acl HTTP/1.1 Host: storage.googleapis.com <AccessControlList> <Entries> <Entry> <Scope type="GroupByEmail"> <EmailAddress>cloud-storage-analytics@google.com</EmailAddress> </Scope> <Permission>WRITE</Permission> </Entry> <!-- include other existing ACL entries here--> </Entries> </AccessControlList>
Attiva la registrazione per il bucket utilizzando il parametro di query di logging:
PUT /example-bucket?logging HTTP/1.1 Host: storage.googleapis.com <Logging> <LogBucket>example-logs-bucket</LogBucket> <LogObjectPrefix>log_object_prefix</LogObjectPrefix> </Logging>
Controlla lo stato della registrazione
Riga di comando
Controlla la registrazione utilizzando il comando buckets describe
con il flag --format
:
gcloud storage buckets describe gs://example-bucket --format="default(logging_config)"
Puoi anche salvare le configurazioni di logging in un file:
gcloud storage buckets describe gs://example-bucket > your_logging_configuration_file --format="default(logging_config)"
Se il logging è abilitato, il server restituisce la configurazione di logging nella risposta:
logging: logBucket: example-logs-bucket logObjectPrefix: log_object_prefix
Se la registrazione non è attivata, viene restituito quanto segue:
null
API REST
API JSON
Invia una richiesta GET per la configurazione del logging del bucket come mostrato nell'esempio seguente:
GET /storage/v1/b/example-bucket?fields=logging Host: storage.googleapis.com
Se i log sono abilitati, il server invia la configurazione nella risposta. Una risposta potrebbe essere simile alla seguente:
{ "logging": { "logBucket": "example-logs-bucket", "logObjectPrefix": "log_object_prefix" } }
Se il logging non è abilitato, viene restituita una configurazione vuota:
{}
API XML
Invia una richiesta GET Bucket per la configurazione del logging del bucket come mostrato nell'esempio seguente:
GET /example-bucket?logging HTTP/1.1 Host: storage.googleapis.com
Se i log sono abilitati, il server invia la configurazione nella risposta. Una risposta potrebbe essere simile alla seguente:
<?xml version="1.0" ?> <Logging> <LogBucket> example-logs-bucket </LogBucket> <LogObjectPrefix> log_object_prefix </LogObjectPrefix> </Logging>
Se il logging non è abilitato, viene restituita una configurazione vuota:
<?xml version="1.0" ?> <Logging/>
Scarica i log
I log dello spazio di archiviazione vengono generati una volta al giorno e contengono la quantità di spazio di archiviazione utilizzata per il giorno precedente. In genere vengono creati prima delle 10:00 PST.
I log di utilizzo vengono generati ogni ora quando sono presenti attività da segnalare nel bucket monitorato. In genere, i log di utilizzo vengono creati 15 minuti dopo la fine dell'ora.
Il modo più semplice per scaricare i log di utilizzo e di archiviazione dal bucket in cui sono archiviati è tramite la console Google Cloud o l'interfaccia a riga di comando gcloud storage
. I log di utilizzo sono in formato CSV e hanno la seguente convenzione di denominazione:
OBJECT_PREFIX_usage_TIMESTAMP_ID_v0
Analogamente, i log dello spazio di archiviazione vengono denominati utilizzando la seguente convenzione:
OBJECT_PREFIX_storage_TIMESTAMP_ID_v0
Ad esempio, di seguito è riportato il nome di un oggetto di log dell'utilizzo che utilizza il prefisso dell'oggetto predefinito, registra l'utilizzo per il bucket denominato example-bucket
e è stato creato il 18 giugno 2022 alle 14:00 UTC:
example-bucket_usage_2022_06_18_14_00_00_1702e6_v0
Analogamente, di seguito è riportato il nome dell'oggetto del log di archiviazione che utilizza il prefisso dell'oggetto predefinito ed è stato creato il 18 giugno 2022 per lo stesso bucket:
example-bucket_storage_2022_06_18_07_00_00_1702e6_v0
Per scaricare i log:
Console
- Nella console Google Cloud, vai alla pagina Bucket in Cloud Storage.
Seleziona il bucket in cui sono archiviati i log.
Scarica o visualizza i log facendo clic sull'oggetto log appropriato.
Riga di comando
Esegui questo comando:
gcloud storage cp gs://BUCKET_NAME/LOGS_OBJECT DESTINATION
Dove:
BUCKET_NAME
è il nome del bucket in cui sono archiviati i log. Ad esempio,example-logs-bucket
.LOGS_OBJECT
è il nome del log di utilizzo o del log dello spazio di archiviazione che stai scaricando. Ad esempio,example-bucket_usage_2022_06_18_14_00_00_1702e6_v0
.DESTINATION
è la posizione in cui viene scaricato il log. Ad esempio,Desktop/Logs
.
Analizza i log in BigQuery
Per eseguire query sui log di utilizzo e di archiviazione di Cloud Storage, puoi utilizzare
Google BigQuery, che consente query rapide simili a SQL su tabelle di solo accodamento. Lo strumento a riga di comando BigQuery, bq
, è uno strumento basato su Python che consente di accedere a BigQuery dalla riga di comando. Per informazioni sul download e sull'utilizzo di bq, consulta la pagina di riferimento dello strumento a riga di comando bq.
Carica i log in BigQuery
Seleziona un progetto predefinito.
Per informazioni dettagliate sulla selezione di un progetto, consulta Lavorare con i progetti.
Crea un nuovo set di dati.
$ bq mk storageanalysis Dataset 'storageanalysis' successfully created.
Elenca i set di dati nel progetto:
$ bq ls datasetId
-----------------
storageanalysisSalva gli schemi di utilizzo e archiviazione sul computer locale per utilizzarli nel comando load.
Puoi trovare gli schemi da utilizzare in queste posizioni: cloud_storage_usage_schema_v0 e cloud_storage_storage_schema_v0. Gli schemi sono descritti anche nella sezione Formato dei log di utilizzo e dello spazio di archiviazione.
Carica i log di utilizzo nel set di dati.
$ bq load --skip_leading_rows=1 storageanalysis.usage \ gs://example-logs-bucket/example-bucket_usage_2014_01_15_14_00_00_1702e6_v0 \ ./cloud_storage_usage_schema_v0.json $ bq load --skip_leading_rows=1 storageanalysis.storage \ gs://example-logs-bucket/example-bucket_storage_2014_01_05_14_00_00_091c5f_v0 \ ./cloud_storage_storage_schema_v0.json
Questi comandi eseguono le seguenti operazioni:
- Carica i log di utilizzo e di archiviazione dal bucket
example-logs-bucket
. - Crea le tabelle
usage
estorage
nel set di datistorageanalysis
. - Leggi i dati dello schema (file .json) dalla stessa directory in cui viene eseguito il comando bq.
- Salta la prima riga di ogni file di log perché contiene le descrizioni delle colonne.
Poiché è la prima volta che esegui il comando load nell'esempio riportato sopra, sono state create le tabelle
usage
estorage
. Puoi continuare ad aggiungere elementi a queste tabelle con comandi di caricamento successivi con nomi di file di log di utilizzo diversi o utilizzando caratteri jolly. Ad esempio, il seguente comando aggiunge i dati di tutti i log che iniziano con "bucket_usuage_2014" alla tabellastorage
:$ bq load --skip_leading_rows=1 storageanalysis.usage \ gs://example-logs-bucket/bucket_usage_2014* \ ./cloud_storage_usage_schema.json
Quando utilizzi i caratteri jolly, ti consigliamo di spostare i log già caricati in BigQuery in un'altra directory (ad es.
gs://example-logs-bucket/processed
) per evitare di caricare i dati di un log più volte.- Carica i log di utilizzo e di archiviazione dal bucket
È possibile accedere alle funzionalità di BigQuery anche tramite lo strumento del browser BigQuery. Con lo strumento del browser, puoi caricare i dati tramite la procedura di creazione della tabella.
Per ulteriori informazioni sul caricamento dei dati da Cloud Storage, incluso il caricamento dei dati tramite programmazione, consulta Caricare i dati da Cloud Storage.
Modificare lo schema del log di utilizzo
In alcuni scenari, potresti trovare utile pre-elaborare i log di utilizzo prima di caricarli in BigQuery. Ad esempio, puoi aggiungere ulteriori informazioni ai log di utilizzo per semplificare l'analisi delle query in BigQuery. In questa sezione, ti mostreremo come aggiungere al log il nome file di ogni log di utilizzo dello spazio di archiviazione. Ciò richiede la modifica dello schema esistente e di ogni file di log.
Modifica lo schema esistente cloud_storage_storage_schema_v0 per aggiungere il nome del file come mostrato di seguito. Assegna al nuovo schema un nuovo nome, ad esempio cloud_storage_storage_schema_custom.json, per distinguerlo da quello originale.
[ {"name": "bucket", "type": "string", "mode": "REQUIRED"}, {"name": "storage_byte_hours","type": "integer","mode": "REQUIRED"}, {"name": "filename","type": "string","mode": "REQUIRED"} ]
Esegui la pre-elaborazione dei file di log relativi all'utilizzo dello spazio di archiviazione in base al nuovo schema prima di caricarli in BigQuery.
Ad esempio, i seguenti comandi possono essere utilizzati in un ambiente Linux, macOS o Windows (Cygwin):
gcloud storage cp gs://example-logs-bucket/example-bucket_storage\* . for f in example-bucket_storage\*; do sed -i -e "1s/$/,\"filename\"/" -e "2s/$/,\""$f"\"/" $f; done
Il comando
gcloud storage
copia i file nella directory di lavoro. Il secondo comando esegue un ciclo nei file di log e aggiunge "nomefile" alla riga della descrizione (prima riga) e il nome file effettivo alla riga dei dati (seconda riga). Ecco un esempio di file di log modificato:"bucket","storage_byte_hours","filename" "example-bucket","5532482018","example-bucket_storage_2014_01_05_08_00_00_021fd_v0"
Quando carichi i log di utilizzo dello spazio di archiviazione in BigQuery, carica i log modificati localmente e utilizza lo schema personalizzato.
for f in example-bucket_storage\*; \ do ./bq.py load --skip_leading_rows=1 storageanalysis.storage $f ./cloud_storage_storage_schema_custom.json; done
Log delle query in BigQuery
Una volta caricati i log in BigQuery, puoi eseguire query sui log di utilizzo per recuperare informazioni sui bucket registrati. L'esempio seguente mostra come utilizzare lo strumento bq in uno scenario in cui sono disponibili log di utilizzo per un bucket su diversi giorni e hai caricato i log come mostrato in Caricare i log di utilizzo in BigQuery. Puoi anche eseguire le query riportate di seguito utilizzando lo strumento del browser BigQuery.
Nello strumento bq, inserisci la modalità interattiva.
$ bq shell
Esegui una query sulla tabella dei log di archiviazione.
Ad esempio, la seguente query mostra come cambia nel tempo lo spazio di archiviazione di un bucket registrato. Si presume che tu abbia modificato i log di utilizzo dello spazio di archiviazione come descritto in Modificare lo schema dei log di utilizzo e che i file dei log siano denominati "logstorage*".
project-name>SELECT SUBSTRING(filename, 13, 10) as day, storage_byte_hours/24 as size FROM [storageanalysis.storage] ORDER BY filename LIMIT 100
Esempio di output della query:
Waiting on bqjob_r36fbf5c164a966e8_0000014379bc199c_1 ... (0s) Current status: DONE +------------+----------------------+ | day | size | +------------+----------------------+ | 2014_01_05 | 2.3052008408333334E8 | | 2014_01_06 | 2.3012297245833334E8 | | 2014_01_07 | 3.3477797120833334E8 | | 2014_01_08 | 4.4183686058333334E8 | +-----------------------------------+
Se non hai modificato lo schema e utilizzi quello predefinito, puoi eseguire la seguente query:
project-name>SELECT storage_byte_hours FROM [storageanalysis.storage] LIMIT 100
Esegui una query sulla tabella dei log di utilizzo.
Ad esempio, la seguente query mostra come riepilogare i metodi di richiesta utilizzati dai client per accedere alle risorse nel bucket registrato.
project-name>SELECT cs_method, COUNT(*) AS count FROM [storageanalysis.usage] GROUP BY cs_method
Esempio di output della query:
Waiting on bqjob_r1a6b4596bd9c29fb_000001437d6f8a52_1 ... (0s) Current status: DONE +-----------+-------+ | cs_method | count | +-----------+-------+ | PUT | 8002 | | GET | 12631 | | POST | 2737 | | HEAD | 2173 | | DELETE | 7290 | +-----------+-------+
Esci dalla shell interattiva dello strumento bq.
project-name> quit
Disattivare il logging
Riga di comando
Disattiva il logging con il flag --clear-log-bucket
nel
comando buckets update
:
gcloud storage buckets update gs://example-bucket --clear-log-bucket
Per verificare che la registrazione sia stata disattivata correttamente, utilizza il comando buckets describe
:
gcloud storage buckets describe gs://example-bucket --format="default(logging_config)"
Se il logging è disattivato, viene restituito quanto segue:
null
API REST
API JSON
Disattiva il logging inviando una richiesta PATCH alla configurazione del logging del bucket come mostrato nell'esempio seguente.
PATCH /example-bucket?logging HTTP/1.1 Host: storage.googleapis.com { "logging": null }
API XML
Disattiva il logging inviando una richiesta PUT alla configurazione del logging del bucket come mostrato nell'esempio seguente:
PUT /example-bucket?logging HTTP/1.1 Host: storage.googleapis.com <Logging/>
Formato dei log di utilizzo e archiviazione
I log di utilizzo e di archiviazione possono fornire una quantità eccessiva di informazioni. Puoi utilizzare le seguenti tabelle per identificare tutte le informazioni fornite in questi log.
Campi del log di utilizzo:
Campo | Tipo | Descrizione |
---|---|---|
time_micros |
integer | L'ora di completamento della richiesta, in microsecondi dall'epoca Unix. |
c_ip |
string | L'indirizzo IP da cui è stata effettuata la richiesta. Il prefisso "c" indica che si tratta di informazioni sul client. |
c_ip_type |
integer | Il tipo di IP nel campo c_ip:
|
c_ip_region |
string | Riservato per uso futuro. |
cs_method |
string | Il metodo HTTP di questa richiesta. Il prefisso "cs" indica che queste informazioni sono state inviate dal client al server. |
cs_uri |
string | L'URI della richiesta. |
sc_status |
integer | Il codice di stato HTTP inviato dal server in risposta. Il prefisso "sc" indica che queste informazioni sono state inviate dal server al client. |
cs_bytes |
integer | Il numero di byte inviati nella richiesta. |
sc_bytes |
integer | Il numero di byte inviati nella risposta. |
time_taken_micros |
integer | Il tempo necessario per soddisfare la richiesta in microsecondi, misurato dal momento in cui viene ricevuto il primo byte a quello in cui viene inviata la risposta. Tieni presente che per i caricamenti ripetibili, il punto finale è determinato dalla risposta alla richiesta di caricamento finale che faceva parte del caricamento ripristinabile. |
cs_host |
string | L'host nella richiesta originale. |
cs_referer |
string | Il referrer HTTP per la richiesta. |
cs_user_agent |
string | L'user-agent della richiesta. Il valore è GCS Lifecycle Management per le richieste effettuate dalla gestione del ciclo di vita. |
s_request_id |
string | L'identificatore della richiesta. |
cs_operation |
string | L'operazione Cloud Storage, ad esempio GET_Object . Questo valore può essere nullo. |
cs_bucket |
string | Il bucket specificato nella richiesta. |
cs_object |
string | L'oggetto specificato in questa richiesta. Può essere nullo. |
Campi del log di archiviazione:
Campo | Tipo | Descrizione |
---|---|---|
bucket |
string | Il nome del bucket. |
storage_byte_hours |
integer | Dimensioni medie in byte-ore in un periodo di 24 ore del bucket. Per ottenere le dimensioni totali del bucket, dividi le ore in byte per 24. |