Questo documento spiega come Cloud Logging elabora le voci di log e descrive i componenti chiave del routing e dell'archiviazione di Logging. Il routing si riferisce al processo utilizzato da Cloud Logging per determinare quale a che fare con una voce di log appena visualizzata. Puoi indirizzare le voci di log alle destinazioni come i bucket Logging, in cui è archiviata la voce di log, oppure in Pub/Sub. Per esportare i log in destinazioni di terze parti, esegui il routing i log in un argomento Pub/Sub e poi autorizzare la destinazione di terze parti per la sottoscrizione all'argomento Pub/Sub.
A livello generale, questo è il modo in cui Cloud Logging instrada e archivia le voci di log:
Esegui il routing dei log con il router dei log
Le sezioni seguenti spiegano come Il logging instrada i log con il router dei log utilizzando i sink.
Router dei log
Viene inviata una voce di log
Risorsa Google Cloud
specificato nel relativo campo logName
durante la sua
entries.write chiamata.
Cloud Logging riceve voci di log con API Cloud Logging a cui passano il router dei log. I sink nel router dei log controllano ogni voce di log rispetto al filtro di inclusione esistente e filtri di esclusione che determinano quali destinazioni, tra cui Bucket Cloud Logging a cui deve essere inviata la voce di log. Puoi utilizzare combinazioni di sink per indirizzare i log a più destinazioni.
Il router dei log memorizza i log temporaneamente. Questo comportamento buffer contro interruzioni e interruzioni temporanee che potrebbero verificarsi quando un sink instrada i log a una destinazione. Il buffering non protegge dai sink di configurazione. Se il sink non è configurato correttamente, Logging ignora i log, viene generato un log degli errori e viene inviata un'email di notifica di un errore di configurazione del sink.
Tieni presente che l'archiviazione temporanea del router dei log è diversa dalla più lunga dell'archiviazione a termine fornita dai bucket Logging.
Voci di log in entrata con timestamp superiori a periodo di conservazione dei log nel passato o se sono più di 24 ore nel futuro vengono scartati.
Sink
I sink controllano il modo in cui Cloud Logging instrada i log. Con i sink, puoi instradare alcuni o tutti i tuoi log alle destinazioni supportate. Alcuni dei per cui potresti voler controllare il routing dei log includono seguenti:
- Archiviare i log che è improbabile che vengano letti, ma che devono essere conservati ai fini della conformità.
- Organizzare i log in bucket in un formato utile.
- Per utilizzare strumenti di analisi dei big data sui tuoi log.
- Per trasmettere i log ad altre applicazioni, altri repository o servizi parti. Ad esempio, se vuoi esportare i log da Google Cloud, in modo che sia possibile vederle su una piattaforma di terze parti e poi configurare un sink per eseguire il routing delle voci di log in Pub/Sub.
I sink appartengono a una determinata risorsa Google Cloud: i progetti Google Cloud, account di fatturazione, cartelle e organizzazioni. Quando la risorsa riceve un di log, instrada la voce di log in base ai sink che contiene e, se abilitato, qualsiasi sink ancestrale appartenente al gerarchia delle risorse. La voce di log viene inviata alla destinazione associata a ogni sink corrispondente.
Cloud Logging offre due sink predefiniti per ogni progetto Google Cloud:
account di fatturazione, cartella e organizzazione: _Required e _Default. Tutti i log
generati in una risorsa, vengono automaticamente elaborati
sono archiviati nel cluster denominati rispettivamente
Bucket _Required o _Default.
I sink agiscono in modo indipendente l'uno dall'altro. Indipendentemente dal modo in cui i sink predefiniti elaborare le tue voci di log, puoi creare sink per instradare alcuni o tutti dai tuoi log a varie destinazioni supportate o per escluderle l'archiviazione da parte di Cloud Logging.
Il comportamento del routing per ogni sink è controllato configurando Filtro di inclusione e filtri di esclusione per che lavandino. A seconda della configurazione del sink, ogni voce di log ricevuta Cloud Logging rientra in una o più di queste categorie:
Archiviati in Cloud Logging e non con routing altrove.
Archiviati in Cloud Logging e con routing a una destinazione supportata.
Non archiviato in Cloud Logging, ma indirizzato a una destinazione supportata.
Né archiviato in Cloud Logging né eseguito altrove.
Di solito crei sink nella A livello di progetto Google Cloud, ma se vuoi combinare e indirizzare i log risorse contenute in un'organizzazione o una cartella Google Cloud, creano sink aggregati.
Non puoi eseguire il routing delle voci di log ricevute da Logging prima della perché il routing si verifica quando i log passano attraverso L'API Logging e le nuove regole di routing si applicano solo ai log scritti dopo la creazione delle regole. Se devi eseguire il routing delle voci di log in modo retroattivo, consulta Copiare i log.
Filtri di inclusione
Per ogni nuovo sink, se non specifichi i filtri, tutti i log corrispondono e vengono indirizzati a della destinazione del sink. Puoi configurare il sink per selezionare log specifici impostare un filtro di inclusione. Puoi anche impostare uno o più filtri di esclusione per escludere i log dalla destinazione del sink.
Quando configuri i sink, crei filtri di inclusione mediante il linguaggio di query di Logging. I sink possono anche contenere più filtri di esclusione.
Ogni voce di log ricevuta da Logging viene instradata in base a questi regole di filtro:
I filtri di esclusione del sink eseguono l'override di qualsiasi filtro di inclusione definito. Se un log corrisponde a un filtro di esclusione nel sink, non corrisponde al indipendentemente da eventuali filtri di inclusione definiti. Voce di log non instradata nella destinazione del sink.
Se il sink non contiene un filtro di inclusione, si verifica quanto segue:
- Se la voce di log corrisponde a un filtro di esclusione, non viene indirizzata al del sink.
- Se la voce di log non corrisponde ad alcun filtro di esclusione, viene indirizzata alla del sink. Un filtro di inclusione vuoto seleziona tutti i log.
Se il sink contiene un filtro di inclusione, si verifica quanto segue:
- Se la voce di log corrisponde al filtro di inclusione, viene indirizzata al sink destinazione.
- Se la voce di log non corrisponde al filtro di inclusione, non viene indirizzata alla del sink.
Filtri di esclusione
Quando crei un sink, puoi impostare più filtri di esclusione. I filtri di esclusione ti consentono di escludere il log corrispondente vengano instradate alla destinazione del sink o in un bucket di log. Puoi creare i filtri di esclusione utilizzando il metodo Linguaggio di query di Logging.
Le voci di log vengono escluse dopo essere state ricevute da
dell'API Logging, pertanto queste voci di log utilizzano
Quota API entries.write. Non puoi ridurre
il numero di chiamate API entries.write per
escluse le voci di log.
Le voci di log escluse non sono disponibili in Esplora log.
Voci di log che non sono instradate ad almeno un bucket di log, o in modo esplicito con filtri di esclusione o perché non corrispondono ad alcun sink con destinazione di archiviazione dei log, sono esclusi anche dalla Error Reporting. Pertanto, questi log non sono disponibili risolvere gli errori.
Le metriche basate su log definite dall'utente vengono calcolate dalle voci di log in entrambe le risorse incluse ed esclusi. Per ulteriori informazioni, vedi Monitora i log.
Destinazioni supportate
Puoi utilizzare il router dei log per instradare determinati log alle destinazioni supportate in qualsiasi progetto Google Cloud. Logging supporta le seguenti destinazioni sink:
- Bucket Cloud Logging: fornisce spazio di archiviazione in Cloud Logging. Un bucket di log può archiviare le voci di log ricevute da più progetti Google Cloud. Puoi combinare I dati di Cloud Logging con altri dati eseguendo l'upgrade di un bucket di log da utilizzare Analisi dei log e creazione di un set di dati BigQuery collegato. Per informazioni sulla visualizzazione delle voci di log archiviate nei bucket di log, consulta Panoramica delle query e delle visualizzazioni dei log e visualizzare i log con routing ai bucket Cloud Logging.
- Set di dati BigQuery: fornisce l'archiviazione delle voci di log in set di dati BigQuery. Puoi utilizzare le funzionalità di analisi dei big data sulle voci di log archiviate. Per combinare i dati di Cloud Logging con altri origini dati, ti consigliamo di eseguire l'upgrade dei bucket di log Analisi dei log e poi creare un set di dati BigQuery collegato. Per informazioni sulla visualizzazione delle voci di log indirizzate a BigQuery, consulta Visualizza i log indirizzati a BigQuery.
- Bucket Cloud Storage: fornisce l'archiviazione delle voci di log in Cloud Storage. Registra sono archiviate come file JSON. Per informazioni sulla visualizzazione del log con routing a Cloud Storage, vedi Visualizzare i log con routing a Cloud Storage.
- Argomento Pub/Sub: fornisce supporto per le integrazioni di terze parti. Registra vengono formattate in JSON e quindi instradate a Pub/Sub per ogni argomento. Per informazioni sulla visualizzazione delle voci di log indirizzate a vedi Pub/Sub, Visualizza i log con routing a Pub/Sub.
- Splunk: fornisce assistenza per Splunk. Devi instradare le voci di log a un argomento Pub/Sub e quindi sottoscrivere quell'argomento usando Splunk.
- Progetto Google Cloud: esegui il routing delle voci di log a un altro progetto Google Cloud. Quando puoi instradare le voci di log a un altro progetto Google Cloud, la destinazione il router dei log del progetto riceve le voci di log e le elabora. La i sink nel progetto di destinazione determinano in che modo vengono vengono indirizzate correttamente. Error Reporting può analizzare le voci di log quando la destinazione Il progetto instrada queste voci di log a un bucket di log di proprietà della destinazione progetto.
- Altre risorse: instrada le voci di log a una destinazione supportata che si trova in un altro progetto. Per informazioni sui percorsi da utilizzare, consulta Formati del percorso di destinazione:
Per ulteriori informazioni, vedi Esegui il routing dei log alle destinazioni supportate.
Archiviazione, visualizzazione e gestione dei log
La sezione seguente descrive in dettaglio come vengono archiviati i log in Cloud Logging e come puoi visualizzarle e gestirle.
Bucket di log
Cloud Logging usa i bucket di log come container nei tuoi progetti Google Cloud, account di fatturazione, cartelle e organizzazioni per archiviare e organizzare i log e i dati di Google Cloud. I log archiviati in Cloud Logging sono indicizzati, ottimizzati per consentirti di analizzare i log in tempo reale. Bucket Cloud Logging sono entità di archiviazione diverse rispetto ai bucket Cloud Storage con nomi simili.
Per ogni progetto, account di fatturazione, cartella e organizzazione di Google Cloud,
Logging crea automaticamente due bucket di log: _Required e
_Default. Logging crea automaticamente sink denominati
_Required e _Default che, nella configurazione predefinita, instradano i log al
bucket con nomi corrispondenti.
Puoi disabilitare il sink _Default, che instrada i log al log _Default
di sincronizzare la directory di una VM
con un bucket. Puoi modificare il comportamento dei sink _Default creati per qualsiasi
nei nuovi progetti o nelle nuove cartelle Google Cloud. Per ulteriori informazioni, vedi
Configura le impostazioni predefinite per organizzazioni e cartelle.
Non puoi modificare le regole di routing per il bucket _Required.
Inoltre, puoi creare bucket definiti dall'utente per qualsiasi progetto Google Cloud.
Puoi creare sink per instradare tutti i log o solo un sottoinsieme a qualsiasi log di sincronizzare la directory di una VM con un bucket. Questa flessibilità ti consente di scegliere il progetto Google Cloud quali sono i log e quali altri log vengono archiviati insieme.
Per ulteriori informazioni, vedi Configura i bucket di log.
_Required bucket di log
Cloud Logging instrada automaticamente i seguenti tipi di log alla
_Required bucket:
- Audit log delle attività di amministrazione
- Audit log degli eventi di sistema
- Log di controllo della Console di amministrazione di Google Workspace
- Log di controllo di Enterprise Groups
- Audit log degli accessi
- Log di Access Transparency. Per informazioni sull'abilitazione dei log di Access Transparency, consulta Documentazione sui log di Access Transparency.
Cloud Logging conserva i log nel bucket _Required per
400 giorni; non puoi modificare questo periodo di conservazione.
Non puoi modificare o eliminare il bucket _Required. Non puoi disattivare
Sink _Required, che instrada i log al bucket _Required.
_Default bucket di log
Qualsiasi voce di log non archiviata nel bucket _Required viene instradata dal
Sink _Default nel bucket _Default, a meno che non disabiliti o modifichi in altro modo
nel sink _Default. Per istruzioni sulla modifica dei sink, consulta
Gestisci i sink.
Ad esempio, Cloud Logging instrada automaticamente i seguenti tipi di
log al bucket _Default:
Cloud Logging conserva i log nel bucket _Default per
30 giorni, a meno che
configurare la conservazione personalizzata
di sincronizzare la directory di una VM
con un bucket.
Non puoi eliminare il bucket _Default.
Bucket di log definiti dall'utente
Puoi anche crea bucket di log definiti dall'utente in qualsiasi progetto Google Cloud. Applicando i sink ai bucket di log definiti dall'utente, puoi instradare qualsiasi sottoinsieme dei tuoi log a qualsiasi bucket di log, consentendoti di scegliere in quale progetto Google Cloud sono archiviati i tuoi log e quali altri log in cui vengono archiviati i log.
Ad esempio, per qualsiasi log generato nel progetto A, puoi configurare un sink eseguire il routing del log ai bucket definiti dall'utente nel progetto-A o nel progetto-B.
Puoi configurare la conservazione personalizzata per nel bucket.
Per informazioni sulla gestione dei bucket di log definiti dall'utente, incluse l'eliminazione per aggiornarli, consulta Configurare e gestire i bucket di log.
Aree geografiche
I bucket di log sono risorse a livello di regione. L'infrastruttura che archivia, indicizza ed esegue le ricerche nei tuoi log si trovano in una posizione geografica specifica. Google gestisce l'infrastruttura in modo che le tue applicazioni siano disponibili in modo ridondante nelle varie zone all'interno della regione.
Quando crei un bucket di log o imposti un'istanza criteri regionali a livello di organizzazione, puoi scegli di archiviare i log in una delle seguenti regioni:
Africa
| Nome regione | Descrizione regione |
|---|---|
africa-south1 |
Johannesburg |
Americhe
| Nome regione | Descrizione regione |
|---|---|
northamerica-northeast1 |
Montréal |
northamerica-northeast2 |
Toronto |
southamerica-east1 |
San Paolo |
southamerica-west1 |
Santiago |
us-central1 |
Iowa |
us-east1 |
Carolina del Sud |
us-east4 |
Virginia del Nord |
us-east5 |
Columbus |
us-south1 |
Dallas |
us-west1 |
Oregon |
us-west2 |
Los Angeles |
us-west3 |
Salt Lake City |
us-west4 |
Las Vegas |
Asia Pacifico
| Nome regione | Descrizione regione |
|---|---|
asia-east1 |
Taiwan |
asia-east2 |
Hong Kong |
asia-northeast1 |
Tokyo |
asia-northeast2 |
Osaka |
asia-northeast3 |
Seul |
asia-south1 |
Mumbai |
asia-south2 |
Delhi |
asia-southeast1 |
Singapore |
asia-southeast2 |
Giacarta |
australia-southeast1 |
Sydney |
australia-southeast2 |
Melbourne |
Europa
| Nome regione | Descrizione regione |
|---|---|
europe-central2 |
Varsavia |
europe-north1 |
Finlandia |
europe-southwest1 |
Madrid |
europe-west1 |
Belgio |
europe-west2 |
Londra |
europe-west3 |
Francoforte |
europe-west4 |
Paesi Bassi |
europe-west6 |
Zurigo |
europe-west8 |
Milano |
europe-west9 |
Parigi |
europe-west10 |
Berlino |
europe-west12 |
Torino |
Medio Oriente
| Nome regione | Descrizione regione |
|---|---|
me-central1 |
Doha |
me-central2 |
Dammam |
me-west1 |
Tel Aviv |
Altro
| Nome regione | Descrizione regione |
|---|---|
eu |
log archiviati nei data center all'interno dell'Unione Europea; nessun altro garanzie di ridondanza |
us |
i log archiviati nei data center degli Stati Uniti; nessun altro garanzie di ridondanza |
global |
i log archiviati in qualsiasi data center del mondo. nessuna ridondanza aggiuntiva garanzie |
Oltre a queste regioni, puoi impostare la località su global, il che significa
che non è necessario specificare
dove sono fisicamente archiviati i log.
Puoi applicare automaticamente una determinata regione di archiviazione a _Default
e _Required bucket creati in un'organizzazione o in una cartella.
Per ulteriori informazioni, vedi
Configura le impostazioni predefinite per organizzazioni e cartelle.
Per saperne di più sulla regione dei dati e su dove è possibile archiviare i log vedi i dati Informazioni sulle regioni di dati.
Criteri dell'organizzazione
Puoi creare un nuovo criterio dell'organizzazione per assicurarti che la tua organizzazione soddisfi le tue esigenze normative e di conformità. Utilizzo un criterio dell'organizzazione, puoi specificare in quali regioni la tua organizzazione può e creare nuovi bucket di log. Puoi anche impedire alla tua organizzazione di creare nei nuovi bucket di log in determinate regioni.
Cloud Logging non applica il criterio dell'organizzazione appena creato su bucket di log esistenti; applica il criterio solo ai nuovi bucket di log.
Per informazioni sulla creazione di un criterio dell'organizzazione basato sulla località, consulta Limita le località delle risorse.
Inoltre, puoi configurare una posizione di archiviazione predefinita
_Default e _Required bucket in un'organizzazione o in una cartella.
Se configuri un criterio dell'organizzazione che vincola la posizione in cui i dati possono essere
devi assicurarti che la posizione di archiviazione predefinita specificata sia
coerente con quel vincolo. Per ulteriori informazioni, vedi
Configura le impostazioni predefinite per organizzazioni e cartelle.
Conservazione
Cloud Logging conserva i log in base alle regole di conservazione applicabili al log. un tipo di bucket in cui sono conservati i log.
Puoi configurare Cloud Logging in modo che conservi i log tra 1 giorno e 3650 giorni. Le regole di conservazione personalizzate si applicano a tutti log in un bucket, indipendentemente dal tipo di log o dal fatto che il log sia stato copiato da un'altra posizione.
Per informazioni sull'impostazione di regole di conservazione per un bucket di log, consulta Configura la conservazione personalizzata.
Per informazioni sui periodi di conservazione per diversi tipi di log, consulta Quote e limiti.
Visualizzazioni log
Le visualizzazioni log consentono di concedere a un utente l'accesso solo a un sottoinsieme dei log archiviati in un di log del bucket. Per informazioni su come configurare le visualizzazioni dei log e per concedere l'accesso a viste di log specifiche, consulta Configura le visualizzazioni dei log su un bucket di log.
Per ogni bucket di log, Cloud Logging crea automaticamente _AllLogs
che mostra tutti i log archiviati nel bucket. Cloud Logging crea anche
una vista del bucket _Default denominata _Default. La vista _Default per
_Default bucket mostra tutti i log, ad eccezione degli audit log di accesso ai dati. La
Le viste _AllLogs e _Default non sono modificabili e non possono essere eliminate
la visualizzazione log di _Default.
Le visualizzazioni di log personalizzate offrono un modo avanzato e granulare per controllare l'accesso ai dati dei log. Ad esempio, considera uno scenario in cui archivia tutti i log della tua organizzazione in un progetto centrale di Google Cloud. Poiché i bucket di log possono contenere log progetti Google Cloud, potresti voler controllare quali I progetti Google Cloud da cui diversi utenti possono visualizzare i log. Utilizzo del log personalizzato viste, puoi concedere a un utente l'accesso ai log solo da un a un singolo progetto Google Cloud, mentre concedi a un altro utente l'accesso ai log per tutti i progetti Google Cloud.
Utilizzo dei log nell'ecosistema Google Cloud
La sezione seguente fornisce informazioni su come utilizzare i log nel in Google Cloud.
Metriche basate su log
Le metriche basate su log sono metriche di Cloud Monitoring derivati dai contenuti delle voci di log. Ad esempio, se Cloud Logging riceve una voce di log per un progetto Google Cloud che corrisponde ai filtri di una delle metriche del progetto Google Cloud, la voce di log viene conteggiata nei dati della metrica.
Le metriche basate su log interagiscono con il routing in modo diverso, a seconda che le metriche basate su log vengono definite dal sistema o da te. Le seguenti sezioni descrivono queste differenze.
Metriche basate su log e filtri di esclusione
I filtri di esclusione sink si applicano alle metriche basate su log definite dal sistema, che contano solo i log archiviati nei bucket di log.
I filtri di esclusione sink non si applicano alle metriche basate su log definite dall'utente. Anche se escludi l'archiviazione dei log in bucket di Logging, potresti vedere i log conteggiati in queste metriche.
Ambito delle metriche basate su log
Le metriche definite dal sistema basate su log si applicano a livello di progetto Google Cloud. Queste metriche vengono calcolate dal router dei log e si applicano solo ai log progetto Google Cloud in cui vengono ricevuti.
Le metriche definite dall'utente basate su log possono essere applicate in entrambi i casi al progetto Google Cloud o a livello di un bucket di log specifico:
- Le metriche a livello di progetto sono calcolate come metriche definite dal sistema basate su log; queste metriche basate su log definite dall'utente si applicano solo ai log nel progetto Google Cloud in cui vengono ricevuti.
Le metriche con ambito bucket si applicano ai log nel bucket di log in cui vengono ricevuti, indipendentemente dal progetto Google Cloud in cui hanno avuto origine le voci di log.
Con le metriche basate su log con ambito bucket, puoi creare metriche basate su log in grado di valutare i log nei seguenti casi:
- Log con routing da un progetto a un bucket in un altro progetto.
- Log con routing in un bucket tramite un sink aggregato.
Per saperne di più, consulta Panoramica delle metriche basate su log.
Individuazione dei log nelle destinazioni supportate
Scopri di più sul formato delle voci di log con routing e su come vengono organizzate in destinazioni, vedi Visualizza i log nelle destinazioni sink.
Casi d'uso comuni
Per risolvere i casi d'uso comuni relativi al routing e all'archiviazione dei log, consulta quanto segue documenti e tutorial:
Aggrega il log della tua organizzazione in un log centrale del bucket
Configura il logging multi-tenant per Google Kubernetes Engine (GKE) cluster
Esigenze di conformità
Per le best practice sull'utilizzo del routing per la governance dei dati, vedi quanto segue documenti:
Dati dei log: guida passo passo per il superamento della conformità comune sfide
Governance dei dati: principi per la protezione e la gestione log
Controllo dell'accesso con IAM
Per informazioni su come utilizzi I ruoli e le autorizzazioni di Identity and Access Management (IAM) per controllare l'accesso ai dati di Cloud Logging, Controllo dell'accesso con IAM.
Prezzi
Cloud Logging non addebita alcun costo per il routing dei log a un
destinazione supportata; ma la destinazione potrebbe applicare dei costi.
Ad eccezione del bucket di log _Required,
Cloud Logging addebita un costo per trasferire i log nei bucket di log.
per un'archiviazione più lunga del periodo di conservazione predefinito del bucket di log.
Cloud Logging non addebita alcun costo per la copia dei log o per le query eseguite tramite Esplora log o tramite la pagina Analisi dei log.
Per ulteriori informazioni, consulta i seguenti documenti:
- Riepilogo dei prezzi di Cloud Logging
Costi di destinazione:
- Costi per la generazione di log di flusso VPC si applicano quando invii e poi escludi i log di flusso Virtual Private Cloud da Cloud Logging.
Passaggi successivi
Per facilitare il routing e l'archiviazione dei dati di Cloud Logging, consulta quanto segue documenti:
Per creare sink per eseguire il routing dei log verso destinazioni supportate, consulta Configura i sink.
Per informazioni sulla risoluzione dei problemi di routing e sink, consulta Risolvi i problemi di routing e sink.