Instrada i log alle destinazioni supportate

Questo documento spiega come creare e gestire i sink, che indirizzano le voci di log generate in un progetto Google Cloud alle destinazioni supportate.

Quando la destinazione di un sink non è un bucket di log nel progetto Google Cloud da cui ha origine una voce di log, è necessario un account di servizio. Cloud Logging crea e gestisce automaticamente questo account di servizio. ma potresti dover modificare le autorizzazioni concesse l'account di servizio. Puoi creare e gestire un account di servizio usato dai sink in più progetti. Per ulteriori informazioni, consulta Configurare i canali di log con account di servizio gestiti dall'utente.

Panoramica

I sink determinano il modo in cui Cloud Logging delle route. Utilizzando i canali, puoi inoltrare alcune o tutte le voci del log alle seguenti destinazioni:

  • Bucket Cloud Logging: fornisce spazio di archiviazione in Cloud Logging. Un bucket di log può archiviare le voci di log ricevute da più progetti Google Cloud. Il bucket dei log può trovarsi nello stesso progetto in cui hanno origine le voci di log o in un progetto diverso. Per informazioni sulla visualizzazione delle voci di log archiviate nei bucket di log, consulta Panoramica delle query e delle visualizzazioni dei log e visualizzare i log con routing ai bucket Cloud Logging.

    Puoi combinare I dati di Cloud Logging con altri dati eseguendo l'upgrade di un bucket di log da utilizzare Analisi dei log e la creazione di un set di dati collegato, che è di sola lettura set di dati su cui è possibile eseguire query da BigQuery Studio e Looker Studio pagine.

  • Set di dati BigQuery: fornisce lo spazio di archiviazione delle voci di log in un set di dati BigQuery scrivibile. Il set di dati BigQuery può trovarsi nello stesso progetto in cui hanno origine le voci di log o in un progetto diverso. Puoi utilizzare le funzionalità di analisi dei big data sulle voci di log archiviate. Per informazioni su come visualizzare le voci di log inviate a BigQuery, consulta Visualizzare i log inviati a BigQuery.

  • Bucket Cloud Storage: fornisce lo spazio di archiviazione delle voci di log in Cloud Storage. Il bucket Cloud Storage può trovarsi nello stesso progetto in cui hanno avuto origine le voci di log o in un progetto diverso. Le voci di log vengono archiviate come file JSON. Per informazioni su come visualizzare le voci di log inoltrate a Cloud Storage, consulta Visualizzare i log inoltrati a Cloud Storage.

  • Argomento Pub/Sub: fornisce il supporto per le integrazioni di terze parti. Le voci di log vengono formattate in JSON e poi inoltrate a un argomento Pub/Sub. L'argomento può trovarsi nello stesso progetto in cui si trovano le voci di log o in un altro progetto. Per informazioni su come visualizzare le voci di log con routing a Pub/Sub, consulta Visualizzare i log con routing a Pub/Sub.

  • Progetto Google Cloud: esegui il routing delle voci di log a un altro progetto Google Cloud. In questa configurazione, i sink nel progetto di destinazione elaborano le voci di log.

I canali appartengono a una determinata risorsa Google Cloud: un progetto Google Cloud, un account di fatturazione, una cartella o un'organizzazione. Quando la risorsa riceve un voce di log, ogni sink nella risorsa elabora la voce di log. Quando la voce di log corrisponde ai filtri del sink, la voce di log viene indirizzato alla destinazione del sink.

In genere, i sink instradano solo le voci di log che hanno origine da una risorsa. Tuttavia, per le cartelle e le organizzazioni puoi creare sink aggregati, le voci di log della route dalla cartella o dall'organizzazione e risorse che contiene. Questo documento non tratta e aggregati. Per ulteriori informazioni, vedi Facolta e instrada i log a livello di organizzazione verso le destinazioni supportate.

Per creare e gestire i canali di destinazione, puoi utilizzare la console Google Cloud, l'API Cloud Logging e Google Cloud CLI. Ti consigliamo di utilizzare la console Google Cloud:

  • La pagina Router dei log elenca tutti i sink e fornisce opzioni per gestirli.
  • Quando crei un sink, puoi visualizzare in anteprima le voci di log corrispondenti dai filtri del sink.
  • Quando crei un sink, puoi configurare le destinazioni dei sink.
  • Alcuni passaggi di autorizzazione sono stati completati per tuo conto.

Prima di iniziare

Le istruzioni in questo documento descrivono la creazione e la gestione dei sink a livello di progetto Google Cloud. Puoi utilizzare la stessa procedura per creare un sink che indirizzi le voci di log originate in un'organizzazione, una cartella o un account di fatturazione.

Per iniziare, segui questi passaggi:

  1. Enable the Cloud Logging API.

    Enable the API

  2. Assicurati che il tuo progetto Google Cloud contenga voci di log che puoi visualizzare in Esplora log.

  3. Per ottenere le autorizzazioni necessarie per creare, modificare o eliminare un'area di destinazione, chiedi all'amministratore di concederti il ruolo IAM Editor di configurazione dei log (roles/logging.configWriter) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

    Per informazioni sulla concessione dei ruoli IAM, consulta la guida al controllo dell'accesso di Logging.

  4. Hai una risorsa in una destinazione supportata o hai la possibilità di crearne una.

    Per instradare le voci di log a una destinazione, la destinazione deve esistere prima di creare il sink. Puoi creare la destinazione in qualsiasi progetto Google Cloud di qualsiasi organizzazione.

  5. Prima di creare un'area di destinazione, esamina le limitazioni che si applicano alla destinazione. Per ulteriori informazioni, consulta Limitazioni della destinazione di questo documento.

  6. Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

    REST

    Per utilizzare gli esempi dell'API REST in questa pagina in un ambiente di sviluppo locale, utilizza le credenziali fornite a gcloud CLI.

      Install the Google Cloud CLI, then initialize it by running the following command: 

      gcloud init

    Per ulteriori informazioni, vedi Esegui l'autenticazione per l'utilizzo di REST nella documentazione sull'autenticazione di Google Cloud.

Creazione di un sink

Di seguito sono riportate le istruzioni per creare un sink in un progetto Google Cloud. Puoi utilizzare la stessa procedura per eseguire il routing delle voci di log che hanno origine Un'organizzazione, una cartella o un account di fatturazione:

  • Puoi creare fino a 200 sink per progetto Google Cloud.
  • Non inserire informazioni sensibili nei filtri di destinazione. I filtri sink vengono trattati come dati di servizio.
  • Potrebbero essere necessarie diverse ore per iniziare a instradare le voci di log dei nuovi sink per i bucket Cloud Storage. I sink in Cloud Storage vengono elaborati ogni ora, mentre gli altri tipi di destinazioni vengono elaborati in tempo reale.

  • I sink non possono eseguire il routing delle voci di log ai set di dati BigQuery collegati, che sono di sola lettura. Se vuoi instradare le voci di log in BigQuery, il set di dati di destinazione deve essere abilitato alla scrittura.

  • I sink non definiscono lo schema per i set di dati BigQuery. La prima voce di log ricevuta da BigQuery determina invece schema per la tabella di destinazione. Per ulteriori informazioni, vedi Schema di BigQuery per i log con routing.

  • Per informazioni su come visualizzare le voci di log nella destinazione di un sink, vedi Visualizza i log con routing ai bucket Cloud Logging.

  • Per visualizzare il numero e il volume delle voci di log instradate, consulta le metriche logging.googleapis.com/exports/.

  • Esplora log aggiunge implicitamente la limitazione congiuntiva AND tra le istruzioni mostrate nel riquadro delle query. Ad esempio, se la riga 1 è resource.type = "gce_instance" e la riga 2 è severity >= "ERROR", la query è resource.type = "gce_instance" AND severity >= "ERROR". Se vuoi utilizzare una query mostrata da Log Explorer in un altro contesto, ad esempio per il filtro di inclusione o esclusione di un'area di destinazione, devi modificare la query e aggiungere le limitazioni congiuntive. Per ulteriori informazioni, consulta Linguaggio di query di Logging.

Per creare un sink, segui questi passaggi:

Console

  1. Nella console Google Cloud, vai alla pagina Router dei log:

    Vai a Router dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Seleziona il progetto Google Cloud in cui si trovano le voci di log che che vuoi instradare.

    Ad esempio, se vuoi eseguire il routing delle voci di log di accesso ai dati del progetto denominato Project-A in un bucket di log nel progetto denominato Project-B, quindi seleziona Project-A.

  3. Seleziona Crea sink.

  4. Nel riquadro Dettagli sink, inserisci i seguenti dettagli:

    • Nome del canale: fornisci un identificatore per il canale. Tieni presente che, dopo aver creato il canale, non puoi rinominarlo, ma puoi eliminarlo e crearne uno nuovo.

    • (Facoltativo) Descrizione della destinazione: descrivi lo scopo o il caso d'uso della destinazione.

  5. Nel riquadro Destinazione sink, seleziona il servizio sink e la destinazione utilizzando il menu Seleziona il servizio sink. Esegui una delle seguenti operazioni:

    • Per inoltrare le voci di log a un servizio nello stesso progetto Google Cloud, seleziona una delle seguenti opzioni:

      • Set di dati BigQuery: seleziona o crea il set di dati scrivibile per ricevere le voci di log instradate. Hai anche la possibilità di utilizzare le tabelle partizionate.
      • Bucket Cloud Storage: seleziona o crea l'elemento Bucket Cloud Storage per ricevere le voci di log instradate.
      • Argomento Pub/Sub: seleziona o crea l'argomento specifico per ricevere le voci di log instradate.
      • Splunk: seleziona l'argomento Pub/Sub per il servizio Splunk.

    • Per eseguire il routing delle voci di log a un altro progetto Google Cloud, seleziona Progetto Google Cloud, quindi inserisci il nome completo per la destinazione. Per informazioni sulla sintassi, consulta Formati del percorso di destinazione:

    • Per inoltrare le voci di log a un servizio in un altro progetto Google Cloud:

      1. Seleziona Altra risorsa.
      2. Inserisci il nome completo della destinazione. Per informazioni sulla sintassi, consulta Formati del percorso di destinazione:

  6. Specifica le voci di log da includere:

    1. Vai al riquadro Scegli i log da includere nel sink.

    2. Nel campo Crea filtro di inclusione, inserisci un'espressione di filtro che corrisponda alle voci di log che vuoi includere. Per scoprire di più sulla sintassi per la scrittura dei filtri, consulta Lingua delle query di logging.

      Se non imposti un filtro, tutte le voci di log della risorsa selezionata vengono inoltrate alla destinazione.

      Ad esempio, per inoltrare tutte le voci di log di accesso ai dati a un bucket di logging, puoi utilizzare il seguente filtro:

      log_id("cloudaudit.googleapis.com/data_access") OR log_id("externalaudit.googleapis.com/data_access")

      La lunghezza di un filtro non può superare i 20.000 caratteri.

    3. Per verificare di aver inserito il filtro corretto, seleziona Anteprima log. Esplora log si apre in una nuova scheda con il filtro precompilati.

  7. (Facoltativo) Configurare un filtro di esclusione per eliminare alcuni dei voci di log incluse:

    1. Vai al riquadro Scegli i log da escludere dal sink.

    2. Nel campo Nome filtro di esclusione, inserisci un nome.

    3. Nel campo Crea un filtro di esclusione, inserisci un'espressione filtro che corrisponda alle voci di log che vuoi escludere. Puoi anche utilizzare la funzione sample per selezionare una parte delle voci di log da escludere.

    Puoi creare fino a 50 filtri di esclusione per un po' di tempo. Tieni presente che la lunghezza di un filtro non può superare 20.000 caratteri.

  8. Seleziona Crea sink.

  9. Concedi all'account di servizio per il sink l'autorizzazione per scrivere voci di log alla destinazione del sink. Per ulteriori informazioni, vedi Imposta le autorizzazioni della destinazione.

gcloud

Per creare un sink:

  1. Esegui il seguente comando gcloud logging sinks create:

    gcloud logging sinks create SINK_NAME SINK_DESTINATION

    Prima di eseguire il comando, effettua queste sostituzioni:

    • SINK_NAME: il nome del sink di log. Non puoi modificare il nome di un sink dopo averlo creato.

    • SINK_DESTINATION: il servizio o il progetto dove vuoi instradare le voci di log. Imposta SINK_DESTINATION con il percorso appropriato, come descritto in Formati dei percorsi di destinazione.

      Ad esempio, se la destinazione del sink è un Pub/Sub per ogni argomento, SINK_DESTINATION avrà il seguente aspetto:

      pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

    Puoi anche fornire le seguenti opzioni:

    • --log-filter: utilizza questa opzione per impostare un filtro che corrisponda alle voci di log che vuoi includere nel tuo sink. Se non fornisci un valore per il filtro di inclusione, questo filtro corrisponde a tutte le voci di log.
    • --exclusion: utilizza questa opzione per impostare un filtro di esclusione per le voci di log in cui vuoi escludere il sink dal routing. Puoi anche utilizzare la funzione sample per selezionare una parte delle voci di log da escludere. Questa opzione può essere ripetuto; puoi creare fino a 50 filtri di esclusione per sink.
    • --description: utilizza questa opzione per descrivere lo scopo o il caso d'uso per il lavandino.

    Ad esempio, per creare un sink in un bucket Logging, potrebbe avere il seguente aspetto:

    gcloud logging sinks create my-sink logging.googleapis.com/projects/myproject123/locations/global/buckets/my-bucket \
 --log-filter='logName="projects/myproject123/logs/matched"' --description="My first sink"

    Per ulteriori informazioni sulla creazione di sink utilizzando Google Cloud CLI, consulta la documentazione di riferimento gcloud logging sinks.

  2. Se la risposta al comando contiene una chiave JSON con l'etichetta "writerIdentity", e poi concedi all'account di servizio del sink l'autorizzazione per scrivere della destinazione del sink. Per ulteriori informazioni, consulta Impostare le autorizzazioni della destinazione.

    Non è necessario impostare le autorizzazioni della destinazione quando la risposta non contiene una chiave JSON con l'etichetta "writerIdentity".

REST

  1. Per creare un'area di destinazione per i log nel tuo progetto Google Cloud, utilizza projects.sinks.create nell'API Logging. Nella LogSink , fornisci i valori obbligatori appropriati nella richiesta corpo del testo:

    • name: un identificatore per la destinazione. Tieni presente che, una volta creato il canale, non puoi rinominarlo, ma puoi eliminarlo e crearne uno nuovo.

    • destination: il servizio e la destinazione a cui vuoi inoltrare le voci del log. Per eseguire il routing delle voci di log a un progetto diverso, o verso una destinazione si trova in un altro progetto, imposta il campo destination con percorso appropriato, come descritto Formati del percorso di destinazione:

      Ad esempio, se la destinazione di destinazione è un argomento Pub/Sub, destination ha il seguente aspetto:

      pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

  2. Nell'oggetto LogSink, fornisci le informazioni facoltative appropriate:

    • filter: imposta il campo filter in modo che corrisponda alle voci di log che vuoi includere nel sink. Se non imposti un filtro, tutte le voci di log del tuo dei progetti Google Cloud indirizzate alla destinazione. Tieni presente che la lunghezza di un filtro non può superare i 20.000 caratteri.
    • exclusions: imposta questo campo in modo che corrisponda alle voci di log da escludere dal sink. Puoi utilizzare anche Funzione sample per selezionare una parte delle voci di log da escludere. Puoi creare fino a 50 filtri di esclusione per destinazione.
    • description: imposta questo campo per descrivere lo scopo o il caso d'uso del canale.

  3. Chiama projects.sinks.create per creare il sink.

  4. Se la risposta dell'API contiene una chiave JSON con l'etichetta "writerIdentity", e poi concedi all'account di servizio del sink l'autorizzazione per scrivere della destinazione del sink. Per ulteriori informazioni, consulta Impostare le autorizzazioni della destinazione.

    Non è necessario impostare le autorizzazioni di destinazione quando la risposta dell'API non contiene una chiave JSON con l'etichetta "writerIdentity".

Per ulteriori informazioni sulla creazione di sink utilizzando per l'API Logging, consulta la documentazione di riferimento di LogSink.

Se ricevi notifiche di errore, consulta Risolvi i problemi di routing e sink.

Formati del percorso di destinazione

Se esegui il routing delle voci di log a un servizio che si trova in un altro progetto, devi fornisci al sink il nome completo del servizio. Analogamente, se indirizzi le voci di log a un altro progetto Google Cloud, devi fornire all'apposita destinazione il nome completo del progetto di destinazione:

  • Bucket dei log di Cloud Logging:

    logging.googleapis.com/projects/DESTINATION_PROJECT_ID/locations/LOCATION/buckets/BUCKET_NAME

  • Un altro progetto Google Cloud:

    logging.googleapis.com/projects/DESTINATION_PROJECT_ID

  • Set di dati BigQuery:

    bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID

  • Cloud Storage:

    storage.googleapis.com/BUCKET_NAME

  • Argomento Pub/Sub:

    pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

Gestisci i sink

Dopo aver creato i canali, puoi eseguire le seguenti azioni. L'applicazione di qualsiasi modifica apportata a un sink potrebbe richiedere alcuni minuti:

  • Visualizza dettagli
  • Aggiorna

  • Disattiva

    • Non puoi disattivare il sink _Required.
    • Puoi disabilitare il sink _Default per impedirgli di eseguire il routing delle voci di log a il bucket Logging _Default.
    • Se vuoi disattivare l'emissario _Default per i nuovi progetti o le nuove cartelle Google Cloud creati nella tua organizzazione, valuta la possibilità di configurare [default-settings].

  • Elimina

    • Non puoi eliminare i sink _Default o _Required.
    • Quando elimini un'area di destinazione, questa non inoltra più le voci di log.
    • Se il sink ha un account di servizio dedicato, viene eliminato anche il sink l'account di servizio. Sink creati prima del giorno Il 22 maggio 2023 avranno account di servizio dedicati. I canali di destinazione creati il 22 maggio 2023 o successivamente hanno un account di servizio condiviso. L'eliminazione della destinazione non comporta l'eliminazione dell'account di servizio condiviso.

  • Risolvere gli errori

  • Visualizza il volume di log e i tassi di errore

Di seguito sono riportate le istruzioni per gestire un sink in un progetto Google Cloud. Anziché un progetto Google Cloud, puoi specificare un account di fatturazione, una cartella o un'organizzazione:

Console

  1. Nella console Google Cloud, vai alla pagina Log Router:

    Vai a Router dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Nella barra degli strumenti, seleziona la risorsa che contiene l'emissario. La risorsa può essere un progetto, una cartella, un'organizzazione o un account di fatturazione.

La pagina Router dei log mostra i sink nella risorsa selezionata. Ogni riga della tabella contiene informazioni sulle proprietà di un sink:

  • Abilitato: indica se lo stato della destinazione è attivo o disattivato.
  • Tipo: il servizio di destinazione del sink, ad esempio Cloud Logging bucket.
  • Nome: l'identificatore della destinazione, fornito al momento della sua creazione; ad esempio _Default.
  • Descrizione: la descrizione del sink, fornita al momento della sua creazione.
  • Destinazione: nome completo della destinazione a cui vengono inviate le voci del log indirizzate.
  • Creato: la data e l'ora in cui è stato creato il sink.
  • Ultimo aggiornamento: la data e l'ora dell'ultima modifica del sink.

Per ogni riga della tabella, viene visualizzato il menu Altre azioni di offre le seguenti opzioni:

  • Visualizza i dettagli della destinazione: vengono visualizzati il nome, la descrizione, il servizio di destinazione, la destinazione e i filtri di inclusione ed esclusione della destinazione. Se selezioni Modifica, si apre il riquadro Modifica sink.
  • Modifica sink: apre il riquadro Modifica sink in cui puoi aggiornare il i parametri del sink.
  • Disattiva sink: consente di disattivare il sink e interrompere il routing delle voci di log alla del sink. Per ulteriori informazioni sull'esclusione dei sink, consulta Interrompere l'archiviazione dei log nei bucket dei log.
  • Attiva sink: ti consente di attivare un sink disattivato e di riavviare il routing delle voci di log alla destinazione del sink.
  • Elimina sink: consente di eliminare il sink e interrompere il routing delle voci di log verso della destinazione del sink.
  • Risolvi i problemi relativi al sink: apre Esplora log, dove puoi risolvere i problemi relativi al sink.
  • Visualizza il volume di log e i tassi di errore del sink: apre Metrics Explorer dove puoi visualizzare e analizzare i dati dal sink.

Per ordinare la tabella in base a una colonna, seleziona il nome della colonna.

gcloud

  • Per visualizzare l'elenco dei sink per il progetto Google Cloud, utilizza la gcloud logging sinks list che corrisponde al metodo dell'API Logging projects.sinks.list:

    gcloud logging sinks list

    Per visualizzare l'elenco dei sink aggregati, utilizza l'opzione appropriata per specificare la risorsa che contiene il sink. Per Ad esempio, se hai creato il sink a livello di organizzazione, utilizza --organization=ORGANIZATION_ID opzione per elencare le per l'organizzazione.

  • Per descrivere un'area di destinazione, utilizza il comando gcloud logging sinks describe che corrisponde al metodo dell'API Logging projects.sinks.get:

    gcloud logging sinks describe SINK_NAME

  • Per aggiornare un sink, utilizza gcloud logging sinks update che corrisponde al metodo API projects.sink.update.

    Puoi aggiornare un sink per modificare destinazione, filtri descrizione o per disattivare o riattivare il sink:

    gcloud logging sinks update SINK_NAME NEW_DESTINATION --log-filter=NEW_FILTER

    Ometti NEW_DESTINATION o --log-filter se queste parti non cambiano.

    Ad esempio, per aggiornare la destinazione dell'emissario my-project-sink con una nuova destinazione del bucket Cloud Storage my-second-gcs-bucket, il comando sarà il seguente:

    gcloud logging sinks update  my-project-sink storage.googleapis.com/my-second-gcs-bucket

  • Per disabilitare un sink, utilizza gcloud logging sinks update che corrisponde al metodo API projects.sink.update, e includi l'opzione --disabled:

    gcloud logging sinks update SINK_NAME --disabled

    Per riattivare il canale, utilizza il comando gcloud logging sinks update rimuovi l'opzione --disabled e includi l'opzione --no-disabled:

    gcloud logging sinks update SINK_NAME --no-disabled

  • Per eliminare un'area di destinazione, utilizza il comando gcloud logging sinks delete che corrisponde al metodo dell'API projects.sinks.delete:

    gcloud logging sinks delete SINK_NAME

    Per ulteriori informazioni sulla gestione dei sink tramite Google Cloud CLI, consulta Riferimento gcloud logging sinks.

REST

  • Per visualizzare i sink per il tuo progetto Google Cloud, chiama projects.sinks.list.

  • Per visualizzare i dettagli di un sink, chiama projects.sinks.get

  • Per aggiornare un sink, chiama projects.sink.update

    Puoi aggiornare la destinazione, i filtri e la descrizione di un sink. Puoi anche disattivare o riattivare il sink.

  • Per disabilitare un sink, imposta il campo disabled nell'oggetto LogSink su true, quindi chiama projects.sink.update.

    Per riattivare il sink, imposta il campo disabled nell'oggetto LogSink su false e poi chiama projects.sink.update.

  • Per eliminare un sink, chiama projects.sinks.delete

    Per ulteriori informazioni sulla gestione dei sink mediante per l'API Logging, consulta la documentazione di riferimento di LogSink.

Interrompi l'archiviazione delle voci di log nei bucket di log

Puoi disabilitare il sink _Default e tutti i sink definiti dall'utente. Quando disabilita un sink, il sink interrompe il routing delle voci di log alla sua destinazione. Ad esempio, se disattivi il sink _Default, nessuna voce di log viene indirizzata al bucket _Default. Il _Default bucket diventa vuoto quando tutte le voci di log memorizzate in precedenza hanno soddisfatto il periodo di conservazione del bucket.

Le seguenti istruzioni spiegano come disabilita i sink del progetto Google Cloud che instradano le voci di log _Default bucket di log:

Console

  1. Nella console Google Cloud, vai alla pagina Log Router:

    Vai a Router dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Per trovare tutti i sink che instradano le voci di log al bucket di log _Default, filtra i sink in base alla destinazione e inserisci _Default.

  3. Per ogni sink, seleziona Menu e quindi seleziona Disattiva sink.

    I sink sono ora disattivati e i sink del progetto Google Cloud non indirizzano più le voci di log al bucket _Default.

Per riattivare un sink disattivato e riavviare le voci di log del sink di destinazione, procedi nel seguente modo:

  1. Nella console Google Cloud, vai alla pagina Router dei log:

    Vai a Router dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Per trovare tutti i sink che instradano le voci di log al bucket di log _Default, filtra i sink in base alla destinazione e inserisci _Default.
  3. Per ogni canale, seleziona Menu e poi Attiva canale.

gcloud

  1. Per visualizzare l'elenco dei canali per il tuo progetto Google Cloud, utilizza il comando gcloud logging sinks list che corrisponde al metodo dell'API Logging projects.sinks.list:

    gcloud logging sinks list

  2. Identifica tutti i sink che eseguono il routing al bucket di log _Default. Per descrivere un sink, inclusa la visualizzazione del nome di destinazione, utilizza il metodo gcloud logging sinks describe che corrisponde al metodo dell'API Logging projects.sinks.get:

    gcloud logging sinks describe SINK_NAME

  3. Esegui l' gcloud logging sinks update e includi l'opzione --disabled. Ad esempio, per disattivare la destinazione _Default, utilizza il seguente comando:

    gcloud logging sinks update _Default  --disabled

    Il sink _Default è ora disabilitato. non instrada più le voci di log del bucket di log _Default.

a disabilitare gli altri sink nel progetto Google Cloud che eseguono il routing al bucket _Default, ripeti i passaggi precedenti.

Per riattivare un sink, utilizza il metodo gcloud logging sinks update rimuovi l'opzione --disabled e includi --no-disabled :

gcloud logging sinks update _Default  --no-disabled

REST

  1. Per visualizzare i canali di destinazione per il tuo progetto Google Cloud, chiama il metodo projects.sinks.list dell'API Logging.

    Identifica tutti i sink di routing al bucket _Default.

  2. Ad esempio, per disabilitare il sink _Default, Impostare il campo disabled nell'oggetto LogSink su true, quindi chiama projects.sink.update.

    Il sink _Default è ora disabilitato. non instrada più le voci di log il bucket _Default.

Per disattivare gli altri sink nel progetto Google Cloud che indirizzano i dati al bucket _Default, ripeti i passaggi precedenti.

Per riattivare un sink, imposta il campo disabled nell'oggetto LogSink su false e poi chiama projects.sink.update.

Impostare le autorizzazioni di destinazione

Questa sezione descrive come concedere a Logging il Autorizzazioni Identity and Access Management per scrivere voci di log nella destinazione del sink. Per l'elenco completo di ruoli e autorizzazioni di Logging, consulta Controllo dell'accesso.

Cloud Logging crea un account di servizio condiviso per una risorsa quando il sink viene creato, a meno che l'account di servizio richiesto non esista già. L'account di servizio potrebbe esistere perché viene utilizzato lo stesso account di servizio tutti i sink nella risorsa sottostante. Le risorse possono essere un progetto Google Cloud, un'organizzazione, una cartella o un account di fatturazione.

L'identità autore di un canale di destinazione è l'identificatore dell'account di servizio associato al canale di destinazione. Tutti i canali di destinazione hanno un'identità di autore, ad eccezione di quelli che scrivono in un bucket di log nello stesso progetto Google Cloud in cui ha origine la voce di log. Per quest'ultima configurazione, non è richiesto un account di servizio, pertanto il campo identità autore del sink è indicato come None nella console. L'API e i comandi Google Cloud CLI non riportano l'identità di un autore.

Le seguenti istruzioni si applicano a progetti, cartelle, organizzazioni e account di fatturazione:

Console

  1. Assicurati di avere l'accesso come proprietario alla progetto Google Cloud che contiene la destinazione. Se non disponi dell'accesso Proprietario alla destinazione dell'eseguitore, chiedi a un proprietario del progetto di aggiungere l'identità dell'autore come principale.

  2. Per ottenere l'identità dello scrittore dell'area di destinazione, ovvero un indirizzo email, dal nuovo flusso:

    1. Nella console Google Cloud, vai alla pagina Router dei log:

      Vai a Router dei log

      Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

    2. Nella barra degli strumenti, seleziona il progetto che contiene l'emissario.
    3. Seleziona Menu e poi Visualizza dettagli della canalizzazione. L'identità dell'autore viene visualizzata nella Riquadro Dettagli sink.

  3. Se il valore del campo writerIdentity contiene un indirizzo email, vai al passaggio successivo. Quando il valore è None, non devi configurare le autorizzazioni di destinazione per il sink.

  4. Copia l'identità dello scrittore della destinazione negli appunti.

  5. Se la destinazione è un servizio in un progetto diverso o in un altro progetto, seleziona il progetto di destinazione nella barra degli strumenti.

  6. Aggiungi l'account di servizio come entità IAM nel progetto di destinazione:

    1. Nella console Google Cloud, vai alla pagina IAM:

      Vai a IAM

      Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo IAM e amministrazione.

    2. Seleziona il progetto di destinazione.

    3. Fai clic su Concedi accesso.

    4. Concedi all'account di servizio il ruolo IAM richiesto:

      • Per le destinazioni Cloud Storage, aggiungi l'identità dello scrittore del canale come entità utilizzando IAM e poi concedile il ruolo Creatore oggetti Storage (roles/storage.objectCreator).
      • Per le destinazioni BigQuery, aggiungi l'identità writer del sink come entità mediante IAM, quindi assegnale Ruolo di Editor dati BigQuery (roles/bigquery.dataEditor).
      • Per le destinazioni Pub/Sub, incluso Splunk, aggiungi l'identità writer del sink come entità mediante IAM, quindi assegnale Ruolo di Publisher Pub/Sub (roles/pubsub.publisher).
      • Per le destinazioni dei bucket di log in diversi progetti Google Cloud, aggiungi l'identità dello scrittore dell'emissario come entità utilizzando IAM, quindi concedile il ruolo Scrittore del bucket di log (roles/logging.bucketWriter).
      • Per le destinazioni dei progetti Google Cloud, aggiungi il parametro writer come entità mediante IAM, quindi assegnargli Ruolo Writer log (roles/logging.logWriter). Nello specifico, un'entità ha bisogno Autorizzazione logging.logEntries.route.

gcloud

  1. Assicurati di avere l'accesso come proprietario alla progetto Google Cloud che contiene la destinazione. Se non hai l'accesso come Proprietario alla destinazione del sink, quindi chiedi a un proprietario del progetto di aggiungere l'identità writer come entità.

  2. Recupera l'account di servizio dal campo writerIdentity nel tuo sink:

    gcloud logging sinks describe SINK_NAME

  3. Individua il sink di cui vuoi modificare le autorizzazioni e, se i dettagli del sink contengono una riga con writerIdentity, vai al passaggio successivo. Se i dettagli non includono un campo writerIdentity , non è necessario configurare le autorizzazioni di destinazione per il collettore.

    L'identità writer per l'account di servizio è simile alla seguenti:

    serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com

  4. Aggiungi l'account di servizio come entità IAM nel progetto di destinazione:

    Prima di utilizzare il seguente comando, effettua le seguenti sostituzioni:

    • PROJECT_ID: l'identificatore del progetto.
    • PRINCIPAL: un identificatore per l'entità da utilizzare concedere il ruolo. Di solito, gli identificatori entità hanno il seguente formato: PRINCIPAL-TYPE:ID. Ad esempio: user:my-user@example.com. Per un elenco completo dei formati che PRINCIPAL può avere, consulta gli identificatori entità.

    • ROLE: un ruolo IAM.

      • Per le destinazioni Cloud Storage, aggiungi l'identità dello scrittore del sink come entità utilizzando IAM, quindi concedile il ruolo Creatore oggetti Storage (roles/storage.objectCreator).
      • Per le destinazioni BigQuery, aggiungi l'identità dello scrittore del canale come principale utilizzando IAM e poi concedi il ruolo Editor dati BigQuery (roles/bigquery.dataEditor).
      • Per le destinazioni Pub/Sub, tra cui Splunk, aggiungi l'identità dello scrittore del sink come entità utilizzando IAM e poi concedile il ruolo Publisher Pub/Sub (roles/pubsub.publisher).
      • Per le destinazioni dei bucket di log in progetti Google Cloud diversi, aggiungi l'identità dello scrittore dello scarico come entità utilizzando IAM e poi concedi il ruolo Scrittore di bucket di log (roles/logging.bucketWriter).
      • Per le destinazioni dei progetti Google Cloud, aggiungi il nome del sink writer come entità mediante IAM, quindi assegnargli Ruolo Writer log (roles/logging.logWriter). Nello specifico, un'entità ha bisogno Autorizzazione logging.logEntries.route.

    Esegui il comando gcloud projects add-iam-policy-binding:

    gcloud projects add-iam-policy-binding PROJECT_ID --member=PRINCIPAL --role=ROLE

REST

Ti consigliamo di utilizzare la console Google Cloud o Google Cloud CLI per concedere un ruolo all'account di servizio.

Limitazioni delle destinazioni

Questa sezione descrive le limitazioni specifiche per la destinazione:

  • Se esegui il routing delle voci di log in un bucket di log in un altro progetto Google Cloud, Error Reporting non analizza queste voci di log. Per saperne di più, consulta Panoramica di Error Reporting.
  • Se esegui il routing delle voci di log a BigQuery, Il set di dati BigQuery deve essere abilitato per la scrittura. Non puoi instradare le voci di log ai set di dati collegati, che sono di sola lettura.

  • Quando inoltri le voci di log a diversi progetti Google Cloud, si applicano le seguenti limitazioni:

    • Esiste un limite di un hop.

      Ad esempio, se esegui il routing delle voci di log da progetto A al progetto B, quindi non puoi instradare le voci di log da progetto B a un altro progetto.

    • I log di controllo non vengono indirizzati al bucket di log _Required nel progetto di destinazione.

      Ad esempio, se esegui il routing delle voci di log dal progetto A a nel progetto B, il bucket di log _Required nel progetto A conterrà gli audit log per il progetto A. I log di controllo per il progetto A non vengono indirizzati al progetto B. Per eseguire il routing di queste voci di log, crea un sink è un bucket di log.

    • Quando il progetto di destinazione si trova in una cartella o un'organizzazione diversa, i canali di destinazione aggregati in quella cartella o organizzazione non indirizzano la voce di log.

      Ad esempio, supponiamo che il progetto A si trovi nella cartella X. Quando una voce di log ha origine nel progetto A, la voce di log viene elaborata i sink aggregati nella cartella X e i sink nel progetto A. Adesso supponiamo che il progetto A contenga un sink che instrada le sue voci di log a progetto B, che si trova nella cartella Y. Le voci di log del progetto A passano attraverso gli sink nel progetto B, ma non passano attraverso gli sink aggregati nella cartella Y.

  • Per utilizzare Esplora log per visualizzare le voci di log inviate a un progetto utilizzando un'area di destinazione aggregata, imposta il campo Perfeziona ambito sull'ambito di archiviazione e poi seleziona una visualizzazione di log che fornisca l'accesso a queste voci.

Esempi di codice

Per utilizzare il codice della libreria client per configurare i sink nei linguaggi che hai scelto, consulta Librerie client di Logging: sink di log.

Esempi di filtro

Di seguito sono riportati alcuni esempi di filtri particolarmente utili durante la creazione lavandini. Per ulteriori esempi che potrebbero essere utili durante la creazione dei filtri di inclusione e di esclusione, consulta Query di esempio.

Ripristina il filtro di scarico _Default

Se hai modificato il filtro per il sink _Default, potrebbe essere necessario ripristinare per questo sink alla sua configurazione originale. Una volta creato, il sink _Default viene configurato con il seguente filtro di inclusione e un filtro di esclusione vuoto:

  NOT log_id("cloudaudit.googleapis.com/activity") AND NOT \
  log_id("externalaudit.googleapis.com/activity") AND NOT \
  log_id("cloudaudit.googleapis.com/system_event") AND NOT \
  log_id("externalaudit.googleapis.com/system_event") AND NOT \
  log_id("cloudaudit.googleapis.com/access_transparency") AND NOT \
  log_id("externalaudit.googleapis.com/access_transparency")

Escludere i log dei container e dei pod di Google Kubernetes Engine

Per escludere le voci dei log dei container e dei pod di Google Kubernetes Engine per il sistema GKE namespaces, utilizza il seguente filtro:

resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

Per escludere le voci di log dei nodi di Google Kubernetes Engine per GKE sistema logNames, usa il seguente filtro:

resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")

visualizzare il volume delle voci di log di nodi, pod e container di Google Kubernetes Engine nei bucket di log, usa Metrics Explorer:

Escludi i log di Dataflow non necessari per la supportabilità

Per escludere le voci di log di Dataflow che non sono richieste per supportabilità, usa il seguente filtro:

resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"

Per visualizzare il volume dei log di Dataflow archiviati nei bucket di log, usa Metrics Explorer.

Supportabilità

Sebbene Cloud Logging ti consenta di escludere le voci di log e di impedirne la memorizzazione in un bucket di log, potresti prendere in considerazione la possibilità di conservare le voci di log utili per la supportabilità. L'utilizzo di queste voci di log può aiutarti a risolvere e identificare i problemi con le tue applicazioni.

Ad esempio, le voci di log di sistema di GKE risolvere i problemi alle tue applicazioni e ai tuoi cluster GKE perché generati per gli eventi che si verificano nel cluster. Queste voci di log possono aiutarti determinare se il codice dell'applicazione o il cluster GKE sottostante causa un errore dell'applicazione. I log di sistema GKE includono anche il logging di controllo di Kubernetes generato dal componente del server API Kubernetes, che include le modifiche apportate utilizzando il comando kubectl e gli eventi Kubernetes.

Per Dataflow, ti consigliamo, come minimo, di scrivere il tuo sistema log (labels."dataflow.googleapis.com/log_type"="system") e supportabilità (labels."dataflow.googleapis.com/log_type"="supportability") in bucket di log. Questi log essenziali per l'osservazione e la risoluzione dei problemi di Dataflow, e gli utenti potrebbero non essere in grado di usare Dataflow Dettagli job per visualizzare i log dei job.

Passaggi successivi