Esegui il routing dei log nelle destinazioni supportate

Questo documento spiega come creare e gestire i sink, ovvero le voci di log delle route che hanno origine in un progetto Google Cloud, verso destinazioni supportate.

Quando la destinazione di un sink non è un bucket di log nel progetto Google Cloud da cui ha origine una voce di log, è necessario un account di servizio. Cloud Logging crea e gestisce automaticamente questo account di servizio. ma potresti dover modificare le autorizzazioni concesse l'account di servizio. Puoi creare e gestire un account di servizio usato dai sink in più progetti. Per ulteriori informazioni, vedi Configura sink di log con account di servizio gestiti dall'utente.

Panoramica

I sink determinano il modo in cui Cloud Logging delle route. Con i sink, puoi indirizzare alcuni o tutti i tuoi le voci di log nelle seguenti destinazioni:

  • Bucket Cloud Logging: fornisce spazio di archiviazione in Cloud Logging. Un bucket di log può archiviare le voci di log ricevute da più progetti Google Cloud. Il bucket di log può trovarsi nello stesso progetto in cui hanno origine le voci di log. in un altro progetto. Puoi combinare I dati di Cloud Logging con altri dati eseguendo l'upgrade di un bucket di log da utilizzare Analisi dei log e creazione di un set di dati BigQuery collegato. Per informazioni sulla visualizzazione delle voci di log archiviate nei bucket di log, consulta Panoramica delle query e delle visualizzazioni dei log e visualizzare i log con routing ai bucket Cloud Logging.
  • Set di dati BigQuery: fornisce l'archiviazione delle voci di log in set di dati BigQuery. Il set di dati BigQuery può trovarsi nello stesso progetto in cui si trovano le voci di log o in un altro progetto. Puoi utilizzare le funzionalità di analisi dei big data sulle voci di log archiviate. Per combinare i dati di Cloud Logging con altri origini dati, ti consigliamo di eseguire l'upgrade dei bucket di log Analisi dei log e poi creare un set di dati BigQuery collegato. Per informazioni sulla visualizzazione delle voci di log indirizzate a BigQuery, consulta Visualizza i log indirizzati a BigQuery.
  • Bucket Cloud Storage: fornisce l'archiviazione delle voci di log in Cloud Storage. Il bucket Cloud Storage può trovarsi nello stesso progetto in cui sono presenti le voci di log o in un altro progetto. Le voci di log vengono archiviate come file JSON. Per informazioni sulla visualizzazione delle voci di log indirizzate a Cloud Storage: consulta Visualizzare i log con routing a Cloud Storage.

  • Argomento Pub/Sub: fornisce assistenza per le piattaforme di terze parti come integrazioni Splunk. Le voci di log vengono formattate in JSON e quindi instradate a un Pub/Sub per ogni argomento. L'argomento può trovarsi nello stesso progetto in cui si trovano le voci di log o in un altro progetto. Per informazioni sulla visualizzazione delle voci di log indirizzate a vedi Pub/Sub, Visualizza i log con routing a Pub/Sub.

  • Progetto Google Cloud: esegui il routing delle voci di log a un altro progetto Google Cloud. Nella configurazione, i sink nel progetto di destinazione elaborano le voci di log.

I sink appartengono a una determinata risorsa Google Cloud: un account di fatturazione, una cartella o un'organizzazione. Quando la risorsa riceve un voce di log, ogni sink nella risorsa elabora la voce di log. Quando la voce di log corrisponde ai filtri del sink, la voce di log viene indirizzato alla destinazione del sink.

In genere, i sink instradano solo le voci di log che hanno origine da una risorsa. Tuttavia, per le cartelle e le organizzazioni puoi creare sink aggregati, le voci di log della route dalla cartella o dall'organizzazione e risorse che contiene. Questo documento non tratta e aggregati. Per ulteriori informazioni, vedi Facolta e instrada i log a livello di organizzazione verso le destinazioni supportate.

Per creare e gestire i sink, puoi usare la console Google Cloud, l'API Cloud Logging e Google Cloud CLI. È consigliabile utilizzi la console Google Cloud:

  • La pagina Router dei log elenca tutti i sink e fornisce opzioni per per gestire i lavandini.
  • Quando crei un sink, puoi visualizzare in anteprima le voci di log corrispondenti dai filtri del sink.
  • Quando crei un sink, puoi configurare le destinazioni dei sink.
  • Alcuni passaggi di autorizzazione sono stati completati automaticamente.

Prima di iniziare

Le istruzioni in questo documento descrivono la creazione e la gestione dei sink a livello di progetto Google Cloud. Puoi utilizzare la stessa procedura per creare un sink che instrada le voci di log che hanno origine in un'organizzazione, una cartella account di fatturazione.

Per iniziare, segui questi passaggi:

  1. Attiva l'API Cloud Logging.

    Abilita l'API

  2. Assicurati che il progetto Google Cloud contenga voci di log che possano essere visualizzate in Esplora log.

  3. Per ottenere le autorizzazioni necessarie per creare, modificare o eliminare un sink, chiedi all'amministratore di concederti Ruolo IAM Autore configurazione log (roles/logging.configWriter) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

    Per informazioni sulla concessione dei ruoli IAM, consulta la guida al controllo dell'accesso di Logging.

  4. Hai una risorsa in una destinazione supportata oppure poterne creare uno.

    Per eseguire il routing delle voci di log a una destinazione, la destinazione deve esistere prima tu crei il sink. Puoi creare la destinazione in qualsiasi progetto Google Cloud in qualsiasi organizzazione.

  5. Prima di creare un sink, esamina le limitazioni che si applicano al del sink. Per ulteriori informazioni, consulta Limitazioni della destinazione di questo documento.

Creazione di un sink

Di seguito sono riportate le istruzioni per creare un sink in un progetto Google Cloud. Puoi utilizzare la stessa procedura per eseguire il routing delle voci di log che hanno origine Un'organizzazione, una cartella o un account di fatturazione:

  • Puoi creare fino a 200 sink per progetto Google Cloud.
  • Non inserire informazioni sensibili nei filtri del sink. I filtri sink vengono trattati come dati di servizio.
  • Potrebbero essere necessarie diverse ore prima che i nuovi sink nei bucket Cloud Storage e avviare le voci di log del routing. I sink in Cloud Storage vengono elaborati ogni ora, mentre gli altri tipi di destinazioni vengono elaborati in tempo reale.
  • I sink non definiscono lo schema per i set di dati BigQuery. La prima voce di log ricevuta da BigQuery determina invece schema per la tabella di destinazione. Per ulteriori informazioni, vedi Schema di BigQuery per i log con routing.

Per creare un sink, segui questi passaggi:

Console

  1. Nella console Google Cloud, vai alla pagina Router dei log:

    Vai a Router dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Seleziona il progetto Google Cloud in cui si trovano le voci di log che che vuoi instradare.

    Ad esempio, se vuoi eseguire il routing delle voci di log di accesso ai dati da del progetto denominato Project-A in un bucket di log nel progetto denominato Project-B, quindi seleziona Project-A.

  3. Seleziona Crea sink.

  4. Nel riquadro Dettagli sink, inserisci i seguenti dettagli:

    • Nome sink: fornisci un identificatore per il sink; tieni presente che dopo creare il sink, non puoi rinominarlo, ma puoi eliminarlo e creare un nuovo sink.

    • (Facoltativo) Descrizione sink: descrivi lo scopo o il caso d'uso per nel lavandino.

  5. Nel riquadro Destinazione sink, seleziona il servizio sink e usando il menu Seleziona servizio sink. Esegui una delle seguenti:

    • Per eseguire il routing delle voci di log a un servizio corrispondente progetto Google Cloud, seleziona una delle seguenti opzioni:

      • Set di dati BigQuery: seleziona o crea l'elemento per ricevere le voci di log instradate. Hai anche la possibilità di per utilizzare tabelle partizionate.
      • Bucket Cloud Storage: seleziona o crea l'elemento Bucket Cloud Storage per ricevere le voci di log instradate.
      • Argomento Pub/Sub: seleziona o crea l'elemento per ricevere le voci di log indirizzate.
      • Splunk: seleziona l'argomento Pub/Sub per il tuo Splunk completamente gestito di Google Cloud.

    • Per eseguire il routing delle voci di log a un altro progetto Google Cloud, seleziona Progetto Google Cloud, quindi inserisci il nome completo per la destinazione. Per informazioni sulla sintassi, consulta Formati del percorso di destinazione:

    • a eseguire il routing delle voci di log a un servizio che si trova in un altro progetto Google Cloud, segui questi passaggi:

      1. Seleziona Altre risorse.
      2. Inserisci il nome completo della destinazione. Per informazioni sulla sintassi, consulta Formati del percorso di destinazione:

  6. Specifica le voci di log da includere:

    1. Vai al riquadro Scegli i log da includere nel sink.

    2. Nel campo Crea filtro di inclusione, inserisci un'espressione di filtro che corrisponda alle voci di log che vuoi includere. Per scoprire di più su la sintassi per la scrittura dei filtri, consulta Linguaggio di query di Logging.

      Se non imposti un filtro, verranno applicate tutte le voci di log della risorsa selezionata. vengono indirizzati alla destinazione.

      Ad esempio, per instradare tutte le voci di log di accesso ai dati a un Logging, puoi utilizzare il filtro seguente:

      log_id("cloudaudit.googleapis.com/data_access") OR log_id("externalaudit.googleapis.com/data_access")

      La lunghezza di un filtro non può superare i 20.000 caratteri.

    3. Per verificare di aver inserito il filtro corretto, seleziona Anteprima log. Esplora log si apre in una nuova scheda con il filtro precompilati.

  7. (Facoltativo) Configurare un filtro di esclusione per eliminare alcuni dei voci di log incluse:

    1. Vai al riquadro Scegli i log da filtrare dal sink.

    2. Nel campo Nome filtro di esclusione, inserisci un nome.

    3. Nel campo Crea un filtro di esclusione, inserisci un un'espressione di filtro corrisponde alle voci di log che vuoi escludere. Puoi utilizzare anche Funzione sample per selezionare una parte delle voci di log da escludere.

    Puoi creare fino a 50 filtri di esclusione per un lavandino. Tieni presente che la lunghezza di un filtro non può superare 20.000 caratteri.

  8. Seleziona Crea sink.

  9. Concedi all'account di servizio per il sink l'autorizzazione per scrivere voci di log alla destinazione del sink. Per ulteriori informazioni, vedi Imposta le autorizzazioni della destinazione.

API

  1. Per creare un sink di logging nel progetto Google Cloud, utilizza projects.sinks.create nell'API Logging. Nella LogSink , fornisci i valori obbligatori appropriati nella richiesta corpo del testo:

    • name: un identificatore del sink. Tieni presente che, dopo aver creato non puoi rinominare il sink, ma puoi eliminarlo e creare un un nuovo lavandino.

    • destination: il servizio e la destinazione dove vuoi che le voci di log instradate. Per eseguire il routing delle voci di log a un progetto diverso, o verso una destinazione si trova in un altro progetto, imposta il campo destination con percorso appropriato, come descritto Formati del percorso di destinazione:

      Ad esempio, se la destinazione del sink è Pub/Sub l'argomento destination avrà il seguente aspetto:

      pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

  2. Nell'oggetto LogSink, fornisci il campo facoltativo appropriato informazioni:

    • filter : imposta filter in corrispondenza delle voci di log che vuoi includere nel sink. Se non imposti un filtro, tutte le voci di log del tuo dei progetti Google Cloud indirizzate alla destinazione. Tieni presente che la lunghezza di un filtro non può superare i 20.000 caratteri.
    • exclusions: imposta questo campo in modo che corrisponda alle voci di log che preferisci escludere dal sink. Puoi utilizzare anche Funzione sample per selezionare una parte delle voci di log da escludere. Puoi creare al massimo 50 filtri di esclusione per sink.
    • description: imposta questo campo per descrivere lo scopo o il caso d'uso per nel lavandino.

  3. Chiama projects.sinks.create per creare il sink.

  4. Se la risposta dell'API contiene una chiave JSON con l'etichetta "writerIdentity", e poi concedi all'account di servizio del sink l'autorizzazione per scrivere della destinazione del sink. Per ulteriori informazioni, consulta Impostare le autorizzazioni della destinazione.

    Non è necessario impostare le autorizzazioni di destinazione quando la risposta dell'API non contiene una chiave JSON con l'etichetta "writerIdentity".

Per ulteriori informazioni sulla creazione di sink utilizzando per l'API Logging, consulta la documentazione di riferimento di LogSink.

gcloud

Per creare un sink, segui questi passaggi:

  1. Esegui il seguente gcloud logging sinks create :

    gcloud logging sinks create SINK_NAME SINK_DESTINATION

    Prima di eseguire il comando, effettua queste sostituzioni:

    • SINK_NAME: il nome del sink di log. Non puoi modificare il nome di un sink dopo averlo creato.

    • SINK_DESTINATION: il servizio o il progetto dove vuoi instradare le voci di log. Imposta SINK_DESTINATION con il percorso appropriato, come descritto in Formati del percorso di destinazione:

      Ad esempio, se la destinazione del sink è Pub/Sub per ogni argomento, SINK_DESTINATION avrà il seguente aspetto:

      pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

    Puoi anche fornire le seguenti opzioni:

    • --log-filter : utilizza questa opzione per impostare un filtra che corrisponde alle voci di log che vuoi includere nel sink. Se non forniscono un valore per il filtro di inclusione, questo filtro corrisponde a tutte le voci di log.
    • --exclusion: utilizza questa opzione per impostare un filtro di esclusione per le voci di log in cui vuoi escludere il sink dal routing. Puoi utilizzare anche Funzione sample per selezionare una parte delle voci di log da escludere. Questa opzione può essere ripetuto; puoi creare fino a 50 filtri di esclusione per sink.
    • --description: utilizza questa opzione per descrivere lo scopo o il caso d'uso per il lavandino.

    Ad esempio, per creare un sink in un bucket Logging, potrebbe avere il seguente aspetto:

    gcloud logging sinks create my-sink logging.googleapis.com/projects/myproject123/locations/global/buckets/my-bucket \
 --log-filter='logName="projects/myproject123/logs/matched"' --description="My first sink"

    Per ulteriori informazioni sulla creazione di sink utilizzando Google Cloud CLI, consulta Riferimento gcloud logging sinks.

  2. Se la risposta al comando contiene una chiave JSON con l'etichetta "writerIdentity", e poi concedi all'account di servizio del sink l'autorizzazione per scrivere della destinazione del sink. Per ulteriori informazioni, consulta Impostare le autorizzazioni della destinazione.

    Non è necessario impostare le autorizzazioni della destinazione quando la risposta non contiene una chiave JSON con l'etichetta "writerIdentity".

Se ricevi notifiche di errore, consulta Risolvi i problemi di routing e sink.

Formati percorso di destinazione

Se esegui il routing delle voci di log a un servizio che si trova in un altro progetto, devi fornisci al sink il nome completo del servizio. Analogamente, se esegui il routing delle voci di log a un progetto Google Cloud diverso, devi fornisci al sink il nome completo del progetto di destinazione:

  • Bucket di log di Cloud Logging:

    logging.googleapis.com/projects/DESTINATION_PROJECT_ID/locations/LOCATION/buckets/BUCKET_NAME

  • Un altro progetto Google Cloud:

    logging.googleapis.com/projects/DESTINATION_PROJECT_ID

  • Set di dati BigQuery:

    bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID

  • Cloud Storage:

    storage.googleapis.com/BUCKET_NAME

  • Argomento Pub/Sub:

    pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

Gestisci i sink

Dopo aver creato i sink, puoi eseguire le seguenti azioni sui sink. L'applicazione di qualsiasi modifica apportata a un sink potrebbe richiedere alcuni minuti:

  • Visualizza dettagli
  • Aggiorna

  • Disattiva

    • Non puoi disabilitare il sink _Required.
    • Puoi disabilitare il sink _Default per impedirgli di eseguire il routing delle voci di log a il bucket Logging _Default.
    • Se vuoi disattivare il sink _Default per qualsiasi nuovo i progetti o le cartelle Google Cloud creati nella tua organizzazione, quindi valuta la possibilità di configurare impostazioni predefinite delle risorse.

  • Elimina

    • Non puoi eliminare i sink _Default o _Required.
    • Quando elimini un sink, non instrada più le voci di log.
    • Se il sink ha un account di servizio dedicato, viene eliminato anche il sink l'account di servizio. Sink creati prima del giorno Il 22 maggio 2023 avranno account di servizio dedicati. Sink creati a partire dal 22 maggio 2023 avranno un account di servizio condiviso. L'eliminazione del sink non comporta l'eliminazione dell'account di servizio condiviso.

  • Risolvere gli errori

  • Visualizzare il volume dei log e le percentuali di errore

Di seguito sono riportate le istruzioni per gestire un sink in un progetto Google Cloud. Anziché un progetto Google Cloud, puoi specificare un account di fatturazione, cartella o organizzazione:

Console

  1. Nella console Google Cloud, vai alla pagina Router dei log:

    Vai a Router dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Nella barra degli strumenti, seleziona la risorsa che contiene il sink. La La risorsa può essere un progetto, una cartella, un'organizzazione o un account di fatturazione.

La pagina Router dei log mostra i sink nella risorsa selezionata. Ogni riga della tabella contiene informazioni sulle proprietà di un sink:

  • Attivato: indica se lo stato del sink è attivato o disattivato.
  • Tipo: il servizio di destinazione del sink; ad esempio Cloud Logging bucket.
  • Nome: l'identificatore del sink, fornito al momento della creazione del sink ad esempio _Default.
  • Descrizione: la descrizione del sink, come fornita quando il sink era è stato creato.
  • Destinazione: nome completo della destinazione a cui è stato indirizzato il log. vengono inviate correttamente.
  • Creato: la data e l'ora in cui è stato creato il sink.
  • Ultimo aggiornamento: la data e l'ora dell'ultima modifica del sink.

Per ogni riga della tabella, viene visualizzato il menu Altre azioni di offre le seguenti opzioni:

  • Visualizza dettagli sink: mostra nome, descrizione e servizio di destinazione, destinazione e filtri di inclusione ed esclusione. Selezionando Modifica, si apre il riquadro Modifica sink.
  • Modifica sink: apre il riquadro Modifica sink in cui puoi aggiornare il i parametri del sink.
  • Disattiva sink: consente di disattivare il sink e interrompere il routing delle voci di log alla del sink. Per ulteriori informazioni sulla disattivazione dei sink, consulta Interrompi l'archiviazione dei log nei bucket di log.
  • Attiva sink: consente di abilitare un sink disattivato e riavviare il routing le voci di log nella destinazione del sink.
  • Elimina sink: consente di eliminare il sink e interrompere il routing delle voci di log verso della destinazione del sink.
  • Sink dei problemi: apre Esplora log in cui puoi risolvere i problemi gli errori del sink.
  • Visualizza il volume di log e i tassi di errore del sink: apre Metrics Explorer dove puoi visualizzare e analizzare i dati dal sink.

Per ordinare la tabella in base a una colonna, seleziona il nome della colonna.

API

  • Per visualizzare i sink per il tuo progetto Google Cloud, chiama projects.sinks.list

  • Per visualizzare i dettagli di un sink, chiama projects.sinks.get

  • Per aggiornare un sink, chiama projects.sink.update

    Puoi aggiornare la destinazione, i filtri e la descrizione di un sink. Puoi anche disattivare o riattivare il sink.

  • Per disabilitare un sink, imposta il campo disabled nell'oggetto LogSink su true, quindi chiama projects.sink.update.

    Per riattivare il sink, imposta il campo disabled nell'oggetto LogSink su false, quindi chiama projects.sink.update.

  • Per eliminare un sink, chiama projects.sinks.delete

    Per ulteriori informazioni sulla gestione dei sink mediante per l'API Logging, consulta la documentazione di riferimento di LogSink.

gcloud

  • Per visualizzare l'elenco dei sink per il progetto Google Cloud, utilizza la gcloud logging sinks list che corrisponde al metodo dell'API Logging projects.sinks.list:

    gcloud logging sinks list

    Per visualizzare l'elenco di sink aggregati, utilizza i valori l'opzione appropriata per specificare la risorsa che contiene il sink. Per Ad esempio, se hai creato il sink a livello di organizzazione, utilizza --organization=ORGANIZATION_ID opzione per elencare le per l'organizzazione.

  • Per descrivere un sink, utilizza gcloud logging sinks describe che corrisponde al metodo dell'API Logging projects.sinks.get:

    gcloud logging sinks describe SINK_NAME

  • Per aggiornare un sink, utilizza gcloud logging sinks update che corrisponde al metodo API projects.sink.update.

    Puoi aggiornare un sink per modificare destinazione, filtri descrizione o per disattivare o riattivare il sink:

    gcloud logging sinks update SINK_NAME NEW_DESTINATION --log-filter=NEW_FILTER

    Ometti NEW_DESTINATION o --log-filter se queste parti non cambiano.

    Ad esempio, per aggiornare la destinazione del sink denominato my-project-sink a una nuova destinazione del bucket Cloud Storage denominato my-second-gcs-bucket, il tuo comando ha questo aspetto:

    gcloud logging sinks update  my-project-sink storage.googleapis.com/my-second-gcs-bucket

  • Per disabilitare un sink, utilizza gcloud logging sinks update che corrisponde al metodo API projects.sink.update, e includi l'opzione --disabled:

    gcloud logging sinks update SINK_NAME --disabled

    Per riattivare il sink, utilizza il gcloud logging sinks update rimuovi l'opzione --disabled e includi --no-disabled :

    gcloud logging sinks update SINK_NAME --no-disabled

  • Per eliminare un sink, utilizza gcloud logging sinks delete che corrisponde al metodo API projects.sinks.delete:

    gcloud logging sinks delete SINK_NAME

    Per ulteriori informazioni sulla gestione dei sink tramite Google Cloud CLI, consulta Riferimento gcloud logging sinks.

Interrompi l'archiviazione delle voci di log nei bucket di log

Puoi disabilitare il sink _Default e tutti i sink definiti dall'utente. Quando disabilita un sink, il sink interrompe il routing delle voci di log alla sua destinazione. Ad esempio, se disabiliti il sink _Default, non verrà visualizzata alcuna voce di log indirizzato al bucket _Default. La Il bucket _Default diventa vuoto quando tutte le voci di log memorizzate in precedenza soddisfano i requisiti del bucket periodo di conservazione.

Le seguenti istruzioni spiegano come disabilita i sink del progetto Google Cloud che instradano le voci di log _Default bucket di log:

Console

  1. Nella console Google Cloud, vai alla pagina Router dei log:

    Vai a Router dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Per trovare tutti i sink che instradano le voci di log al bucket di log _Default, filtra i sink in base alla destinazione e inserisci _Default.

  3. Per ogni sink, seleziona Menu e quindi seleziona Disattiva sink.

    I sink sono ora disabilitati e il tuo progetto Google Cloud non genera più sink più lunghe voci di log per il bucket _Default.

Per riattivare un sink disattivato e riavviare le voci di log del sink di destinazione, procedi nel seguente modo:

  1. Nella console Google Cloud, vai alla pagina Router dei log:

    Vai a Router dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Per trovare tutti i sink che instradano le voci di log al bucket di log _Default, filtra i sink in base alla destinazione e inserisci _Default.
  3. Per ogni sink, seleziona Menu e quindi seleziona Attiva sink.

API

  1. Per visualizzare i sink per il tuo progetto Google Cloud, chiama il metodo Metodo API Logging projects.sinks.list

    Identifica tutti i sink che eseguono il routing al bucket _Default.

  2. Ad esempio, per disabilitare il sink _Default, Impostare il campo disabled nell'oggetto LogSink su true, quindi chiama projects.sink.update.

    Il sink _Default è ora disabilitato. non instrada più le voci di log il bucket _Default.

a disabilitare gli altri sink nel progetto Google Cloud che eseguono il routing al bucket _Default, ripeti i passaggi precedenti.

Per riattivare un sink, imposta il campo disabled nell'oggetto LogSink su false, quindi chiama projects.sink.update.

gcloud

  1. Per visualizzare l'elenco dei sink per il progetto Google Cloud, utilizza la gcloud logging sinks list che corrisponde al metodo dell'API Logging projects.sinks.list:

    gcloud logging sinks list

  2. Identifica tutti i sink che eseguono il routing al bucket di log _Default. Per descrivere un sink, inclusa la visualizzazione del nome di destinazione, utilizza il metodo gcloud logging sinks describe che corrisponde al metodo dell'API Logging projects.sinks.get:

    gcloud logging sinks describe SINK_NAME

  3. Esegui l' gcloud logging sinks update e includi l'opzione --disabled. Ad esempio, per disattivare _Default, usa questo comando:

    gcloud logging sinks update _Default  --disabled

    Il sink _Default è ora disabilitato. non instrada più le voci di log del bucket di log _Default.

a disabilitare gli altri sink nel progetto Google Cloud che eseguono il routing al bucket _Default, ripeti i passaggi precedenti.

Per riattivare un sink, utilizza il metodo gcloud logging sinks update rimuovi l'opzione --disabled e includi --no-disabled :

gcloud logging sinks update _Default  --no-disabled

Imposta autorizzazioni per la destinazione

Questa sezione descrive come concedere a Logging il Autorizzazioni Identity and Access Management per scrivere voci di log nella destinazione del sink. Per l'elenco completo di ruoli e autorizzazioni di Logging, consulta Controllo dell'accesso.

Cloud Logging crea un account di servizio condiviso per una risorsa quando il sink viene creato, a meno che l'account di servizio richiesto non esista già. L'account di servizio potrebbe esistere perché viene utilizzato lo stesso account di servizio tutti i sink nella risorsa sottostante. Le risorse possono essere un progetto Google Cloud, un'organizzazione, una cartella o un account di fatturazione.

L'identità writer di un sink è l'identificatore del servizio associato al sink. Tutti i sink hanno un'identità writer, ad eccezione di sink che scrivono in un bucket di log nello stesso progetto Google Cloud in cui ha origine la voce di log. Per la seconda configurazione, un account di servizio non è obbligatorio, perciò il campo Identità autore del sink è elencato come None nella console. La L'API e i comandi Google Cloud CLI non segnalano un'identità writer.

Le seguenti istruzioni si applicano a progetti, cartelle, organizzazioni e account di fatturazione:

Console

    .

  1. Assicurati di avere l'accesso come proprietario alla progetto Google Cloud che contiene la destinazione. Se non hai l'accesso come Proprietario alla destinazione del sink, quindi chiedi a un proprietario del progetto di aggiungere l'identità writer come entità.

  2. Per ottenere l'identità writer del sink (un indirizzo email) dal nuovo sink, segui questi passaggi:

    1. Nella console Google Cloud, vai alla pagina Router dei log:

      Vai a Router dei log

      Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

    2. Nella barra degli strumenti, seleziona il progetto che contiene il sink.
    3. Seleziona Menu, quindi scegli Visualizza i dettagli del sink. L'identità dell'autore viene visualizzata nella Riquadro Dettagli sink.

  3. Se il valore del campo writerIdentity contiene un indirizzo email, quindi procedi al passaggio successivo. Quando il valore è None, non devi configurare le autorizzazioni di destinazione per il sink.

  4. Copia l'identità writer del sink negli appunti.

  5. Se la destinazione è un servizio in un progetto diverso o in un altro progetto, seleziona il progetto di destinazione nella barra degli strumenti.

  6. Aggiungi l'account di servizio come entità IAM nel progetto di destinazione:

    1. Nella console Google Cloud, vai alla pagina IAM:

      Vai a IAM

      Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo IAM e Console di amministrazione.

    2. Seleziona il progetto di destinazione.

    3. Fai clic su Concedi l'accesso.

    4. Concedi all'account di servizio il ruolo IAM richiesto:

      • Per le destinazioni Cloud Storage, aggiungi l'identità writer del sink come entità mediante IAM, quindi assegnale Ruolo Creatore oggetti Storage (roles/storage.objectCreator).
      • Per le destinazioni BigQuery, aggiungi l'identità writer del sink come entità mediante IAM, quindi assegnale Ruolo di Editor dati BigQuery (roles/bigquery.dataEditor).
      • Per le destinazioni Pub/Sub, incluso Splunk, aggiungi l'identità writer del sink come entità mediante IAM, quindi assegnale Ruolo di Publisher Pub/Sub (roles/pubsub.publisher).
      • Per le destinazioni dei bucket Logging in diverse Per i progetti Google Cloud, aggiungi l'identità writer del sink come entità utilizzando IAM e poi assegnargli Ruolo Writer bucket di log (roles/logging.bucketWriter).
      • Per le destinazioni dei progetti Google Cloud, aggiungi il parametro writer come entità mediante IAM, quindi assegnargli Ruolo Writer log (roles/logging.logWriter). Nello specifico, un'entità ha bisogno Autorizzazione logging.logEntries.route.

API

Ti consigliamo di utilizzare la console Google Cloud o Google Cloud CLI per concedere un ruolo all'account di servizio.

gcloud

  1. Assicurati di avere l'accesso come proprietario alla progetto Google Cloud che contiene la destinazione. Se non hai l'accesso come Proprietario alla destinazione del sink, quindi chiedi a un proprietario del progetto di aggiungere l'identità writer come entità.

  2. Recupera l'account di servizio dal campo writerIdentity del sink:

    gcloud logging sinks describe SINK_NAME

  3. Individua il sink di cui vuoi modificare le autorizzazioni e se il sink i dettagli contengono una riga con writerIdentity, poi procedi al passaggio successivo. Se i dettagli non includono un writerIdentity non devi configurare le autorizzazioni di destinazione nel lavandino.

    L'identità writer per l'account di servizio è simile alla seguenti:

    serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com

  4. Aggiungi l'account di servizio come entità IAM nel progetto di destinazione:

    Prima di utilizzare il seguente comando, apporta le seguenti sostituzioni:

    • PROJECT_ID: l'identificatore del progetto.
    • PRINCIPAL: un identificatore per l'entità da utilizzare concedere il ruolo. Di solito, gli identificatori entità hanno il seguente formato: PRINCIPAL-TYPE:ID. Ad esempio: user:my-user@example.com. Per un elenco completo dei formati che PRINCIPAL_ID può avere, consulta gli identificatori entità.

    • ROLE: un ruolo IAM.

      • Per le destinazioni Cloud Storage, aggiungi l'identità writer del sink come entità mediante IAM, quindi assegnale Ruolo Creatore oggetti Storage (roles/storage.objectCreator).
      • Per le destinazioni BigQuery, aggiungi l'identità writer del sink come entità mediante IAM, quindi assegnale Ruolo di Editor dati BigQuery (roles/bigquery.dataEditor).
      • Per le destinazioni Pub/Sub, incluso Splunk, aggiungi l'identità writer del sink come entità mediante IAM, quindi assegnale Ruolo di Publisher Pub/Sub (roles/pubsub.publisher).
      • Per le destinazioni dei bucket Logging in diverse Per i progetti Google Cloud, aggiungi l'identità writer del sink come entità utilizzando IAM e poi assegnargli Ruolo Writer bucket di log (roles/logging.bucketWriter).
      • Per le destinazioni dei progetti Google Cloud, aggiungi il parametro writer come entità mediante IAM, quindi assegnargli Ruolo Writer log (roles/logging.logWriter). Nello specifico, un'entità ha bisogno Autorizzazione logging.logEntries.route.

    Esegui la gcloud projects add-iam-policy-binding :

    gcloud projects add-iam-policy-binding PROJECT_ID --member=PRINCIPAL --role=ROLE

Limitazioni delle destinazioni

Questa sezione descrive le limitazioni specifiche della destinazione:

  • Se esegui il routing delle voci di log in un bucket di log in un altro progetto Google Cloud, Error Reporting non analizza queste voci di log. Per saperne di più, consulta Panoramica di Error Reporting.

  • Le seguenti limitazioni si applicano quando esegui il routing delle voci di log a diverse Progetti Google Cloud:

    • È previsto un limite di un solo hop.

      Ad esempio, se esegui il routing delle voci di log da progetto A al progetto B, quindi non puoi instradare le voci di log da progetto B a un altro progetto.

    • Gli audit log non vengono instradati al bucket di log _Required nella destinazione progetto.

      Ad esempio, se esegui il routing delle voci di log dal progetto A a nel progetto B, il bucket di log _Required nel progetto A conterrà gli audit log per il progetto A. Gli audit log per il progetto A non sono indirizzato al progetto B. Per eseguire il routing di queste voci di log, crea un sink è un bucket di log.

    • Quando il progetto di destinazione si trova in una cartella o un'organizzazione diversa, i sink aggregati in quella cartella o organizzazione indirizzare la voce di log.

      Ad esempio, supponiamo che il progetto A si trovi nella cartella X. Quando una voce di log ha origine nel progetto A, la voce di log viene elaborata i sink aggregati nella cartella X e i sink nel progetto A. Adesso supponiamo che il progetto A contenga un sink che instrada le sue voci di log a progetto B, che si trova nella cartella Y. Le voci di log del progetto A passa attraverso i sink nel progetto B; tuttavia, non passano dei sink aggregati nella cartella Y.

  • Per utilizzare Esplora log per visualizzare le voci di log instradate a un progetto Usando un sink aggregato, imposta il campo Perfeziona ambito su ambito di archiviazione e quindi seleziona una visualizzazione del log che fornisca l'accesso a queste voci di log.

Esempi di codice

Per utilizzare il codice della libreria client per configurare i sink nei linguaggi che hai scelto, consulta Librerie client di Logging: sink di log.

Esempi di filtro

Di seguito sono riportati alcuni esempi di filtri particolarmente utili durante la creazione lavandini. Per ulteriori esempi che potrebbero essere utili durante lo sviluppo dell'inclusione filtri di esclusione e filtri di esclusione, consulta Query di esempio.

Ripristina il filtro del sink _Default

Se hai modificato il filtro per il sink _Default, potrebbe essere necessario ripristinare per questo sink alla sua configurazione originale. Una volta creato, il sink _Default viene configurato con il seguente filtro di inclusione e un filtro di esclusione vuoto:

  NOT log_id("cloudaudit.googleapis.com/activity") AND NOT \
  log_id("externalaudit.googleapis.com/activity") AND NOT \
  log_id("cloudaudit.googleapis.com/system_event") AND NOT \
  log_id("externalaudit.googleapis.com/system_event") AND NOT \
  log_id("cloudaudit.googleapis.com/access_transparency") AND NOT \
  log_id("externalaudit.googleapis.com/access_transparency")

Escludi i log di container e pod di Google Kubernetes Engine

Per escludere le voci di log di container e pod di Google Kubernetes Engine per Sistema GKE namespaces, utilizza il filtro seguente:

resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

Per escludere le voci di log dei nodi di Google Kubernetes Engine per GKE sistema logNames, usa il seguente filtro:

resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")

visualizzare il volume delle voci di log di nodi, pod e container di Google Kubernetes Engine nei bucket di log, usa Metrics Explorer:

Escludi i log di Dataflow non richiesti per la supportabilità

Per escludere le voci di log di Dataflow che non sono richieste per supportabilità, usa il seguente filtro:

resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"

Per visualizzare il volume dei log di Dataflow archiviati nei bucket di log, usa Metrics Explorer.

Supportabilità

Sebbene Cloud Logging consenta di escludere e impedire le voci di log l'archiviazione in un bucket di log, prendi in considerazione la possibilità di conservare le voci di log per favorire la supportabilità. L'utilizzo di queste voci di log può aiutarti a risolvere e identificare i problemi con le tue applicazioni.

Ad esempio, le voci di log di sistema di GKE risolvere i problemi alle tue applicazioni e ai tuoi cluster GKE perché generati per gli eventi che si verificano nel cluster. Queste voci di log possono aiutarti determinare se il codice dell'applicazione o il cluster GKE sottostante causa un errore dell'applicazione. Log di sistema GKE includi anche l'audit logging di Kubernetes generato dal server API Kubernetes , che include le modifiche apportate con il comando kubectl e Kubernetes eventi.

Per Dataflow, ti consigliamo, come minimo, di scrivere il tuo sistema log (labels."dataflow.googleapis.com/log_type"="system") e supportabilità (labels."dataflow.googleapis.com/log_type"="supportability") in bucket di log. Questi log essenziali per l'osservazione e la risoluzione dei problemi di Dataflow, e gli utenti potrebbero non essere in grado di usare Dataflow Dettagli job per visualizzare i log dei job.

Passaggi successivi