Logausschlüsse

Auf dieser Seite wird beschrieben, wie Sie Logs aus der Datenaufnahme mit der Cloud Console und der Logging API ausschließen.

Mit Cloud Logging können Sie Logs aus Log-Buckets ausschließen, indem Sie den Logsenken, die Logs an Ihre Log-Buckets weiterleiten, einen Ausschlussfilter hinzufügen. Mit der Logging-Abfragesprache schreiben Sie einen Filter, der definiert, welche Logs aus dem Log-Bucket ausgeschlossen werden sollen.

Auf der Seite Log-Speicher wird das Logvolumen in Ihrem Projekt erfasst. Mit Logs Router können Sie alle Logsaufnahmen deaktivieren oder Logeinträge, die Sie nicht interessieren, ausschließen. Dadurch können Sie die Gebühren für Logs über Ihr Monatskontingent minimieren. Weitere Informationen dazu, wie ausgeschlossene Logeinträge behandelt werden, finden Sie auf dieser Seite unter Funktionsweise von Ausschlüssen.

Weitere Informationen zu Cloud Logging-Kosten finden sich unter Preise. Beachten Sie, dass Gebühren für das Generieren von VPC-Flusslogs berechnet werden, wenn Sie Virtual Private Cloud-Flusslogs senden und dann von Cloud Logging ausschließen.

Logvolumen verfolgen

Um das Logvolumen Ihres Projekts zu verfolgen, gehen Sie zur Seite Log-Speicher in der Cloud Logging Console:

Zum "Logspeicher"

Oben auf der Seite sehen Sie eine Statistik für die Logs, die Ihr Projekt erhält:

Statistiken zur Logspeicher-Nutzung

Die folgenden Statistiken werden gemeldet:

  • In diesem Monat aufgenommenes Logvolumen: Der Umfang der Logs, die das Projekt seit dem ersten Tag des aktuellen Monats empfangen hat.

  • Im letzten Monat aufgenommenes Logvolumen: Der Umfang der Logs, die das Projekt im letzten Kalendermonat empfangen hat.

  • Prognostizierte Logvolumen-Aufnahme: Der geschätzte Umfang der Logs, die das Projekt am Ende des aktuellen Monats empfangen wird, basierend auf der aktuellen Nutzung.

Folgende Audit-Logs sind in den Logvolumen nicht enthalten: Audit-Logs für Administratoraktivitäten und Audit-Logs für Systemereignisse. Diese kostenlosen Logs können nicht ausgeschlossen und nicht deaktiviert werden.

Funktionsweise von Ausschlüssen

Das folgende Diagramm zeigt, wie ausgeschlossene Logeinträge in Cloud Logging behandelt werden:

Weiterleitung von Logeinträgen durch Cloud Logging

Für ausgeschlossene Logeinträge gilt in Cloud Logging Folgendes:

  • Ausgeschlossene Logeinträge werden nicht auf das Logging-Kontingent für Projekte angerechnet. Weitere Informationen finden sich unter Logging-Preise.

  • Ausgeschlossene Logeinträge sind nicht im Log-Explorer aufgeführt. Sie sind nicht für Error Reporting und Cloud Debugger verfügbar.

  • Sie können Logeinträge außerhalb von Cloud Logging mit Logsenken exportieren, die Senkenziele enthalten. Diese Logs können auch von der Aufnahme ausgeschlossen werden. Weitere Informationen erhalten Sie unter Logexporte.

  • Audit-Logs, die sich nicht deaktivieren lassen, können auch nicht ausgeschlossen werden. Diese Arten von Audit-Logs sind aber kostenlos.

Mit Ausschlussfiltern können Sie steuern, welche Logeinträge ausgeschlossen (verworfen) werden. Sie können beispielsweise Logeinträge aus einer VM-Instanz ausschließen und aus allen anderen VM-Instanzen einbeziehen.

Ausschlusslimits

Sie können in jedem Projekt bis zu 50 Ausschlussfilter verwenden.

Ausschlusszeit

Logs werden ausgeschlossen, nachdem sie von der Logging API empfangen wurden. Dadurch wird die Anzahl der entries.write API-Aufrufe nicht verringert.

Ausschlussfilter erstellen

Sie können Ausschlussfilter für eine neue Logsenke oder eine vorhandene Senke erstellen.

Ausschlussfilter für eine neue Senke erstellen

So erstellen Sie einen Ausschlussfilter für eine neue Logsenke mit Logs Router:

  1. Folgen Sie der Anleitung unter Senke erstellen.

  2. Im Schritt Logs zum Filtern aus der Senke auswählen (optional) können Sie einen Ausschlussfilter erstellen, um die Logs auszuschließen.

  3. Klicken Sie auf Ausnahme hinzufügen.

  4. Geben Sie in das Feld Name des Ausschlussfilters einen Namen ein.

  5. Geben Sie die Ausschlussfilterrate ein.

    Geben Sie eine Ganzzahl zwischen 0 und 100 an. Die eingehenden Logs, die mit dem Ausschlussfilter übereinstimmen, werden gemäß diesem Wert als Stichprobe verwendet.

    Ein Wert von 0 erfasst 0-Prozent der Logs, die dem Filter entsprechen, daher entspricht 0 dem Deaktivieren des Ausschlussfilters. Ein Wert von 100 erfasst 100-Prozent aller Logs. Daher werden alle Logs, die mit dem Ausschlussfilter übereinstimmen, vom Ziel ausgeschlossen. Ein Wert von50 erfasst 50-Prozent der Logs, die dem Ausschlussfilter entsprechen.50-Prozent der Logs, die mit dem Ausschluss übereinstimmen, werden ausgeschlossen, während die anderen 50-Prozent zum Ziel geleitet werden.

    Sie können bis zu 50 Ausschlussfilter pro Senke erstellen.

  6. Geben Sie im Abschnitt Ausschlussfilter erstellen einen Filterausdruck ein, der den Logeinträgen entspricht, die Sie ausschließen möchten. Eine Übersicht über die Logging-Abfragesprache finden Sie unter Logging-Abfragesprache.

  7. Klicken Sie auf Ausschluss hinzufügen, falls Sie weitere Filter hinzufügen möchten.

  8. Wenn Sie fertig sind, klicken Sie auf Senke erstellen.

Ausschlussfilter für eine vorhandene Senke erstellen

So erstellen Sie einen Ausschlussfilter für eine vorhandene Logsenke mit Log-Router:

  1. Wählen Sie im Menü "Logging" die Option Logs Router aus.

    Zum "Logs Router"

  2. Klicken Sie für die Senke, der Sie den Ausschlussfilter hinzufügen möchten, auf Mehr .

  3. Klicken Sie auf Senke bearbeiten.

  4. Erstellen Sie im Abschnitt Logs zum Filtern aus der Senke auswählen (optional) den Ausschlussfilter, um die Logs auszuschließen.

  5. Klicken Sie auf Ausnahme hinzufügen.

  6. Geben Sie in das Feld Name des Ausschlussfilters einen Namen ein.

  7. Geben Sie die Ausschlussfilterrate ein.

    Geben Sie eine Ganzzahl zwischen 0 und 100 an. Die eingehenden Logs, die mit dem Ausschlussfilter übereinstimmen, werden gemäß diesem Wert als Stichprobe verwendet.

    Ein Wert von 0 erfasst 0-Prozent der Logs, die dem Filter entsprechen, daher entspricht 0 dem Deaktivieren des Ausschlussfilters. Ein Wert von 100 erfasst 100-Prozent aller Logs. Daher werden alle Logs, die mit dem Ausschlussfilter übereinstimmen, vom Ziel ausgeschlossen. Ein Wert von50 erfasst 50-Prozent der Logs, die dem Ausschlussfilter entsprechen.50-Prozent der Logs, die mit dem Ausschluss übereinstimmen, werden ausgeschlossen, während die anderen 50-Prozent zum Ziel geleitet werden.

    Sie können bis zu 50 Ausschlussfilter pro Senke erstellen.

  8. Geben Sie im Abschnitt Ausschlussfilter erstellen einen Filterausdruck ein, der den Logeinträgen entspricht, die Sie ausschließen möchten. Eine Übersicht über die Logging-Abfragesprache finden Sie unter Logging-Abfragesprache.

  9. Klicken Sie auf Ausschluss hinzufügen, falls Sie weitere Filter hinzufügen möchten.

  10. Wenn Sie fertig sind, klicken Sie auf Senke aktualisieren.

Beim Erstellen des Filters kann eine der folgenden Situationen auftreten:

  • Wenn Sie den Filter für die Senke _Default bearbeitet haben, empfiehlt es sich, den Standardfilter wiederherzustellen. Geben Sie dazu im Feld Build-Einschlussfilter Folgendes ein:

    NOT LOG_ID("cloudaudit.googleapis.com/activity") AND NOT \
    LOG_ID("externalaudit.googleapis.com/activity") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("externalaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/access_transparency") AND NOT \
    LOG_ID("externalaudit.googleapis.com/access_transparency")
    
  • Sie können alle Logs an ein Ziel weiterleiten und keine Logs ausschließen. Lassen Sie das Feld Build exclusion filter leer, wenn Sie das tun möchten.

  • Sie können festlegen, dass alle Logs ein Ziel nicht erreichen. Deaktivieren Sie dazu die Senke für dieses Ziel.

Beispiele für Google Kubernetes Engine-Ausschlussfilter

Verwenden Sie die folgende Abfrage, um Google Kubernetes Engine-Container- und Pod-Logs für das GKE-System namespaces auszuschließen:

resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

Verwenden Sie die folgende Abfrage, um Google Kubernetes Engine-Knotenlogs für das GKE-System logNames auszuschließen:

resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")

Sie können das Volumen der Google Kubernetes Engine-Logs für Knoten, Pods und Container über Metrics Explorer in Cloud Monitoring

Beispiel für einen Dataflow-Ausschlussfilter

Mit der folgenden Abfrage können Sie Dataflow-Logs ausschließen, die für die Unterstützung nicht erforderlich sind:

resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"

Sie können die Menge der Dataflow-Logs, die in Cloud Logging aufgenommen wurden, über den Metrics Explorer in Cloud Monitoring ansehen.

Support

Sie können mit Cloud Logging zwar die Aufnahme von Logs ausschließen, doch möglicherweise sollten Sie Logs behalten, die helfen. Mit diesen Logs können Sie Probleme in Zusammenhang mit Ihren Anwendungen schnell beheben.

GKE-Systemlogs sind beispielsweise nützlich, um Fehler in Ihren GKE-Anwendungen und -Clustern zu beheben, da sie für Ereignisse generiert werden, die in Ihrem Cluster auftreten. Mit diesen Logs können Sie ermitteln, ob Ihr Anwendungscode oder der zugrunde liegende GKE-Cluster Anwendungsfehler verursacht. GKE-Systemlogs enthalten auch Kubernetes-Audit-Logging, das von der Kubernetes API-Serverkomponente generiert wurde, einschließlich Änderungen, die mit dem kubectl-Befehl und Kubernetes-Ereignissen vorgenommen wurden.

Für Dataflow wird empfohlen, zumindest die Systemlogs (labels."dataflow.googleapis.com/log_type"="system") und Unterstützungs-Logs (labels."dataflow.googleapis.com/log_type"="supportability") mindestens aufzunehmen. Diese Logs sind für Entwickler wichtig, um ihre Dataflow-Pipelines zu beobachten und Fehler zu beheben. Nutzer können möglicherweise nicht die Seite mit den Dataflow-Jobdetails verwenden, um Joblogs aufzurufen.

Ausschlussfilter ansehen

So rufen Sie Ihre aktuellen Ausschlussfilter auf:

  1. Wählen Sie im Menü "Logging" die Option Logs Router aus.

    Zum "Logs Router"

  2. Klicken Sie für die Senke, in der Sie die Ausschlussfilter aufrufen möchten, auf Mehr .

  3. Wählen Sie Senkendetails aufrufen aus.

  4. In einem Steuerfeld werden die Details der Senke einschließlich der Ausschlussfilter angezeigt. In diesem Beispiel werden die Details der Senke _Default angezeigt.

    Bild des Bereichs der Senkendetails

Ausschlüsse bearbeiten

Sie können in Ihren vorhandenen Ausschlussfiltern den Prozentsatz der auszuschließenden Logeinträge festlegen.

  1. Wählen Sie im Menü "Logging" die Option Logs Router aus.

    Zum "Logs Router"

  2. Klicken Sie für die Senke, in der Sie die Ausschlussfilter aufrufen möchten, auf Mehr.

  3. Klicken Sie auf Senke bearbeiten.

  4. Bearbeiten Sie im Abschnitt Ausschlussfilter erstellen den Filterausdruck so, dass er den auszuschließenden Logeinträgen entspricht.

  5. Klicken Sie auf Ausschluss hinzufügen, falls Sie weitere Filter hinzufügen möchten.

  6. Wenn Sie fertig sind, klicken Sie auf Senke aktualisieren.

Ausschlüsse entfernen

Wenn Sie einen Ausschlussfilter bearbeiten, deaktivieren oder löschen wollen, folgen Sie der Anleitung Ausschlüsse bearbeiten.

Ausschlüsse in der API

Über die Logging API können Sie Ausschlussfilter mit der Methode projects.exclusions.create erstellen.

Es gibt auch Methoden zum Anzeigen, Löschen und Aktualisieren von Ausschlussfiltern.

Sie können in der API auch Ausschlussmethoden für Logs verwenden, die von Organisationen, Rechnungskonten und Ordnern empfangen werden. Solche Ausschlüsse können nur in der Logging API erstellt werden. Sie werden in der Cloud Logging Console nicht unterstützt.

Beispiele für Logabfragen, die für Ausschlüsse nützlich sein könnten, finden Sie unter Beispielabfragen.

Stichproben der Ausschlüsse in der API

Wenn Sie weniger als 100 % der übereinstimmenden Logeinträge ausschließen möchten, verwenden Sie in der Logabfrage die sample-Funktion.

Ausgeschlossene Logs exportieren

Sie können Logeinträge in Cloud Storage, BigQuery oder Pub/Sub vor dem Ausschluss exportieren. Damit können Sie verhindern, dass die von Ihnen ausgeschlossenen Logeinträge dauerhaft verloren gehen.

Starten und exportieren Sie den Ausschluss so:

  1. Erstellen Sie eine Abfrage, die den Logeinträgen entspricht, die Sie ausschließen und exportieren möchten.

    Tipp: Achten Sie beim Erstellen der Abfrage darauf, dass sie keine standardmäßig aktivierten Audit-Logs erfasst. Dies hat zwar keine Auswirkungen auf die Ausschlüsse. Es werden aber mehr Logeinträge exportiert.

  2. Erstellen Sie mithilfe der Logabfrage eine Exportsenke und beginnen mit dem Exportieren der übereinstimmenden Logeinträge.

  3. Erstellen Sie mithilfe Ihrer Logabfrage einen Ausschlussfilter und schließen Sie die übereinstimmenden Logeinträge aus.

Wenn Sie Ausschlüsse und deren Export stoppen möchten, deaktivieren Sie zuerst den Ausschlussfilter und anschließend die Exportsenke.

Weitere Informationen zum Exportieren von Logs finden Sie unter Logs exportieren.

Exporte – Preise

Für exportierte Logs fallen keine Cloud Logging-Gebühren an. Es können aber Gebühren beim Ziel erhoben werden. Weitere Informationen finden Sie auf der Preisseite des jeweiligen Produkts:

Zusätzlich zu den Gebühren am Ziel fallen weitere Gebühren für das Generieren von VPC-Flusslogs an, wenn Sie Ihre Virtual Private Cloud-Flusslogs senden und dann von Cloud Logging ausschließen.