Logausschlüsse

Auf dieser Seite wird beschrieben, wie Sie Logs aus der Datenaufnahme mit der Cloud Console und der Logging API ausschließen.

Mit Cloud Logging können Sie Logs aus Log-Buckets ausschließen. Dazu fügen Sie den Logsenken einen Ausschlussfilter hinzu, der Logs an Ihre Log-Buckets weiterleitet. Mithilfe der Logging-Abfragesprache schreiben Sie einen Filter, der definiert, welche Logs aus dem Log-Bucket ausgeschlossen werden sollen.

Auf der Seite Log-Speicher wird das Logvolumen in Ihrem Projekt erfasst. Mit Logs Router können Sie alle Logsaufnahmen deaktivieren oder Logeinträge, die Sie nicht interessieren, ausschließen. Dadurch können Sie die Gebühren für Logs über Ihr Monatskontingent minimieren. Weitere Informationen dazu, wie ausgeschlossene Logeinträge behandelt werden, finden Sie auf dieser Seite unter Funktionsweise von Ausschlüssen.

Weitere Informationen zu Cloud Logging-Kosten finden sich unter Preise. Beachten Sie, dass Gebühren für das Generieren von VPC-Flusslogs berechnet werden, wenn Sie Virtual Private Cloud-Flusslogs senden und dann von Cloud Logging ausschließen.

Logvolumen erfassen

Um das Logvolumen Ihres Projekts zu verfolgen, gehen Sie zur Seite Log-Speicher in der Cloud Logging Console:

Zum "Logspeicher"

Oben auf der Seite sehen Sie eine Statistik für die Logs, die Ihr Projekt erhält:

Statistiken zur Logspeicher-Nutzung

Die folgenden Statistiken werden gemeldet:

  • In diesem Monat aufgenommenes Logvolumen: Der Umfang der Logs, die das Projekt seit dem ersten Tag des aktuellen Monats empfangen hat.

  • Im letzten Monat aufgenommenes Logvolumen: Der Umfang der Logs, die das Projekt im letzten Kalendermonat empfangen hat.

  • Prognostizierte Logvolumen-Aufnahme: Der geschätzte Umfang der Logs, die das Projekt am Ende des aktuellen Monats empfangen wird, basierend auf der aktuellen Nutzung.

Folgende Audit-Logs sind in den Logvolumen nicht enthalten: Audit-Logs für Administratoraktivitäten und Audit-Logs für Systemereignisse. Diese kostenlosen Logs können nicht ausgeschlossen und nicht deaktiviert werden.

Funktionsweise von Ausschlüssen

Das folgende Diagramm zeigt, wie ausgeschlossene Logeinträge in Cloud Logging behandelt werden:

Weiterleitung von Logeinträgen durch Cloud Logging

Für ausgeschlossene Logeinträge gilt in Cloud Logging Folgendes:

  • Ausgeschlossene Logeinträge werden nicht auf das Logging-Kontingent für Projekte angerechnet. Weitere Informationen finden sich unter Logging-Preise.

  • Ausgeschlossene Logeinträge sind nicht im Log-Explorer aufgeführt. Sie sind nicht für Error Reporting und Cloud Debugger verfügbar.

  • Sie können Logeinträge außerhalb von Cloud Logging mit Logsenken exportieren, die Senkenziele enthalten. Diese Logs können auch von der Aufnahme ausgeschlossen werden. Weitere Informationen finden Sie unter Routing und Speicher: Übersicht Senken.

  • Audit-Logs, die sich nicht deaktivieren lassen, können auch nicht ausgeschlossen werden. Diese Arten von Audit-Logs sind aber kostenlos.

Mit Ausschlussfiltern können Sie steuern, welche Logeinträge ausgeschlossen (verworfen) werden. Sie können beispielsweise Logeinträge aus einer VM-Instanz ausschließen und aus allen anderen VM-Instanzen einbeziehen.

Ausschlusslimits

Sie können in jedem Projekt bis zu 50 Ausschlussfilter verwenden.

Ausschlusszeit

Logs werden ausgeschlossen, nachdem sie von der Logging API empfangen wurden. Dadurch wird die Anzahl der entries.write API-Aufrufe nicht verringert.

Ausschlussfilter erstellen

Sie können Ausschlussfilter für eine neue Logsenke oder eine vorhandene Senke erstellen.

Ausschlussfilter für eine neue Senke erstellen

So erstellen Sie mit dem Log Router einen Ausschlussfilter für eine neue Logsenke:

  1. Folgen Sie der Anleitung unter Senke erstellen.

  2. Im Schritt Logs zum Filtern aus der Senke auswählen (optional) können Sie einen Ausschlussfilter erstellen, um die Logs auszuschließen.

  3. Klicken Sie auf Ausnahme hinzufügen.

  4. Geben Sie in das Feld Name des Ausschlussfilters einen Namen ein.

  5. Geben Sie im Abschnitt Ausschlussfilter erstellen einen Filterausdruck ein, der den Logeinträgen entspricht, die Sie ausschließen möchten. Eine Übersicht über die Logging-Abfragesprache finden Sie unter Logging-Abfragesprache. Sie können auch die Funktion sample verwenden, um einen Teil der Logeinträge auszuwählen.

  6. Klicken Sie auf Ausschluss hinzufügen, falls Sie weitere Filter hinzufügen möchten.

  7. Wenn Sie fertig sind, klicken Sie auf Senke erstellen.

Ausschlussfilter für eine vorhandene Senke erstellen

So erstellen Sie mit dem Log Router einen Ausschlussfilter für eine vorhandene Logsenke:

  1. Wählen Sie im Menü "Logging" die Option Log Router aus.

    Zum "Log Router"

  2. Klicken Sie für die Senke, der Sie den Ausschlussfilter hinzufügen möchten, auf Mehr .

  3. Klicken Sie auf Senke bearbeiten.

  4. Erstellen Sie im Abschnitt Logs zum Filtern aus der Senke auswählen (optional) den Ausschlussfilter, um die Logs auszuschließen.

  5. Klicken Sie auf Ausnahme hinzufügen.

  6. Geben Sie in das Feld Name des Ausschlussfilters einen Namen ein.

  7. Geben Sie im Abschnitt Ausschlussfilter erstellen einen Filterausdruck ein, der den Logeinträgen entspricht, die Sie ausschließen möchten. Eine Übersicht über die Logging-Abfragesprache finden Sie unter Logging-Abfragesprache. Sie können auch die Funktion sample verwenden, um einen Teil der Logeinträge auszuwählen.

  8. Klicken Sie auf Ausschluss hinzufügen, falls Sie weitere Filter hinzufügen möchten.

  9. Wenn Sie fertig sind, klicken Sie auf Senke aktualisieren.

Beim Erstellen des Filters kann eine der folgenden Situationen auftreten:

  • Wenn Sie den Filter für die Senke _Default bearbeitet haben, empfiehlt es sich, den Standardfilter wiederherzustellen. Geben Sie dazu im Feld Build-Einschlussfilter Folgendes ein:

    NOT LOG_ID("cloudaudit.googleapis.com/activity") AND NOT \
    LOG_ID("externalaudit.googleapis.com/activity") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("externalaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/access_transparency") AND NOT \
    LOG_ID("externalaudit.googleapis.com/access_transparency")
    
  • Sie können alle Logs an ein Ziel weiterleiten und keine Logs ausschließen. Lassen Sie das Feld Build exclusion filter leer, wenn Sie das tun möchten.

  • Sie können festlegen, dass alle Logs ein Ziel nicht erreichen. Deaktivieren Sie dazu die Senke für dieses Ziel.

Beispiele für Google Kubernetes Engine-Ausschlussfilter

Verwenden Sie die folgende Abfrage, um Google Kubernetes Engine-Container- und Pod-Logs für das GKE-System namespaces auszuschließen:

resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

Verwenden Sie die folgende Abfrage, um Google Kubernetes Engine-Knotenlogs für das GKE-System logNames auszuschließen:

resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")

Sie können das Volumen von Google Kubernetes Engine anzeigen lassen.Knoten .Pod undContainer über Cloud Logging aufgenommene LogsMetrics Explorer in Cloud Monitoring auf Ihrem Mobilgerät.

Beispiel für einen Dataflow-Ausschlussfilter

Verwenden Sie die folgende Abfrage, um Dataflow-Logs auszuschließen, die für die Unterstützung nicht erforderlich sind:

resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"

Im Metrics Explorer in Cloud Monitoring sehen Sie das Volumen der in Cloud Logging aufgenommenen Dataflow-Logs.

Support

Obwohl Sie mit Cloud Logging Logs von der Aufnahme ausschließen können, sollten Sie überlegen, ob Sie die Unterstützung von Logs beibehalten möchten. Anhand dieser Logs können Sie Probleme in Ihren Anwendungen schnell beheben und Probleme identifizieren.

GKE-Systemlogs sind beispielsweise hilfreich, um Fehler in Ihren GKE-Anwendungen und -Clustern zu beheben, da sie für Ereignisse in Ihrem Cluster generiert werden. Anhand dieser Logs können Sie feststellen, ob der Anwendungscode oder der zugrunde liegende GKE-Cluster den Anwendungsfehler verursacht. GKE-Systemlogs enthalten auch das Kubernetes-Audit-Logging, das von der Kubernetes API-Serverkomponente generiert wird. Dazu gehören Änderungen, die mit dem Befehl "kubectl" und Kubernetes-Ereignissen vorgenommen wurden.

Für Dataflow empfiehlt es sich, mindestens System-Logs (labels."dataflow.googleapis.com/log_type"="system") und Support-Logs (labels."dataflow.googleapis.com/log_type"="supportability") aufzunehmen. Diese Logs sind wichtig für Entwickler, um ihre Dataflow-Pipelines zu beobachten und Fehler zu beheben. Nutzer können die Dataflow-Jobdetails möglicherweise nicht verwenden, um Joblogs anzusehen.

Ausschlussfilter ansehen

So rufen Sie Ihre aktuellen Ausschlussfilter auf:

  1. Wählen Sie im Menü "Logging" die Option Log Router aus.

    Zum "Log Router"

  2. Klicken Sie für die Senke, in der Sie die Ausschlussfilter aufrufen möchten, auf Mehr.

  3. Wählen Sie Senkendetails aufrufen aus.

  4. In einem Steuerfeld werden die Details der Senke einschließlich der Ausschlussfilter angezeigt. In diesem Beispiel werden die Details zur Senke _Default angezeigt.

    Bild des Bereichs der Senkendetails

Ausschlüsse bearbeiten

Sie können in Ihren vorhandenen Ausschlussfiltern den Prozentsatz der auszuschließenden Logeinträge festlegen.

  1. Wählen Sie im Menü "Logging" die Option Log Router aus.

    Zum "Log Router"

  2. Klicken Sie für die Senke, in der Sie die Ausschlussfilter aufrufen möchten, auf Mehr.

  3. Klicken Sie auf Senke bearbeiten.

  4. Bearbeiten Sie im Abschnitt Ausschlussfilter erstellen den Filterausdruck so, dass er den auszuschließenden Logeinträgen entspricht.

  5. Klicken Sie auf Ausschluss hinzufügen, falls Sie weitere Filter hinzufügen möchten.

  6. Wenn Sie fertig sind, klicken Sie auf Senke aktualisieren.

Ausschlüsse entfernen

Wenn Sie einen Ausschlussfilter bearbeiten, deaktivieren oder löschen wollen, folgen Sie der Anleitung Ausschlüsse bearbeiten.

Ausschlüsse in der API

Über die Logging API können Sie Ausschlussfilter mit der Methode projects.exclusions.create erstellen.

Außerdem gibt es Methoden zum Ansehen, Löschen und Aktualisieren von Ausschlussfiltern sowie Methoden zum Verwalten von Ausschlüssen für Logs, die von Organisationen, Rechnungskonten und Ordnern empfangen wurden.

Beispiele für Logabfragen, die für Ausschlüsse nützlich sein könnten, finden Sie unter Beispielabfragen.

Stichproben der Ausschlüsse in der API

Wenn Sie weniger als 100 % der übereinstimmenden Logeinträge ausschließen möchten, verwenden Sie in der Logabfrage die sample-Funktion.

Ausgeschlossene Logs exportieren

Sie können Logeinträge in Cloud Storage, BigQuery oder Pub/Sub vor dem Ausschluss exportieren. Damit können Sie verhindern, dass die von Ihnen ausgeschlossenen Logeinträge dauerhaft verloren gehen.

Starten und exportieren Sie den Ausschluss so:

  1. Erstellen Sie eine Abfrage, die den Logeinträgen entspricht, die Sie ausschließen und exportieren möchten.

    Tipp: Achten Sie beim Erstellen der Abfrage darauf, dass sie keine standardmäßig aktivierten Audit-Logs erfasst. Dies hat zwar keine Auswirkungen auf die Ausschlüsse. Es werden aber mehr Logeinträge exportiert.

  2. Erstellen Sie mithilfe der Logabfrage eine Exportsenke und beginnen mit dem Exportieren der übereinstimmenden Logeinträge.

  3. Erstellen Sie mithilfe Ihrer Logabfrage einen Ausschlussfilter und schließen Sie die übereinstimmenden Logeinträge aus.

Wenn Sie Ausschlüsse und deren Export stoppen möchten, deaktivieren Sie zuerst den Ausschlussfilter und anschließend die Exportsenke.

Weitere Informationen zum Exportieren von Logs finden Sie unter Routing und Speicherübersicht: Senken.

Exporte – Preise

Für exportierte Logs fallen keine Cloud Logging-Gebühren an. Es können aber Gebühren beim Ziel erhoben werden. Weitere Informationen finden Sie auf der Preisseite des jeweiligen Produkts:

Zusätzlich zu den Gebühren am Ziel fallen weitere Gebühren für das Generieren von VPC-Flusslogs an, wenn Sie Ihre Virtual Private Cloud-Flusslogs senden und dann von Cloud Logging ausschließen.

Fehlerbehebung

Dieser Abschnitt enthält Informationen zu bekannten Problemen im Zusammenhang mit Logausschlüssen.

Warum funktioniert mein Ausschlussfilter nicht?

Unter Umständen werden Logs im ausgeschlossenen Log-Explorer aufgeführt. Sie können diese Logs weiterhin sehen, wenn die folgenden Bedingungen erfüllt sind:

  • Sie führen Ihre Abfrage in dem Google Cloud-Projekt aus, das die Logs generiert hat.

  • Die ausgeschlossenen Logs wurden an einen Log-Bucket in einem anderen Cloud-Projekt gesendet.

  • Sie haben Zugriff auf Ansichten in dem Log-Bucket, an den die Logs gesendet wurden.

In diesem Fall werden diese Logs standardmäßig angezeigt.

Wenn Sie verhindern möchten, dass diese Logs im Log-Explorer angezeigt werden, können Sie den Bereich der Suche auf das Quell-Cloud-Projekt oder den Bucket beschränken.