Routing und Speicher

Auf dieser Seite wird erläutert, wie Cloud Logging Logeinträge verarbeitet und die wichtigsten Komponenten von Logging-Routing und -Speicher beschreibt.

Allgemein werden von Cloud Logging so Logeinträge weitergeleitet und gespeichert:

Weiterleitung von Logeinträgen durch Cloud Logging

Protokollrouter

Cloud Logging empfängt Logeinträge über die Cloud Logging API, wo sie den Logs Router passieren. Die Senken im Log Router prüfen die einzelnen Logeinträge mit vorhandenen Aufnahmefiltern und Ausschlussfiltern, mit denen festgestellt wird, ob der Logeintrag an Speicherziele, einschließlich in Cloud Logging-Buckets, oder vollständig von der Aufnahme durch Cloud Logging ausgeschlossen. Mit Senken können Sie Logs an mehrere Ziele weiterleiten.

Zuverlässiges Routing von Logs Beachten Sie, dass sich der temporäre Speicher des Log Routers von dem langfristigen Speicher unterscheidet, der von Logging-Buckets bereitgestellt wird.

Senken

Senken steuern, wie Cloud Logging Logs weiterleitet. Mithilfe von Senken können Sie einige oder alle Logs an unterstützte Ziele weiterleiten oder Logeinträge von der Speicherung in Cloud Logging ausschließen. Hier einige der Gründe, die Sie für die Weiterleitung Ihrer Logs steuern können:

  • Zum Speichern von Logs, die wahrscheinlich nicht gelesen werden, aber für Compliancezwecke aufbewahrt werden müssen.
  • Sie können Big Data-Analysetools auf Ihre Logs anwenden.
  • Sie können Ihre Logs an andere Anwendungen, Repositories oder Dritte senden.

Cloud Logging bietet zwei vordefinierte Logsenken für jedes Google Cloud-Projekt: _Required und _Default. Alle in einem Google Cloud-Projekt generierten Logs werden automatisch über diese beiden Logsenken verarbeitet und dann in den entsprechenden Log-Buckets _Required und _Default gespeichert. aus.

Logsenken arbeiten unabhängig voneinander. Unabhängig davon, wie die vordefinierten Logsenken Ihre Logeinträge verarbeiten, können Sie eigene Logsenken erstellen, um einige oder alle Logs an verschiedene unterstützte Ziele weiterzuleiten oder auszuschließen vollständig von Cloud Logging gespeichert werden.

Alle in die Cloud Logging API geschriebenen Logeinträge durchlaufen den Logrouter. Wenn ein Logeintrag in einem Cloudprojekt, einem Ordner, einem Rechnungskonto oder einer Organisationsressource eingeht, vergleicht Logging den Logeintrag mit den Filtern der Senken, die mit der Ressource verknüpft sind.

Abhängig von der Konfiguration der Logsenke wird jeder von Cloud Logging empfangene Logeintrag in eine oder mehrere der folgenden Kategorien fallen:

  • Wird in Cloud Logging gespeichert und nicht an eine andere Stelle weitergeleitet
  • In Cloud Logging gespeichert und an ein unterstütztes Ziel weitergeleitet
  • Nicht in Cloud Logging gespeichert, aber an ein unterstütztes Ziel weitergeleitet
  • Weder in Cloud Logging gespeichert noch an anderer Stelle weitergeleitet
    • Diese Logs werden vollständig ausgeschlossen

Senken Routenlogs, die zu übergeordneten Ressourcen gehören, Sie erstellen normalerweise Senken auf Google Cloud-Projektebene. Sie können auch zusammengefasste Senken erstellen, um Logs aus den Cloud-Projekten, Ordnern und Rechnungskonten, die in einer Google Cloud-Organisation oder einem Google Cloud-Ordner enthalten sind, zu kombinieren und weiterzuleiten.

Sie können keine Logeinträge weiterleiten, die in Logging empfangen wurden, bevor die Senke erstellt wurde, da das Routing nur für neue Logeinträge erfolgt. Wenn Sie Logeinträge rückwirkend weiterleiten müssen, finden Sie weitere Informationen unter Logs kopieren.

Einschlussfilter

Beim Erstellen einer Senke legen Sie einen Einschlussfilter fest, um auszuwählen, welche Logs in das Senkenziel aufgenommen werden sollen. Sie erstellen Einschlussfilter mithilfe der Logging-Abfragesprache.

Wenn Sie keinen Filter für eine Senke festlegen, wird jeder Logeintrag für das Cloud-Projekt an das Ziel weitergeleitet, es sei denn, er ist explizit über die Ausschlussfilter der Senke ausgeschlossen.

Ausschlussfilter

Wenn Sie eine Senke erstellen, können Sie mehrere Ausschlussfilter festlegen, die verhindern, dass übereinstimmende Logeinträge an das Ziel der Senke weitergeleitet oder von Cloud Logging aufgenommen werden. Ausschlussfilter werden mithilfe der Logging-Abfragesprache erstellt.

Logs werden ausgeschlossen, nachdem sie von der Logging API empfangen wurden. Durch den Ausschluss von Logs wird daher die Anzahl der entries.write-API-Aufrufe nicht reduziert.

Ausgeschlossene Logeinträge sind nicht im Log-Explorer aufgeführt. Sie sind nicht für Error Reporting und Cloud Debugger verfügbar.

Benutzerdefinierte logbasierte Messwerte werden aus Logeinträgen sowohl enthaltener als auch ausgeschlossener Logs berechnet. Weitere Informationen finden Sie unter Logs überwachen.

Unterstützte Ziele

Sie können mit dem Log Router bestimmte Logs an unterstützte Ziele in einem beliebigen Cloud-Projekt weiterleiten. Logging unterstützt die folgenden Senkenziele:

  • Cloud Storage: JSON-Dateien, die in Cloud Storage-Buckets gespeichert sind eine kostengünstige, langfristige Speicherung bietet.
  • BigQuery: In BigQuery-Datasets erstellte Tabellen. bietet Big-Data-Analysefunktionen.
  • Pub/Sub: JSON-formatierte Nachrichten, die an Pub/Sub-Themen zugestellt werden Integrationen von Drittanbietern wie Splunk in Logging unterstützt.
  • Cloud Logging: Logeinträge in Log-Buckets bietet Speicher in Cloud Logging mit anpassbaren Aufbewahrungsdauern.

Weitere Informationen zum Weiterleiten von Logs an unterstützte Ziele finden Sie unter Senken konfigurieren.

Log-Buckets

Cloud Logging verwendet Log-Buckets als Container in Ihren Google Cloud-Projekten zum Speichern und Organisieren der Logdaten. Die in Cloud Logging gespeicherten Logs werden indexiert, optimiert und bereitgestellt, damit Sie sie in Echtzeit analysieren können. Dies sind andere Speicherentitäten als die ähnlich benannten Cloud Storage-Buckets.

Für jedes Cloud-Projekt erstellt Logging automatisch zwei Log-Buckets: _Required und _Default. Logging erstellt automatisch Logsenken mit den Namen _Required und _Default, die in der Standardkonfiguration Logs automatisch an die entsprechend benannten Buckets weiterleiten. Beachten Sie, dass Sie die Logs, die an den Log-Bucket _Default weitergeleitet werden, deaktivieren oder begrenzen können.

Darüber hinaus können Sie für jedes Google Cloud-Projekt benutzerdefinierte Buckets erstellen.

Sie erstellen Senken, um alle oder nur einen Teil Ihrer Logs an einen beliebigen Log-Bucket weiterzuleiten. Dank dieser Flexibilität können Sie das Cloud-Projekt auswählen, in dem Ihre Logs gespeichert werden und welche anderen Logs darin gespeichert werden.

Weitere Informationen finden Sie unter Log-Buckets konfigurieren.

_Required Log-Bucket

Cloud Logging leitet die folgenden Logtypen automatisch an den Bucket _Required weiter:

Cloud Logging speichert die Logs in diesem Bucket 400 Tage lang kann diese Aufbewahrungsdauer nicht mehr geändert werden.

Sie können den Bucket _Required nicht ändern oder löschen. Sie können die Senke _Required nicht deaktivieren, die Logs an den Bucket _Required weiterleitet.

Weder Aufnahme- noch Speicherpreise gelten für die Logdaten, die im Log-Bucket _Required gespeichert sind.

_Default Log-Bucket

Jeder Logeintrag, der nicht vom Bucket _Required aufgenommen wird, wird von der Senke _Default an den Bucket _Default weitergeleitet, es sei denn, Sie deaktivieren oder bearbeiten die Senke _Default. aus. Eine Anleitung zum Ändern von Senken finden Sie unter Senken verwalten.

Sie können den Bucket _Default nicht löschen.

Im _Default-Bucket gespeicherte Logs werden 30 Tage aufbewahrt, es sei denn, Sie konfigurieren eine benutzerdefinierte Aufbewahrung für den Bucket.

Die Cloud Logging-Preise gelten für die Logdaten im Bucket _Default.

Benutzerdefinierte Log-Buckets

Sie können in jedem Cloud-Projekt auch benutzerdefinierte Log-Buckets erstellen. Durch das Anwenden von Logsenken auf Ihre benutzerdefinierten Log-Buckets können Sie eine beliebige Teilmenge Ihrer Logs an einen beliebigen Log-Bucket weiterleiten. Dadurch können Sie auswählen, in welchem Cloud-Projekt Ihre Logs gespeichert werden und welche anderen Logs. die mit ihnen gespeichert sind.

Beispielsweise können Sie für jedes in Projekt A generierte Log eine Senke konfigurieren, um dieses Log an benutzerdefinierte Buckets in Projekt A oder Projekt B weiterzuleiten.

Die Preise für Cloud Logging gelten unabhängig vom Logtyp für die in diesem Bucket enthaltenen Logdaten.

Sie können für den Bucket eine benutzerdefinierte Aufbewahrung konfigurieren.

Informationen zum Verwalten benutzerdefinierter Log-Buckets, einschließlich deren Löschen oder Aktualisieren, finden Sie unter Log-Buckets konfigurieren und verwalten.

Regionalisierung

Beim Erstellen Ihres Log-Buckets können Sie Ihre Logs in einer der folgenden Regionen speichern:

Kontinent Regionen
Asien asia-east1
asia-east2
asia-northeast1
asia-northeast2
asia-northeast3
asia-south1
asia-southeast1
Australien australia-southeast1
Europa europe-central2
europe-north1
europe-west1
europe-west2
europe-west3
europe-west4
europe-west6
Nordamerika northamerica-northeast1
us-central1
us-east1
us-east4
us-west1
us-west2
us-west3
Südamerika southamerica-east1

Zusätzlich zu diesen Regionen haben Sie auch die Möglichkeit, den Standort auf global festzulegen. Das bedeutet, dass Sie nicht angeben müssen, wo Ihre Logs gespeichert sind.

Unternehmensrichtlinien

Sie können eine Organisationsrichtlinie erstellen, um sicherzustellen, dass Ihre Organisation Ihren Compliance-Anforderungen und gesetzlichen Vorschriften entspricht. Mit einer Organisationsrichtlinie können Sie festlegen, in welchen Regionen Ihre Organisation neue Log-Buckets erstellen kann. Sie können auch festlegen, dass Ihre Organisation keine neuen Log-Buckets in bestimmten Regionen erstellt.

Cloud Logging erzwingt keine neu erstellte Organisationsrichtlinie für Ihren vorhandenen Log-Bucket. Sie erzwingt nur die Richtlinie für neue Log-Buckets.

Informationen zum Erstellen einer standortbasierten Organisationsrichtlinie finden Sie unter Ressourcenstandorte einschränken.

Logaufbewahrung

Cloud Logging speichert Logs entsprechend den Aufbewahrungsregeln für den Log-Bucket-Typ, in dem sich die Logs befinden.

Sie können in Cloud Logging festlegen, dass Logs zwischen 1 Tag und 3.650 Tagen aufbewahrt werden. Benutzerdefinierte Aufbewahrungsregeln gelten für alle Logs in einem Bucket, unabhängig vom Logtyp oder davon, ob dieses Log von einem anderen Standort kopiert wurde.

Informationen zum Festlegen von Aufbewahrungsregeln für einen Log-Bucket finden Sie unter Benutzerdefinierte Aufbewahrung konfigurieren.

Log-Aufnahme beenden

Informationen zum Beenden der Logaufnahme in Ihrem Google Cloud-Projekt finden Sie unter Logaufnahme beenden.

Logansichten

Mit Logansichten können Sie steuern, wer in Ihren Log-Buckets auf Logs zugreifen kann.

Cloud Logging erstellt automatisch die Ansicht _AllLogs für jeden Bucket, in der alle Logs angezeigt werden. Cloud Logging erstellt außerdem eine Ansicht für den Bucket _Default mit dem Namen _Default, die alle Logs außer Audit-Logs für den Datenzugriff enthält.

Da Log-Buckets Logs aus mehreren Cloud-Projekten enthalten können, ist es empfehlenswert, zu steuern, in welchen Cloud-Projekten Logs von verschiedenen Nutzern angezeigt werden können. Sie können benutzerdefinierte Logansichten erstellen, die Ihnen eine detailliertere Zugriffssteuerung für diese Buckets ermöglichen.

Weitere Informationen finden Sie unter Logansichten verwalten.

Logbasierte Messwerte

Logbasierte Messwerte sind Cloud Monitoring-Messwerte, die auf dem Inhalt von Logeinträgen basieren. Wenn Cloud Logging einen Logeintrag für ein Cloud-Projekt erhält, das mit dem Filter eines der Messwerte des Cloud-Projekts übereinstimmt, wird dieser Logeintrag in den Messwertdaten widergespiegelt.

Senkenausschlussfilter werden nicht auf logbasierte Messwerte angewendet. Selbst wenn Sie Logs von der Cloud Logging API ausnehmen und die Logs nicht in Log-Buckets gespeichert werden, werden diese Logs möglicherweise in den logbasierten Messwerten gezählt.

Weitere Informationen finden Sie in der Übersicht zu logbasierten Messwerten.

Beschränkungen

Beachten Sie folgende Einschränkungen:

Preise

In Cloud Logging werden keine Gebühren für die Weiterleitung von Logs berechnet, es können aber Zielgebühren anfallen. Weitere Informationen finden Sie in den Preisdetails des entsprechenden Dienstes:

Wenn Sie Ihre Virtual Private Cloud-Flusslogs senden und dann von Cloud Logging ausschließen, werden zusätzlich zu den Zielgebühren Gebühren für die Erzeugung von VPC-Flusslogs berechnet.

Nächste Schritte

Informationen zum Weiterleiten und Speichern von Cloud Logging-Daten finden Sie in den folgenden Dokumenten: