Routing und Speicher – Übersicht

Auf dieser Seite wird erläutert, wie Cloud Logging Logeinträge verarbeitet, und die wichtigsten Komponenten des Logging-Routings und der -Speicherung werden beschrieben.

Auf übergeordneter Ebene leitet Cloud Logging Logeinträge so weiter und speichert diese so:

Weiterleitung von Logeinträgen durch Cloud Logging

Logs mit dem Log Router aufnehmen und weiterleiten

In den folgenden Abschnitten wird erläutert, wie Logs von Logging aufgenommen und mithilfe von Senken durch den Log-Router weitergeleitet werden.

Log-Router

Ein Logeintrag wird an die Google Cloud-Ressource gesendet, die angegeben in seinem logName-Feld während seines entries.write-Aufrufs.

Cloud Logging empfängt Logeinträge über die Cloud Logging API, wo sie den Log-Router passieren. Die Senken im Log-Router prüfen jeden Logeintrag mit dem vorhandenen Einschlussfilter und den Ausschlussfiltern, die die Ziele bestimmen, einschließlich Cloud Logging-Buckets, an die der Logeintrag gesendet werden soll. Sie können Kombinationen von Senken verwenden, um Logs an mehrere Ziele weiterzuleiten.

Für die zuverlässige Weiterleitung von Logs speichert der Log-Router die Logs auch temporär (nicht abgebildet), wodurch sie vor temporären Ausfällen in einer Senke geschützt werden. Beachten Sie, dass sich der temporäre Speicher von Log-Router von dem Langzeitspeicher unterscheidet, der von Logging-Buckets bereitgestellt wird.

Senken

Senken steuern, wie Cloud Logging Logs weiterleitet. Mithilfe von Senken können Sie einige oder alle Logs an unterstützte Ziele weiterleiten. Hier sind einige Gründe, aufgrund derer Sie möglicherweise die Weiterleitung Ihrer Logs steuern möchten:

  • Zum Speichern von Logs, die wahrscheinlich nicht gelesen werden, aber für Compliancezwecke aufbewahrt werden müssen.
  • Zum Organisieren Ihrer Logs in Buckets in einem für Sie nützlichen Format.
  • Sie können Big Data-Analysetools auf Ihre Logs anwenden.
  • Sie können Ihre Logs an andere Anwendungen, Repositories oder Dritte senden.

Senken gehören zu einer bestimmten Google Cloud-Ressource: Cloud-Projekte, Rechnungskonten, Ordner und Organisationen. Wenn die Ressource einen Logeintrag empfängt, leitet sie den Logeintrag gemäß den von dieser Ressource enthaltenen Senken und, sofern aktiviert, allen übergeordneten Senken unter der Ressourcenhierarchie weiter. Der Logeintrag wird an das mit jeder übereinstimmenden Senke verknüpfte Ziel gesendet.

Cloud Logging bietet für alle Cloud-Projekte, -Rechnungskonten, -Ordner und -Organisationen zwei vordefinierte Senken: _Required und _Default. Alle in einer Ressource generierten Logs werden automatisch über diese beiden Senken verarbeitet und dann entweder in den entsprechend benannten_Required- oder_Default-Buckets gespeichert.

Senken arbeiten unabhängig voneinander. Unabhängig davon, wie die vordefinierten Senken Ihre Logeinträge verarbeiten, können Sie eigene Senken erstellen, um einige oder alle Logs an verschiedene unterstützte Ziele weiterzuleiten oder sie von der Speicherung durch Cloud Logging auszuschließen.

Das Routingverhalten für jede Senke wird durch die Konfiguration des Einschlussfilters und der Ausschlussfilter für diese Senke gesteuert. Je nach Konfiguration der Senke fällt jeder von Cloud Logging empfangene Logeintrag in eine oder mehrere der folgenden Kategorien:

  • Wird in Cloud Logging gespeichert und nicht an eine andere Stelle weitergeleitet.

  • Wird in Cloud Logging gespeichert und an ein unterstütztes Ziel weitergeleitet.

  • Wird nicht in Cloud Logging gespeichert, aber an ein unterstütztes Ziel weitergeleitet.

  • Weder in Cloud Logging gespeichert noch an andere Stelle weitergeleitet.

Normalerweise erstellen Sie Senken auf Cloud-Projektebene. Wenn Sie jedoch Logs aus den in einer Google Cloud-Organisation oder einem Google Cloud-Ordner enthaltenen Ressourcen kombinieren und weiterleiten möchten, können Sie Folgendes erstellen: Aggregierte Senken.

Sie können keine Logeinträge weiterleiten, die vor der Erstellung der Senke in Logging eingegangen sind, da das Routing erfolgt, wenn Logs die Logging API durchlaufen. Neue Routingregeln gelten nur für Logs, die nach dem Erstellen dieser Regeln geschrieben wurden. Wenn Sie Logeinträge rückwirkend weiterleiten möchten, finden Sie weitere Informationen unter Logs kopieren.

Einschlussfilter

Wenn Sie bei einer neuen Senke keine Filter angeben, werden alle Logs abgeglichen und zum Ziel der Senke weitergeleitet. Sie können die Senke so konfigurieren, dass bestimmte Logs ausgewählt werden. Dazu legen Sie einen Einschlussfilter fest. Sie können auch einen oder mehrere Ausschlussfilter festlegen, um Logs vom Ziel der Senke auszuschließen.

Zum Konfigurieren von Senken erstellen Sie Einschlussfilter mithilfe der Logging-Abfragesprache. Senken können auch mehrere Ausschlussfilter enthalten.

Jeder von Logging empfangene Logeintrag wird anhand dieser Filterregeln weitergeleitet:

  • Die Ausschlussfilter der Senke überschreiben alle definierten Einschlussfilter. Wenn ein Log mit einem Ausschlussfilter in der Senke übereinstimmt, stimmt es unabhängig von den definierten Einschlussfiltern nicht mit der Senke überein. Der Logeintrag wird nicht an das Ziel dieser Senke weitergeleitet.

  • Wenn die Senke keinen Einschlussfilter enthält, geschieht Folgendes:

    • Wenn der Logeintrag mit einem Ausschlussfilter übereinstimmt, wird er nicht an das Ziel der Senke weitergeleitet.
    • Wenn der Logeintrag mit keinem Ausschlussfilter übereinstimmt, wird er an das Ziel der Senke weitergeleitet. Bei einem leeren Einschlussfilter werden alle Logs ausgewählt.
  • Wenn die Senke einen Einschlussfilter enthält, geschieht Folgendes:

    • Wenn der Logeintrag mit dem Einschlussfilter übereinstimmt, wird er an das Ziel der Senke weitergeleitet.
    • Wenn der Logeintrag nicht mit dem Einschlussfilter übereinstimmt, wird er nicht an das Ziel der Senke weitergeleitet.

Ausschlussfilter

Wenn Sie eine Senke erstellen, können Sie mehrere Ausschlussfilter festlegen, damit übereinstimmende Logeinträge nicht an das Ziel der Senke weitergeleitet oder von Cloud Logging aufgenommen werden. Ausschlussfilter werden mithilfe der Logging-Abfragesprache erstellt.

Logs werden ausgeschlossen, nachdem sie von der Logging API empfangen wurden. Durch das Ausschließen von Logs wird die Anzahl der entries.write API-Aufrufe nicht verringert.

Ausgeschlossene Logeinträge sind nicht im Log-Explorer oder in Cloud Debugger verfügbar.

Logeinträge, die nicht an mindestens einen Log-Bucket weitergeleitet werden, entweder explizit durch Ausschlussfilter oder weil sie mit keiner Senke mit einem Logging-Speicherziel übereinstimmen, werden ebenfalls von Error Reporting ausgeschlossen.

Benutzerdefinierte logbasierte Messwerte werden aus Logeinträgen in eingeschlossenen und ausgeschlossenen Logs berechnet. Weitere Informationen finden Sie unter Logs überwachen.

Unterstützte Ziele

Mit dem Log-Router können Sie bestimmte Logs an unterstützte Ziele in einem beliebigen Cloud-Projekt weiterleiten. Logging unterstützt folgende Senkenziele:

  • Cloud Storage: JSON-Dateien, die in Cloud Storage-Buckets gespeichert sind; bietet eine kostengünstige, langfristige Speicherung.
  • BigQuery: Tabellen, die in BigQuery-Datasets erstellt wurden; bietet Big-Data-Analysefunktionen.
  • Pub/Sub: JSON-formatierte Nachrichten, die an Pub/Sub-Themen gesendet werden unterstützt Integrationen von Drittanbietern wie Splunk in Logging.
  • Cloud Logging: Logeinträge in Log-Buckets; bietet Speicher in Cloud Logging mit anpassbaren Aufbewahrungszeiträumen.

Weitere Informationen zum Weiterleiten von Logs an unterstützte Ziele finden Sie unter Senken konfigurieren.

Logs speichern, aufrufen und verwalten

Im folgenden Abschnitt wird beschrieben, wie Logs in Cloud Logging gespeichert werden und wie Sie sie aufrufen und verwalten können.

Log-Buckets

Cloud Logging verwendet Log-Buckets als Container in Ihren Google Cloud-Projekten, Rechnungskonten, Ordnern und Organisationen, um Ihre Logdaten zu speichern und zu organisieren. Die in Cloud Logging gespeicherten Logs werden indexiert, optimiert und bereitgestellt, damit Sie Ihre Logs in Echtzeit analysieren können. Cloud Logging-Buckets sind andere Speicherentitäten als die ähnlich benannten Cloud Storage-Buckets.

Für jedes Cloud-Projekt, Rechnungskonto, Ordner und jede Organisation erstellt Logging automatisch zwei Log-Buckets: _Required und _Default. Logging erstellt automatisch Senken mit den Namen _Required und _Default, die in der Standardkonfiguration Logs an die entsprechend benannten Buckets weiterleiten.

Sie können die _Default-Senke deaktivieren, mit der Logs an den Log-Bucket _Default weitergeleitet werden. Wenn Sie das Verhalten von _Default-Senken ändern möchten, die für neue Cloud-Projekte oder -Ordner in Ihrer Organisation erstellt wurden, können Sie die Standardeinstellungen für Ihre Organisation konfigurieren.

Routingregeln für den Bucket _Required können nicht geändert werden.

Darüber hinaus können Sie benutzerdefinierte Buckets für jedes Cloud-Projekt erstellen.

Sie erstellen Senken, um alle oder nur einen Teil Ihrer Logs an einen beliebigen Log-Bucket weiterzuleiten. Dies bietet die Möglichkeit, das Cloud-Projekt auszuwählen, in dem Ihre Logs gespeichert werden und welche anderen Logs ebenfalls dort gespeichert werden.

Weitere Informationen finden Sie unter Log-Buckets konfigurieren.

_Required Log-Bucket

Cloud Logging leitet die folgenden Logtypen automatisch an den Bucket _Required weiter:

Cloud Logging speichert die Logs in diesem Bucket 400 Tage lang. Sie können diese Aufbewahrungsdauer nicht ändern.

Sie können den _Required-Bucket nicht ändern oder löschen. Sie können die Senke _Required nicht deaktivieren, die Logs an den _Required-Bucket weiterleitet.

Weder die Datenaufnahmepreise noch die Speicherpreise gelten für die im _Required-Log-Bucket gespeicherten Logdaten.

_Default Log-Bucket

Jeder Logeintrag, der nicht vom Bucket _Required aufgenommen wird, wird von der Senke _Default an den Bucket _Default weitergeleitet, es sei denn, Sie deaktivieren oder bearbeiten die Senke _Default. Eine Anleitung zum Ändern von Senken finden Sie unter Senken verwalten.

Sie können den Bucket _Default nicht löschen.

Im _Default-Bucket gespeicherte Logs werden 30 Tage aufbewahrt, es sei denn, Sie konfigurieren die benutzerdefinierte Aufbewahrungsregeln für den Bucket.

Die Preise für Cloud Logging gelten für die im Bucket _Default gespeicherten Logdaten.

Benutzerdefinierte Log-Buckets

In jedem Cloud-Projekt können Sie auch benutzerdefinierte Log-Buckets erstellen. Wenn Sie Senken auf benutzerdefinierte Log-Buckets anwenden, können Sie jede Teilmenge Ihrer Logs an einen beliebigen Log-Bucket weiterleiten. So können Sie auswählen, in welchem Cloud-Projekt Ihre Logs gespeichert werden und welche anderen Logs mit ihnen gespeichert werden.

Beispielsweise können Sie für jedes in Projekt-A generierte Log eine Senke konfigurieren, um dieses Log an benutzerdefinierte Buckets in Projekt-A oder Projekt-B weiterzuleiten.

Die Preise für Cloud Logging gelten für die Logdaten in diesem Bucket, unabhängig vom Logtyp.

Sie können eine benutzerdefinierte Aufbewahrungsdauer für den Bucket konfigurieren.

Informationen zum Verwalten benutzerdefinierter Log-Buckets, einschließlich Löschen oder Aktualisieren, finden Sie unter Log-Buckets konfigurieren und verwalten.

Regionalisierung

Log-Buckets sind regionale Ressourcen. Die Infrastruktur, in der Ihre Logs gespeichert, indexiert und durchsucht wird, befindet sich an einem bestimmten geografischen Standort. Google verwaltet diese Infrastruktur so, dass Ihre Anwendungen über alle Zonen innerhalb dieser Region redundant verfügbar sind.

Wenn Sie einen Log-Bucket erstellen oder eine regionale Richtlinie auf Organisationsebene festlegen, können Sie Ihre Logs in einer der folgenden Regionen speichern:

Kontinent Regionen
Asien asia-east1
asia-east2
asia-northeast1
asia-northeast2
asia-northeast3
asia-south1
asia-south2
asia-southeast1
asia-southeast2
Australien australia-southeast1
australia-southeast2
Europa europe-central2
europe-north1
europe-southwest1
europe-west1
europe-west2
europe-west3
europe-west4
europe-west6
europe-west8
europe-west9
Nordamerika northamerica-northeast1
northamerica-northeast2
us-central1
us-east1
us-east4
us-west1
us-west2
us-west3
us-west4
Südamerika southamerica-east1
southamerica-west1

Zusätzlich zu diesen Regionen kannst du den Standort auf global festlegen, d. h., du musst nicht angeben, wo deine Logs gespeichert werden.

Wenn Sie eine bestimmte Speicherregion automatisch auf die in Ihrer Organisation erstellten _Default- und _Required-Buckets anwenden möchten, können Sie einen Standardressourcenstandort konfigurieren.

Weitere Informationen zum Speicherort von Logdaten finden Sie unter Regionalität der Daten für Cloud Logging.

Unternehmensrichtlinien

Sie können eine Organisationsrichtlinie erstellen, um sicherzustellen, dass Ihre Organisation Ihre Compliance- und behördlichen Anforderungen erfüllt. Mithilfe einer Organisationsrichtlinie können Sie angeben, in welchen Regionen Ihre Organisation neue Log-Buckets erstellen kann. Sie können auch verhindern, dass Ihre Organisation neue Log-Buckets in bestimmten Regionen erstellt.

Cloud Logging erzwingt die neu erstellte Organisationsrichtlinie nicht für vorhandene Log-Buckets. Sie wird nur für neue Log-Buckets erzwungen.

Informationen zum Erstellen einer standortbasierten Organisationsrichtlinie finden Sie unter Ressourcenstandorte einschränken.

Außerdem lässt sich ein Standardspeicherort für Ressourcen konfigurieren, um die Speicherregion auszuwählen, die für die in Ihrer Organisation erstellten _Default- und _Required-Buckets angewendet werden soll.

Aufbewahrung

Cloud Logging speichert Logs gemäß den Aufbewahrungsregeln für den Log-Bucket-Typ, in dem die Logs gespeichert sind.

Sie können in Cloud Logging festlegen, dass Logs in einem Zeitraum zwischen 1 Tag und 3.650 Tagen aufbewahrt werden. Benutzerdefinierte Aufbewahrungsregeln gelten für alle Logs in einem Bucket, unabhängig vom Logtyp oder davon, ob dieses Log von einem anderen Speicherort kopiert wurde.

Informationen zum Festlegen von Aufbewahrungsregeln für einen Log-Bucket finden Sie unter Benutzerdefinierte Aufbewahrung konfigurieren.

Logansichten

Mit Logansichten können Sie steuern, wer Zugriff auf die Logs in Ihren Log-Buckets hat.

Cloud Logging erstellt für jeden Log-Bucket automatisch die Ansicht _AllLogs, in der alle in diesem Bucket gespeicherten Logs aufgeführt sind. Cloud Logging erstellt auch eine Ansicht für den Bucket _Default mit dem Namen _Default. Die Ansicht _Default für den Bucket _Default zeigt alle Logs außer Audit-Logs zum Datenzugriff an. Die Datenansichten _AllLogs und _Default können nicht bearbeitet werden und können nicht gelöscht werden.

Benutzerdefinierte Logansichten bieten Ihnen eine erweiterte und detaillierte Möglichkeit, den Zugriff auf Ihre Logdaten zu steuern. Stellen Sie sich ein Szenario vor, in dem Sie alle Logs Ihrer Organisation in einem zentralen Cloud-Projekt speichern. Da Log-Buckets Logs aus mehreren Cloud-Projekten enthalten können, sollten Sie festlegen, von welchen Cloud-Projekten sich Logs ansehen dürfen. Mit benutzerdefinierten Logansichten können Sie einem Nutzer nur Zugriff auf Logs aus einem einzelnen Cloud-Projekt gewähren, während Sie einem anderen Nutzer Zugriff auf Logs aus allen Cloud-Projekten gewähren.

Informationen zum Konfigurieren von Logansichten finden Sie unter Zugriff auf Log-Buckets verwalten.

Logs in der Google Cloud-System verwenden

Der folgende Abschnitt enthält Informationen zur Verwendung von Logs in der gesamten Google Cloud.

Logbasierte Messwerte

Logbasierte Messwerte sind Cloud Monitoring-Messwerte, die auf dem Inhalt von Logeinträgen basieren. Wenn Cloud Logging einen Logeintrag für ein Cloud-Projekt erhält, das mit den Filtern eines der Messwerte des Cloud-Projekts übereinstimmt, wird dieser Logeintrag in den Messwertdaten angezeigt.

Ausschlussfilter für Senken gelten für systemdefinierte Nutzermesswerte, bei denen nur Logs gezählt werden, die vom Cloud-Projekt zur Aufnahme einbezogen werden.

Ausschlussfilter für Senken gelten nicht für benutzerdefinierte logbasierte Messwerte. Selbst wenn Sie Logs von der Cloud Logging API ausschließen und die Logs nicht in Logging-Buckets gespeichert werden, können Sie diese Logs in diesen Messwerten zählen.

Logbasierte Messwerte gelten auf Cloud-Projektebene. Diese Messwerte werden vom Log-Router berechnet und gelten nur für Logs in dem Cloud-Projekt, in dem sie empfangen werden.

Weitere Informationen finden Sie unter Übersicht über logbasierte Messwerte.

Logs in unterstützten Zielen suchen

Mehr zum Format weitergeleiteter Logeinträge und dazu, wie die Logs in den Zielen organisiert werden, erfahren Sie unter Logs an Senkenzielen ansehen.

Gängige Anwendungsfälle

Allgemeine Anwendungsfälle für das Routing und Speichern von Logs finden Sie in den folgenden Dokumenten und Anleitungen:

Complianceanforderungen

Best Practices für die Verwendung von Routing für Data Governance finden Sie in den folgenden Dokumenten:

Zugriffssteuerung mit IAM

Informationen zur Verwendung Identitäts- und Zugriffsverwaltung-Rollen und -Berechtigungen, um den Zugriff auf Cloud Logging-Daten zu steuern, finden Sie unter Zugriffssteuerung mit IAM.

Preise

Informationen zu den Preisen für die Aufnahme und Speicherung finden Sie unter Preise für Cloud Logging.

Beim Weiterleiten von Logs fallen für Cloud Logging keine Gebühren an. Es können aber Gebühren am Ziel erhoben werden. Weitere Informationen finden Sie in den Preisdetails des entsprechenden Dienstes:

Zusätzlich zu den Gebühren am Ziel fallen weitere Gebühren für das Generieren von VPC-Flusslogs an, wenn Sie Ihre Virtual Private Cloud-Flusslogs senden und dann von Cloud Logging ausschließen.

Weitere Informationen

Informationen zum Weiterleiten und Speichern von Cloud Logging-Daten finden Sie in den folgenden Dokumenten: