Routing und Speicher – Übersicht

Auf dieser Seite wird erläutert, wie Cloud Logging Logeinträge verarbeitet und die wichtigsten Komponenten von Logging-Routing und -Speicher beschreibt.

Auf übergeordneter Ebene leitet Cloud Logging Logeinträge so weiter und speichert diese so:

Weiterleitung von Logeinträgen durch Cloud Logging

Logs mit dem Log Router aufnehmen und weiterleiten

In den folgenden Abschnitten wird erläutert, wie Logs von Logging aufgenommen und mithilfe von Senken über den Logs Router weitergeleitet werden.

Log-Router

Ein Logeintrag wird an die Google Cloud-Ressource gesendet, die angegeben in seinem logName-Feld während seines entries.write-Aufrufs.

Cloud Logging empfängt Logeinträge über die Cloud Logging API, wo sie den Logs Router passieren. Die Senken im Log Router prüfen jeden Logeintrag mit den vorhandenen Einschlussfiltern und Ausschlussfiltern, mit denen bestimmt wird, welche Ziele einschließlich Cloud Logging-Buckets, an die der Logeintrag gesendet werden soll. Sie können Kombinationen von Senken verwenden, um Logs an mehrere Ziele weiterzuleiten.

Zum zuverlässigen Weiterleiten von Logs speichert der Log Router die Logs außerdem vorübergehend (nicht im Bild dargestellt), da sie vor einer Unterbrechung in einer Senke gepuffert werden. Beachten Sie, dass sich der temporäre Speicher des Log Routers von dem langfristigen Speicher unterscheidet, der von Logging-Buckets bereitgestellt wird.

Senken

Senken steuern, wie Cloud Logging Logs weiterleitet. Mithilfe von Senken können Sie einige oder alle Logs an unterstützte Ziele weiterleiten. Es gibt einige Gründe, warum Sie die Weiterleitung von Logs steuern möchten:

  • Zum Speichern von Logs, die wahrscheinlich nicht gelesen werden, aber für Compliancezwecke aufbewahrt werden müssen.
  • Organisieren Sie Ihre Logs in Buckets in einem nützlichen Format.
  • Sie können Big Data-Analysetools auf Ihre Logs anwenden.
  • Sie können Ihre Logs an andere Anwendungen, Repositories oder Dritte senden.

Senken gehören zu einer bestimmten Google Cloud-Ressource: Cloud-Projekte, Rechnungskonten, Ordner und Organisationen. Wenn die Ressource einen Logeintrag empfängt, leitet sie den Logeintrag gemäß den in dieser Ressource enthaltenen Senken und, sofern aktiviert, allen untergeordneten Senken weiter, die zur Ressourcenhierarchie gehören. aus. Der Logeintrag wird an das Ziel gesendet, das mit jeder übereinstimmenden Senke verknüpft ist.

Cloud Logging bietet für alle Cloud-Projekte, -Rechnungskonten, -Ordner und -Organisationen zwei vordefinierte Senken: _Required und _Default. Alle in einer Ressource generierten Logs werden automatisch über diese beiden Senken verarbeitet und dann entweder in den entsprechend benannten_Required- oder_Default-Buckets gespeichert.

Senken arbeiten unabhängig voneinander. Unabhängig davon, wie die vordefinierten Senken Ihre Logeinträge verarbeiten, können Sie eigene Senken erstellen, um einige oder alle Logs zu verschiedenen unterstützten Zielen weiterzuleiten oder die von Cloud Logging gespeichert werden.

Das Routingverhalten für jede Senke wird durch Konfigurieren der Aufnahmefilter und Ausschlussfilter für die jeweilige Senke gesteuert. Abhängig von der Konfiguration der Senke fällt jeder von Cloud Logging empfangene Logeintrag in eine oder mehrere der folgenden Kategorien:

  • Die Daten werden in Cloud Logging gespeichert und nicht an eine andere Stelle weitergeleitet.

  • Sie werden in Cloud Logging gespeichert und an ein unterstütztes Ziel weitergeleitet.

  • Nicht in Cloud Logging gespeichert, aber an ein unterstütztes Ziel weitergeleitet.

  • Weder in Cloud Logging gespeichert noch an andere Stelle weitergeleitet.

Normalerweise erstellen Sie Senken auf Cloud-Projektebene. Wenn Sie jedoch Logs aus den in einer Google Cloud-Organisation oder einem Google Cloud-Ordner enthaltenen Ressourcen kombinieren und weiterleiten möchten, können Sie Folgendes erstellen: Aggregierte Senken.

Sie können keine Logeinträge weiterleiten, die in Logging empfangen wurden, bevor die Senke erstellt wurde, da das Routing erfolgt, wenn Logs die Logging API durchlaufen. Neue Routingregeln gelten nur für Logs, die nach diesen Regeln erstellt wurden. aus. Wenn Sie Logeinträge rückwirkend weiterleiten müssen, finden Sie weitere Informationen unter Logs kopieren.

Einschlussfilter

Wenn Sie bei einer neuen Senke keine Filter angeben, stimmen alle Logs überein und werden zum Ziel der Senke weitergeleitet. Sie können die Senke so konfigurieren, dass bestimmte Logs ausgewählt werden, indem Sie einen Einschlussfilter festlegen. Sie können auch einen oder mehrere Ausschlussfilter festlegen, um Logs vom Ziel der Senke auszuschließen.

Wenn Sie Senken konfigurieren, erstellen Sie mithilfe der Logging-Abfragesprache Aufnahmefilter. Senken können auch mehrere Ausschlussfilter enthalten.

Jeder von Logging empfangene Logeintrag wird anhand der folgenden Filterregeln weitergeleitet:

  • Die Ausschlussfilter der Senke überschreiben alle definierten Einschlussfilter. Wenn ein Log mit einem Ausschlussfilter in der Senke übereinstimmt, entspricht die ID nicht der Senke, unabhängig von den definierten Einschlussfiltern. Der Logeintrag wird nicht an das Ziel dieser Senke weitergeleitet.

  • Wenn die Senke keinen Einschlussfilter enthält, geschieht Folgendes:

    • Wenn der Logeintrag mit einem Ausschlussfilter übereinstimmt, wird er nicht zum Ziel der Senke weitergeleitet.
    • Wenn der Logeintrag mit keinem Ausschlussfilter übereinstimmt, wird er zum Ziel der Senke weitergeleitet. Bei einem leeren Einschlussfilter werden alle Logs ausgewählt.
  • Wenn die Senke einen Einschlussfilter enthält, geschieht Folgendes:

    • Wenn der Logeintrag mit dem Einschlussfilter übereinstimmt, wird er zum Ziel der Senke weitergeleitet.
    • Wenn der Logeintrag nicht mit dem Einschlussfilter übereinstimmt, wird er nicht zum Ziel der Senke weitergeleitet.

Ausschlussfilter

Wenn Sie eine Senke erstellen, können Sie mehrere Ausschlussfilter festlegen, die verhindern, dass übereinstimmende Logeinträge an das Ziel der Senke weitergeleitet oder von Cloud Logging aufgenommen werden. Ausschlussfilter werden mithilfe der Logging-Abfragesprache erstellt.

Logs werden ausgeschlossen, nachdem sie von der Logging API empfangen wurden. Durch das Ausschließen von Logs wird die Anzahl der entries.write API-Aufrufe nicht verringert.

Ausgeschlossene Logeinträge sind in Log Explorer oder Cloud Debugger nicht verfügbar.

Logeinträge, die nicht an mindestens einen Log-Bucket weitergeleitet werden, entweder explizit mit Ausschlussfiltern oder weil sie mit keiner Senke mit einem Logging-Speicherziel übereinstimmen, werden ebenfalls von Error Reporting ausgeschlossen.

Benutzerdefinierte logbasierte Messwerte werden aus Logeinträgen sowohl enthaltener als auch ausgeschlossener Logs berechnet. Weitere Informationen finden Sie unter Logs überwachen.

Unterstützte Ziele

Sie können mit dem Log Router bestimmte Logs an unterstützte Ziele in einem beliebigen Cloud-Projekt weiterleiten. Logging unterstützt die folgenden Senkenziele:

  • Cloud Storage: JSON-Dateien, die in Cloud Storage-Buckets gespeichert sind eine kostengünstige, langfristige Speicherung bietet.
  • BigQuery: In BigQuery-Datasets erstellte Tabellen. bietet Big-Data-Analysefunktionen.
  • Pub/Sub: JSON-formatierte Nachrichten, die an Pub/Sub-Themen gesendet werden unterstützt Integrationen von Drittanbietern wie Splunk in Logging.
  • Cloud Logging: Logeinträge in Log-Buckets bietet Speicher in Cloud Logging mit anpassbaren Aufbewahrungsdauern.

Weitere Informationen zum Weiterleiten von Logs an unterstützte Ziele finden Sie unter Senken konfigurieren.

Logs speichern, aufrufen und verwalten

Im folgenden Abschnitt wird beschrieben, wie Logs in Cloud Logging gespeichert werden und wie Sie sie aufrufen und verwalten können.

Log-Buckets

Cloud Logging verwendet Log-Buckets als Container in Ihren Google Cloud-Projekten, Rechnungskonten, Ordnern und Organisationen, um Ihre Logdaten zu speichern und zu organisieren. Die in Cloud Logging gespeicherten Logs werden indexiert, optimiert und bereitgestellt, damit Sie sie in Echtzeit analysieren können. Cloud Logging-Buckets unterscheiden sich von den Speicherentitäten mit den ähnlich benannten Cloud Storage-Buckets.

Für jedes Cloud-Projekt, Rechnungskonto, Ordner und Organisation erstellt Logging automatisch zwei Log-Buckets: _Required und _Default. In Logging werden automatisch Senken mit den Namen _Required und _Default erstellt, die in der Standardkonfiguration Logs an die entsprechenden Buckets weiterleiten.

Sie können die Logs deaktivieren, die an den Log-Bucket _Default weitergeleitet werden. Sie können die Routingregeln für den Bucket _Required nicht ändern.

Darüber hinaus können Sie für jedes beliebige Cloud-Projekt benutzerdefinierte Buckets erstellen.

Sie erstellen Senken, um alle oder nur einen Teil Ihrer Logs an einen beliebigen Log-Bucket weiterzuleiten. Dank dieser Flexibilität können Sie das Cloud-Projekt auswählen, in dem Ihre Logs gespeichert werden und welche anderen Logs darin gespeichert werden.

Weitere Informationen finden Sie unter Log-Buckets konfigurieren.

_Required Log-Bucket

Cloud Logging leitet die folgenden Logtypen automatisch an den Bucket _Required weiter:

Cloud Logging speichert die Logs in diesem Bucket 400 Tage lang kann diese Aufbewahrungsdauer nicht mehr geändert werden.

Sie können den Bucket _Required nicht ändern oder löschen. Sie können die Senke _Required nicht deaktivieren, die Logs an den Bucket _Required weiterleitet.

Weder die Datenaufnahmepreise noch die Speicherpreise gelten für die im _Required-Log-Bucket gespeicherten Logdaten.

_Default Log-Bucket

Jeder Logeintrag, der nicht vom Bucket _Required aufgenommen wird, wird von der Senke _Default an den Bucket _Default weitergeleitet, es sei denn, Sie deaktivieren oder bearbeiten die Senke _Default. aus. Eine Anleitung zum Ändern von Senken finden Sie unter Senken verwalten.

Sie können den Bucket _Default nicht löschen.

Im _Default-Bucket gespeicherte Logs werden 30 Tage aufbewahrt, es sei denn, Sie konfigurieren die benutzerdefinierte Aufbewahrungsregeln für den Bucket.

Die Cloud Logging-Preise gelten für die Logdaten im Bucket _Default.

Benutzerdefinierte Log-Buckets

Sie können in jedem Cloud-Projekt auch benutzerdefinierte Log-Buckets erstellen. Durch Senken auf Ihre benutzerdefinierten Log-Buckets können Sie eine beliebige Teilmenge Ihrer Logs an einen beliebigen Log-Bucket weiterleiten und sich dadurch entscheiden, in welchem Cloud-Projekt und in welchen anderen Logs gespeichert wird. mit ihnen zu kommunizieren.

Beispielsweise können Sie für jedes in Projekt A generierte Log eine Senke konfigurieren, um dieses Log an benutzerdefinierte Buckets in Projekt A oder Projekt B weiterzuleiten.

Die Preise für Cloud Logging gelten unabhängig vom Logtyp für die in diesem Bucket enthaltenen Logdaten.

Sie können eine benutzerdefinierte Aufbewahrungsdauer für den Bucket konfigurieren.

Informationen zum Verwalten benutzerdefinierter Log-Buckets, einschließlich deren Löschen oder Aktualisieren, finden Sie unter Log-Buckets konfigurieren und verwalten.

Regionalisierung

Log-Buckets sind regionale Ressourcen. Die Infrastruktur, in der Ihre Logs gespeichert, indexiert und durchsucht werden, befindet sich an einem bestimmten geografischen Standort. Google verwaltet diese Infrastruktur, sodass Ihre Anwendungen in den Zonen innerhalb dieser Region redundant verfügbar sind.

Weitere Informationen zum Speicherort von Logdaten finden Sie unter Regionalität der Daten für Cloud Logging.

Wenn Sie Ihren Log-Bucket erstellen, können Sie Ihre Logs in einer der folgenden Regionen speichern:

Kontinent Regionen
Asien asia-east1
asia-east2
asia-northeast1
asia-northeast2
asia-northeast3
asia-south1
asia-south2
asia-southeast1
asia-southeast2
Australia australia-southeast1
australia-southeast2
Europa europe-central2
europe-north1
europe-west1
europe-west2
europe-west3
europe-west4
europe-west6
Nordamerika northamerica-northeast1
northamerica-northeast2
us-central1
us-east1
us-east4
us-west1
us-west2
us-west3
us-west4
Südamerika southamerica-east1

Zusätzlich zu diesen Regionen können Sie auch den Standort auf global festlegen. Das bedeutet, dass Sie nicht angeben müssen, wo Ihre Logs gespeichert sind.

Unternehmensrichtlinien

Sie können eine Organisationsrichtlinie erstellen, um dafür zu sorgen, dass Ihre Organisation Ihren Compliance-Anforderungen und gesetzlichen Vorschriften entspricht. Mit einer Organisationsrichtlinie können Sie festlegen, in welchen Regionen Ihre Organisation neue Log-Buckets erstellen kann. Sie können auch festlegen, dass Ihre Organisation in bestimmten Regionen keine neuen Log-Buckets erstellt.

Cloud Logging erzwingt die neu erstellte Organisationsrichtlinie für Ihren vorhandenen Log-Bucket nicht. Sie wird nur für neue Log-Buckets erzwungen.

Informationen zum Erstellen einer standortbasierten Organisationsrichtlinie finden Sie unter Ressourcenstandorte einschränken.

Aufbewahrung

Cloud Logging speichert Logs entsprechend den Aufbewahrungsregeln für den Log-Bucket-Typ, in dem sich die Logs befinden.

Sie können in Cloud Logging festlegen, dass Logs zwischen 1 Tag und 3.650 Tagen aufbewahrt werden. Benutzerdefinierte Aufbewahrungsregeln gelten für alle Logs in einem Bucket, unabhängig vom Logtyp oder davon, ob dieses Log von einem anderen Standort kopiert wurde.

Informationen zum Festlegen von Aufbewahrungsregeln für einen Log-Bucket finden Sie unter Benutzerdefinierte Aufbewahrung konfigurieren.

Logansichten

Mit Logansichten können Sie steuern, wer Zugriff auf die Logs in Ihren Log-Buckets hat.

Cloud Logging erstellt automatisch die Ansicht _AllLogs für jeden Bucket, in der alle Logs angezeigt werden. Cloud Logging erstellt außerdem eine Ansicht für den Bucket _Default mit dem Namen _Default, die alle Logs außer Audit-Logs für den Datenzugriff enthält.

Da Log-Buckets Logs aus mehreren Cloud-Projekten enthalten können, ist es empfehlenswert, zu steuern, in welchen Cloud-Projekten Logs von verschiedenen Nutzern angezeigt werden können. Sie können benutzerdefinierte Logansichten erstellen, die Ihnen eine detailliertere Zugriffssteuerung für diese Buckets ermöglichen.

Weitere Informationen finden Sie unter Logansichten verwalten.

Logs in der Google Cloud-System verwenden

Der folgende Abschnitt enthält Informationen zur Verwendung von Logs in der umfassenderen Google Cloud.

Logbasierte Messwerte

Logbasierte Messwerte sind Cloud Monitoring-Messwerte, die auf dem Inhalt von Logeinträgen basieren. Wenn Cloud Logging einen Logeintrag für ein Cloud-Projekt erhält, das den Filtern eines der Messwerte des Cloud-Projekts entspricht, wird dieser Logeintrag in den Messwertdaten widergespiegelt.

Senkenausschlussfilter gelten für systemdefinierte Nutzermesswerte, die nur Logs zählen, die für die Aufnahme in das Cloud-Projekt enthalten sind.

Senkenausschlussfilter gelten nicht für benutzerdefinierte logbasierte Messwerte. Selbst wenn Sie Logs von der Cloud Logging API ausschließen und die Logs nicht in Logging-Buckets gespeichert werden, werden diese Logs möglicherweise in diesen Messwerten gezählt.

Logbasierte Messwerte gelten auf Cloud-Projektebene. Diese Messwerte werden vom Log Router berechnet und gelten nur für Logs in dem Cloud-Projekt, in dem sie empfangen wurden.

Weitere Informationen finden Sie unter Logbasierte Messwerte.

Logs in unterstützten Zielen suchen

Mehr zum Format weitergeleiteter Logeinträge und dazu, wie die Logs in den Zielen organisiert werden, erfahren Sie unter Logs an Senkenzielen ansehen.

Gängige Anwendungsfälle

Informationen zu gängigen Anwendungsfällen für das Routing und die Speicherung von Logs finden Sie in den folgenden Dokumenten und Anleitungen:

Complianceanforderungen

Best Practices für die Verwendung von Routing für Data Governance finden Sie in den folgenden Dokumenten:

Zugriffssteuerung mit IAM

Informationen zur Verwendung Identitäts- und Zugriffsverwaltung (Identity and Access Management, IAM) Rollen und Berechtigungen zum Steuern des Zugriffs auf Cloud Logging-Daten finden Sie in derZugriffssteuerung mit IAM aus.

Preise

Informationen zu den Preisen für Datenaufnahme und -speicherung finden Sie unter Cloud Logging – Preise.

In Cloud Logging werden keine Gebühren für die Weiterleitung von Logs berechnet, es können aber Zielgebühren anfallen. Weitere Informationen finden Sie in den Preisdetails des entsprechenden Dienstes:

Zusätzlich zu den Gebühren am Ziel fallen weitere Gebühren für das Generieren von VPC-Flusslogs an, wenn Sie Ihre Virtual Private Cloud-Flusslogs senden und dann von Cloud Logging ausschließen.

Nächste Schritte

Informationen zum Weiterleiten und Speichern von Cloud Logging-Daten finden Sie in den folgenden Dokumenten: