Cloud Logging – Übersicht

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Dieses Dokument bietet eine Übersicht über Cloud Logging, ein Protokollverwaltungssystem in Echtzeit mit Speicher-, Such-, Analyse- und Monitoringunterstützung. Cloud Logging erfasst automatisch Logs aus Google Cloud-Ressourcen. Sie können auch Logs von Ihren Anwendungen, lokalen Ressourcen und Ressourcen anderer Cloud-Anbieter erfassen. Sie können Benachrichtigungen konfigurieren, damit Sie informiert werden, wenn bestimmte Arten von Ereignissen in Ihren Logs gemeldet werden. Aus regulatorischen oder Sicherheitsgründen können Sie festlegen, wo Ihre Logdaten gespeichert werden.

Logs aus Anwendungen und Drittanbietersoftware erfassen

Sie können Logs aus von Ihnen geschriebenen Anwendungen erfassen. Dazu instrumentieren Sie die Anwendung mithilfe einer Clientbibliothek. Sie müssen Ihre Anwendung jedoch nicht immer instrumentieren. Für einige Konfigurationen können Sie beispielsweise den Ops-Agent verwenden, um Logs, die in stdout oder stderr geschrieben wurden, an Ihr Cloud-Projekt zu senden.

Sie können auch Logdaten von Drittanbieteranwendungen wie nginx erfassen. Dazu installieren Sie den Ops-Agent und konfigurieren ihn dann so, dass Logs aus dieser Anwendung in Ihr Google Cloud-Projekt geschrieben werden.

Unter Welches Protokoll sollten Sie verwenden: Logging-Agent oder Clientbibliothek? finden Sie Informationen, die Ihnen dabei helfen, den besten Ansatz für Ihre Anforderungen zu finden.

Fehlerbehebung und Analyse von Logs

Sie können Ihre Logdaten mit der Google Cloud Console auf den Seiten Log-Explorer oder Log-Analyse aufrufen und analysieren. Sie können Logs mit beiden Schnittstellen abfragen und ansehen. Sie verwenden jedoch unterschiedliche Abfragesprachen und unterschiedliche Funktionen.

Wenn Sie Probleme mit der Leistung Ihrer Dienste und Anwendungen beheben und diese analysieren möchten, empfehlen wir den Log-Explorer. Über diese Schnittstelle können Sie einzelne Logeinträge aufrufen und zugehörige Logeinträge finden. Wenn beispielsweise ein Logeintrag Teil einer Fehlergruppe ist, wird dieser Eintrag mit einem Menü mit Optionen annotiert, mit denen Sie auf weitere Informationen zum Fehler zugreifen können.

Wenn Sie zusammengefasste Vorgänge für Ihre Logs ausführen möchten, um beispielsweise die durchschnittliche Latenz von HTTP-Anfragen zu berechnen, die im Laufe der Zeit an eine bestimmte URL ausgegeben wurden, verwenden Sie die Log Analytics-Oberfläche. Bei dieser Schnittstelle verwenden Sie SQL, um Ihre Logdaten abzufragen. Daher können Sie die Funktionen von SQL nutzen, um Ihre Logdaten besser zu verstehen.

Wenn Sie Ihre Logdaten programmatisch abfragen möchten, können Sie mit der Cloud Logging API oder der Google Cloud CLI Logdaten aus Ihrem Cloud-Projekt exportieren.

Weitere Informationen finden Sie unter Logs ansehen und ansehen.

Ihre Logs überwachen

Sie können Cloud Logging so konfigurieren, dass Sie benachrichtigt werden, wenn bestimmte Arten von Ereignissen in Ihren Logs auftreten. Diese Benachrichtigungen können gesendet werden, wenn ein bestimmtes Muster in einem Logeintrag enthalten ist oder ein Trend in Ihren Logdaten erkannt wird. Wenn Sie sich die Fehlerraten Ihrer Google Cloud-Dienste ansehen möchten, können Sie das vorkonfigurierte Cloud Logging-Dashboard aufrufen.

Wenn Sie beispielsweise benachrichtigt werden möchten, wenn eine bestimmte Nachricht auftritt, z. B. ein kritisches Sicherheitsereignis, können Sie eine logbasierte Benachrichtigung erstellen. Eine logbasierte Benachrichtigung überwacht Ihre Logs auf ein bestimmtes Muster. Wenn dieses Muster gefunden wird, wird eine Benachrichtigung gesendet und ein Vorfall erstellt. Logbasierte Benachrichtigungen eignen sich gut für wichtige, aber seltene Ereignisse wie die folgenden:

  • Sie möchten benachrichtigt werden, wenn ein Ereignis in einem Audit-Log angezeigt wird. Beispiel: Ein Nutzer greift auf den Sicherheitsschlüssel eines Dienstkontos zu.
  • Ihre Anwendung schreibt Nachrichten zu Bereitstellung in Logs. Sie wollen informiert werden, wenn eine Änderung an der Bereitstellung protokolliert wird.

Alternativ können Sie Trends beobachten oder Ereignisse im Zeitverlauf beobachten. In diesen Fällen können Sie einen logbasierten Messwert erstellen. Mit einem logbasierten Messwert kann die Anzahl der Logeinträge ermittelt werden, die einem bestimmten Kriterium entsprechen. Außerdem können Informationen wie Antwortzeiten in Histogrammen extrahiert und organisiert werden. Sie können auch Benachrichtigungen konfigurieren, die Sie über Leistungsänderungen informieren, z. B. wenn die Antwortzeit auf ein inakzeptables Niveau ansteigt. Logbasierte Messwerte eignen sich für Folgendes:

  • Zählen Sie das Auftreten einer Nachricht, z. B. eine Warnung oder einen Fehler, in Ihren Logs und erhalten Sie eine Benachrichtigung, wenn die Anzahl der Vorkommen einen Grenzwert überschreitet.
  • Beobachten Sie Datentrends wie Latenzwerte in Logs und erhalten Sie eine Benachrichtigung, wenn sich die Werte in unzulässiger Weise ändern.
  • Erstellen von Diagrammen, um die aus Logs extrahierten numerischen Daten darzustellen.

Weitere Informationen finden Sie unter Logs überwachen.

Logspeicher

Sie müssen den Speicherort für Logs nicht konfigurieren. Standardmäßig speichert Ihr Cloud-Projekt alle erhaltenen Logs automatisch in einem Cloud Logging-Log-Bucket. Wenn Ihr Cloud-Projekt beispielsweise eine Compute Engine-Instanz enthält, werden alle von Compute Engine generierten Logs automatisch für Sie gespeichert. Bei Bedarf können Sie jedoch verschiedene Aspekte Ihres Logspeichers konfigurieren, z. B. welche Logs gespeichert werden, welche verworfen werden und wo die Logs gespeichert werden.

Sie können Logeinträge an die folgenden Ziele leiten oder weiterleiten, die sich im selben Google Cloud-Projekt oder in einem anderen Google Cloud-Projekt befinden können:

  • Cloud Logging-Log-Buckets: Speicher in Cloud Logging In einem Log-Bucket können Logs gespeichert werden, die von mehreren Google Cloud-Projekten aufgenommen wurden. Sie können Ihre Cloud Logging-Daten mit anderen Daten kombinieren. Dazu speichern Sie Ihre Logs in Log-Buckets, die für die Verwendung von Log Analytics aktualisiert werden, und erstellen dann ein verknüpftes BigQuery-Dataset. Informationen zum Aufrufen von Logs finden Sie unter Logs ansehen und ansehen und Logs an Cloud Logging-Buckets weiterleiten.
  • Google Cloud-Projekte: Weiterleiten von Logeinträgen an ein anderes Google Cloud-Projekt. Wenn Sie Logs an ein anderes Cloud-Projekt weiterleiten, empfängt der Log Router des Zielprojekts die Logs und verarbeitet sie. Das Projekt, von dem Sie Logs weiterleiten, muss nicht definieren, wie das Zielprojekt die Logs verarbeitet.
  • Pub/Sub-Themen: Bietet Unterstützung für Integrationen von Drittanbietern wie Splunk mit Logging. Logeinträge werden in JSON formatiert und dann an ein Pub/Sub-Thema gesendet. Informationen zum Aufrufen dieser Logs, ihrer Organisation und zum Konfigurieren der Integration eines Drittanbieters finden Sie unter An Pub/Sub weitergeleitete Logs ansehen.
  • BigQuery-Datasets: Speichert Logeinträge in BigQuery-Datasets. Sie können Big Data-Analysefunktionen für die gespeicherten Logs verwenden. Wenn Sie Ihre Cloud Logging-Daten mit anderen Datenquellen kombinieren möchten, sollten Sie Ihre Logs in Log-Buckets speichern, die für die Verwendung von Log Analytics aktualisiert wurden, und dann ein verknüpftes BigQuery-Dataset erstellen. Informationen zum Aufrufen von an BigQuery weitergeleiteten Logs finden Sie unter An BigQuery weitergeleitete Logs ansehen.
  • Cloud Storage-Buckets: Bietet eine kostengünstige, langfristige Speicherung von Logdaten in Cloud Storage. Logeinträge werden als JSON-Dateien gespeichert. Informationen zum Aufrufen dieser Logs, ihrer Organisation und ihrer Verarbeitung finden Sie unter An Cloud Storage weitergeleitete Logs ansehen.

Weitere Informationen, auch zur Unterstützung der Datenregionalität, finden Sie unter Routing und Speicherung – Übersicht.

Logkategorien

Logkategorien sollen die für Sie verfügbaren Loginformationen beschreiben. Die Kategorien schließen sich nicht gegenseitig aus:

  • Plattformlogs sind Logs, die von Ihren Google Cloud-Diensten geschrieben wurden. Mit diesen Logs können Sie Probleme beheben und die von Ihnen verwendeten Google Cloud-Dienste besser verstehen. In VPC-Flusslogs wird beispielsweise eine Stichprobe von Netzwerkflüssen aufgezeichnet, die von VM-Instanzen gesendet und empfangen werden.

  • Komponentenlogs ähneln Plattformlogs, werden jedoch durch von Google bereitgestellte Softwarekomponenten generiert, die auf Ihren Systemen ausgeführt werden. GKE bietet beispielsweise Softwarekomponenten, die Nutzer auf ihrer eigenen VM oder in ihrem eigenen Rechenzentrum ausführen können. Logs werden aus den GKE-Instanzen des Nutzers generiert und an das Cloud-Projekt eines Nutzers gesendet. GKE verwendet die Logs oder deren Metadaten, um Nutzersupport bereitzustellen.

  • Mithilfe von Sicherheitsprotokollen können Sie herausfinden, wer was, wo und wann getan hat:

    • Cloud-Audit-Logs enthalten Informationen zu Administratoraktivitäten und Zugriffen innerhalb Ihrer Google Cloud-Ressourcen. Durch das Aktivieren von Audit-Logs können Ihre Sicherheits-, Audit- und Compliance-Entitäten Google Cloud-Daten und -Systeme auf potenzielle Sicherheitslücken oder den Missbrauch externer Daten überwachen. Eine Liste der von Google Cloud unterstützten Dienste finden Sie unter Google-Dienste mit Audit-Logs.

    • Access Transparency bietet Logs von Aktionen, die von Google-Mitarbeitern beim Zugriff auf Ihre Google Cloud-Inhalte ausgeführt wurden. Mit Access Transparency-Logs können Sie die Einhaltung Ihrer rechtlichen und regulatorischen Anforderungen für Ihre Organisation im Blick behalten. Eine Liste der von Google Cloud unterstützten Dienste finden Sie unter Google-Dienste mit Access Transparency-Logs.

  • Von Nutzern geschriebene Logs sind Protokolle, die von benutzerdefinierten Anwendungen und Diensten geschrieben wurden. In der Regel werden diese Logs mit einer der folgenden Methoden in Cloud Logging geschrieben:

  • Multi-Cloud-Logs und Hybrid-Cloud-Logs beziehen sich auf Logs von anderen Cloud-Anbietern wie Microsoft Azure und Logs der lokalen Infrastruktur.

Datenmodell für Logs

Das Datenmodell, mit dem Cloud Logging Ihre Logdaten organisiert, bestimmt die Dimensionen, über die Sie diese Daten abfragen können. Da ein Log beispielsweise eine benannte Sammlung einzelner Einträge ist, können Sie Ihre Daten nach dem Namen des Logs abfragen. Da jedes Log aus Logeinträgen besteht, die als LogEntry-Objekte formatiert sind, können Sie Abfragen schreiben, die nur solche Logeinträge abrufen, wenn der Wert eines LogEntry-Felds einigen Kriterien entspricht. Sie können beispielsweise nur Logeinträge anzeigen lassen, deren Feld severity den Wert ERROR hat.

Jeder Logeintrag zeichnet den Status auf oder beschreibt ein bestimmtes Ereignis, z. B. das Erstellen einer VM-Instanz, und umfasst mindestens Folgendes:

  • Einem Zeitstempel, der angibt, wann das Ereignis eingetreten ist oder wann es von Cloud Logging empfangen wurde.
  • Informationen zur Quelle des Logeintrags. Diese Quelle wird als überwachte Ressource bezeichnet. Beispiele für überwachte Ressourcen sind einzelne Compute Engine-VM-Instanzen und Google Kubernetes Engine-Container. Eine vollständige Liste der überwachten Ressourcentypen finden Sie unter Überwachte Ressourcen und Dienste.
  • Eine Nutzlast, auch Nachricht genannt, die entweder als unstrukturierte Textdaten oder als strukturierte Textdaten im JSON-Format bereitgestellt wird.

  • Dem Name des Logs, zu dem es gehört. Der Name eines Logs enthält den vollständigen Pfad der Ressource, zu der die Logeinträge gehören, gefolgt von einer Kennung. Beispiele für Lognamen:

    • projects/my-project/logs/stderr
    • projects/my-project/logs/stdout
    • projects/my-project/compute.googleapis.com/activity

Zugriffssteuerung

Rollen der Identitäts- und Zugriffsverwaltung steuern die Fähigkeit eines Hauptkontos, auf Logs zuzugreifen. Sie können Hauptkonten vordefinierte Rollen zuweisen oder benutzerdefinierte Rollen erstellen. Weitere Informationen zu erforderlichen Berechtigungen finden Sie unter Zugriffssteuerung.

Aufbewahrung

Log-Einträge werden für einen bestimmten Zeitraum in Log-Buckets gespeichert und dann gelöscht. Weitere Informationen finden Sie unter Routing und Speicherung: Aufbewahrung.

Preise

Informationen zu den Preisen finden Sie unter Cloud Logging – Preise.