Cloud Logging – Übersicht

Dieses Dokument bietet einen Überblick über Cloud Logging, ein Echtzeit- Logverwaltungssystem mit Unterstützung für Speicher, Suche, Analyse und Monitoring. Cloud Logging erfasst automatisch Logs aus Google Cloud-Ressourcen. Sie können auch Protokolle aus Anwendungen, lokalen Ressourcen und Ressourcen von anderen Cloud-Anbietern. Sie können auch Benachrichtigungsrichtlinien konfigurieren, damit Sie von Cloud Monitoring benachrichtigt werden ob bestimmte Arten von Ereignissen in Ihren Logs gemeldet werden. Für behördliche oder aus Sicherheitsgründen können Sie festlegen, wo Ihre Protokolldaten gespeichert sind.

Logs aus Anwendungen und Drittanbieter-Software erfassen

Sie können Logs von Anwendungen erfassen, die Sie schreiben, indem Sie Ihre mithilfe eines Clientbibliothek verwenden. Allerdings ist es nicht immer die für die Instrumentierung Ihrer Anwendung erforderlich sind. Bei einigen Konfigurationen, die Sie mit dem Ops-Agent verwenden können zum Senden von Protokollen, stdout oder stderr zu Ihrem Google Cloud-Projekt.

Sie können auch Protokolldaten aus Drittanbieteranwendungen wie nginx, indem Sie den Ops-Agent installieren und ihn dann zum Schreiben von Logs konfigurieren von dieser Anwendung in Ihr Google Cloud-Projekt übertragen.

Weitere Informationen finden Sie unter Was sollten Sie verwenden: Logging-Agent oder Clientbibliothek? finden Sie Informationen, die Ihnen bei der Entscheidung helfen können, Anforderungen.

Fehlerbehebung und Analyse von Logs

Sie können Ihre Logdaten in der Google Cloud Console auf zwei Arten aufrufen und analysieren: mit dem Log-Explorer oder den Loganalysen. Sie können Abfragen und Logs mit beiden Schnittstellen ansehen Sie verwenden jedoch unterschiedliche Abfragesprachen und haben unterschiedliche Funktionen.

Wenn Sie die Leistung Ihrer Dienste und Anwendungen zu beheben und zu analysieren, empfehlen wir die Verwendung des Log-Explorers. Diese Oberfläche ist so konzipiert, um einzelne Logeinträge anzusehen und zugehörige Logeinträge zu finden. Für Wenn ein Logeintrag Teil eines error group – dieser Eintrag wird annotiert über ein Optionsmenü, über das Sie auf weitere Informationen zum Fehler zugreifen können.

Wenn Sie daran interessiert sind, zusammengefasste Vorgänge für Ihre Logs erstellen, um beispielsweise die durchschnittliche Latenz für HTTP-Anfragen, die im Zeitverlauf an eine bestimmte URL gesendet werden, verwenden Sie der Loganalysenoberfläche. Mit dieser Schnittstelle verwenden Sie SQL zum Abfragen Ihrer Logdaten. Sie können dann die Funktionen von SQL, damit Sie Ihre Logdaten besser verstehen können.

Wenn Sie Ihre Protokolldaten lieber programmatisch abfragen möchten, können Sie den Cloud Logging API oder die Google Cloud CLI, um Logdaten aus Ihrem Google Cloud-Projekt

Weitere Informationen finden Sie unter Logs abfragen und ansehen

Ihre Logs überwachen

Sie können Cloud Logging so konfigurieren, dass Sie benachrichtigt werden, wenn bestimmte Arten von Ereignissen in Ihren Logs auftreten. Diese Benachrichtigungen werden möglicherweise gesendet, in einem Logeintrag oder in Ihren Logdaten, wenn ein Trend erkannt wird. Wenn Sie sich die Fehlerraten Ihrer Google Cloud-Dienste ansehen möchten, können Sie das vorkonfigurierte Cloud Logging-Dashboard aufrufen.

Wenn Sie zum Beispiel über eine bestimmte wenn ein kritisches sicherheitsrelevantes Ereignis eintritt, können Sie Logbasierte Benachrichtigungsrichtlinie erstellen Eine logbasierte Benachrichtigungsrichtlinie überwacht Ihr Logs für ein bestimmtes Muster. Wird dieses Muster gefunden, Monitoring sendet eine Benachrichtigung und erstellt einen Vorfall. Logbasierte Benachrichtigungsrichtlinien sind nützlich für wichtige, aber seltene Ereignisse, wie zum Beispiel so:

  • Sie möchten benachrichtigt werden, wenn ein Ereignis in einem Audit-Log angezeigt wird. Beispiel: Ein Nutzer greift auf den Sicherheitsschlüssel eines Dienstkontos zu.
  • Ihre Anwendung schreibt Nachrichten zu Bereitstellung in Logs. Sie wollen informiert werden, wenn eine Änderung an der Bereitstellung protokolliert wird.

Alternativ können Sie auch Trends oder Ereignisse im Laufe der Zeit. In diesen Fällen können Sie einen logbasierten Messwert erstellen. Ein logbasierter Messwert kann die Anzahl der Logeinträge zählen, die mit einigen Kriterium, oder sie können Informationen wie die Antwortzeiten extrahieren und organisieren in Histogramme übertragen. Sie können auch Benachrichtigungsrichtlinien konfigurieren, die Sie benachrichtigen, Leistungsänderungen auftreten, dass die Antwortzeit beispielsweise auf ein inakzeptables Maß steigt. Logbasierte Messwerte eignen sich, um eine der folgenden Aktionen auszuführen:

  • Zählen Sie, wie oft eine Nachricht, z. B. Warnungen oder Fehler, und erhalten eine Benachrichtigung, wenn die Anzahl der Vorkommnisse einen Grenzwert überschreitet.
  • Beobachten Sie Trends in Ihren Daten, wie Latenzwerte in Ihren Logs, und erhalten eine Benachrichtigung, wenn sich die Werte auf unzulässige Weise ändern.
  • Erstellen von Diagrammen, um die aus Logs extrahierten numerischen Daten darzustellen.

Weitere Informationen finden Sie unter Logs überwachen.

Logspeicher

Sie müssen den Speicherort der Logs nicht konfigurieren. Standardmäßig werden die Das Google Cloud-Projekt speichert automatisch alle empfangenen Logs in Einen Cloud Logging-Log-Bucket Wenn zum Beispiel Das Google Cloud-Projekt enthält eine Compute Engine-Instanz, dann werden alle Logs Von Compute Engine generierte Inhalte werden automatisch für Sie gespeichert. Bei Bedarf können Sie jedoch eine Reihe von Aspekten Ihren Logspeicher, z. B. welche Logs gespeichert werden, welche verworfen werden und wo die Logs gespeichert sind.

Sie können Logeinträge an die folgenden Ziele weiterleiten oder weiterleiten. kann sich im selben Google Cloud-Projekt oder in einem anderen Google Cloud-Projekt befinden:

  • Cloud Logging-Bucket: Stellt Speicher in Cloud Logging bereit. In einem Log-Bucket können Logeinträge gespeichert werden die von mehreren Google Cloud-Projekten empfangen werden. Sie können Ihre Cloud Logging-Daten zusammen mit anderen Daten durch Upgrade eines Log-Buckets zur Verwendung Loganalysen und anschließendes Erstellen eines verknüpften BigQuery-Datasets. Für Informationen zum Aufrufen von Logeinträgen, die in Log-Buckets gespeichert sind, finden Sie unter Übersicht: Logs abfragen und ansehen und An Cloud Logging-Buckets weitergeleitete Logs ansehen.
  • BigQuery-Dataset: ermöglicht die Speicherung von Logeinträgen in BigQuery-Datasets. Sie können Big-Data-Analysefunktionen für die gespeicherten Logeinträge. Um Ihre Cloud Logging-Daten mit anderen Datenquellen verwendet werden, empfehlen wir, dass Sie Ihre Log-Buckets aktualisieren, Log Analytics und erstellen Sie dann ein verknüpftes BigQuery-Dataset. Informationen zum Aufrufen von an BigQuery weitergeleiteten Logeinträgen finden Sie unter An BigQuery weitergeleitete Logs ansehen
  • Cloud Storage-Bucket: Bietet die Speicherung von Logeinträgen in Cloud Storage. Aufzeichnen werden als JSON-Dateien gespeichert. Informationen zum Aufrufen des Protokolls an Cloud Storage weitergeleitete Einträge, siehe An Cloud Storage weitergeleitete Logs ansehen.
  • Pub/Sub-Thema: Bietet Unterstützung für Integrationen von Drittanbietern. Aufzeichnen werden in JSON formatiert und dann an ein Pub/Sub- . Informationen zum Aufrufen von Logeinträgen, die weitergeleitet an Pub/Sub, siehe An Pub/Sub weitergeleitete Logs ansehen
  • Splunk: Bietet Unterstützung für Splunk. Sie müssen Ihre Logeinträge an ein Pub/Sub-Thema weiterleiten dieses Thema mit Splunk abonnieren.
  • Google Cloud-Projekt: Logeinträge an ein anderes Google Cloud-Projekt weiterleiten. Wann? Logeinträge an ein anderes Google Cloud-Projekt, das Ziel empfängt der Logrouter des Projekts die Logeinträge und verarbeitet sie. Die Senken im Zielprojekt bestimmen, wie die empfangenen Logeinträge weitergeleitet. Error Reporting kann Logeinträge analysieren, wenn das Ziel -Projekt leitet diese Logeinträge an einen Log-Bucket weiter, der dem Ziel gehört Projekt arbeiten.
  • Weitere Ressourcen: Leiten Sie Ihre Logeinträge an ein unterstütztes Ziel weiter, das in einem anderen Projekt ist. Informationen zu den zu verwendenden Pfaden finden Sie unter Zielpfadformate:

Weitere Informationen, einschließlich zur Unterstützung der Regionalität von Daten, finden Sie unter Routing und Speicher

Logkategorien

Logkategorien sollen die verfügbaren Logging-Informationen beschreiben an Sie; Die Kategorien schließen sich nicht gegenseitig aus:

  • Plattformlogs sind Logs, die von Ihren Google Cloud-Diensten geschrieben werden. Diese Logs kann Ihnen bei der Fehlerbehebung helfen und Ihnen helfen, die von Ihnen verwendeten Google Cloud-Dienste. Beispiel: VPC-Flusslogs enthalten eine Stichprobe von von VM-Instanzen gesendete und empfangene Netzwerkflüsse.

  • Komponentenlogs ähneln Plattformlogs, werden jedoch von Von Google bereitgestellte Softwarekomponenten, die auf Ihren Systemen ausgeführt werden. Für Beispiel: GKE bietet Softwarekomponenten, die Nutzer auf ihrer eigenen VM oder in ihrem eigenen Rechenzentrum ausführen. Logs werden aus dem an die GKE-Instanzen eines Nutzers und an die Google Cloud-Projekt GKE verwendet die Logs oder deren Metadaten um Support für die Nutzenden zu bieten.

  • Mithilfe von Sicherheitsprotokollen können Sie feststellen, wer was, wo und wann getan hat:

    • Cloud-Audit-Logs enthalten Informationen über administrative Aktivitäten und Zugriffe Google Cloud-Ressourcen Das Aktivieren von Audit-Logs trägt zu Sicherheit, Auditing und Compliance bei Entitäten überwachen Google Cloud-Daten und -Systeme auf mögliche oder der Missbrauch externer Daten. Eine Liste der von Google Cloud unterstützten Dienste finden Sie unter Google-Dienste mit Audit-Logs

    • Access Transparency erhalten Sie Protokolle von Aktionen, die von Google-Mitarbeitern Zugriff auf Ihre Google Cloud-Inhalte. Access Transparency-Logs können Sie die Einhaltung Ihrer rechtlichen und gesetzlichen Vorschriften für Ihre Organisation. Eine Liste der von Google Cloud unterstützten Dienste finden Sie unter Google-Dienste mit Access Transparency-Logs

  • Von Nutzern geschriebene Logs sind Logs, die von benutzerdefinierten Anwendungen und Diensten geschrieben wurden. In der Regel werden diese Logs mit einem der folgenden Methoden:

  • Multi-Cloud-Logs und Hybrid-Cloud-Logs beziehen sich auf Logs aus andere Cloud-Anbieter wie Microsoft Azure und Logs aus der lokalen Infrastruktur.

Datenmodell für Logs

Das Datenmodell, das Cloud Logging zum Organisieren Ihrer Logdaten verwendet legt die Dimensionen fest, für die Sie diese Daten abfragen können. Beispiel: Da ein log eine benannte Sammlung einzelner Einträge ist, können Sie mit dem Namen des Protokolls. Da jedes Log aus einem von Logeinträgen, die als LogEntry-Objekte formatiert sind, können Abfragen schreiben, mit denen nur die Logeinträge abgerufen werden, bei denen der Wert eines ein LogEntry-Feld einigen Kriterien entspricht. Sie können beispielsweise nur Anzeigen Diese Logeinträge, deren Feld severity den Wert ERROR hat.

In jedem Logeintrag wird der Status aufgezeichnet oder ein bestimmtes Ereignis beschrieben, z. B. die Erstellung einer VM-Instanz. Sie besteht im Wesentlichen aus Folgendem:

  • Einem Zeitstempel, der angibt, wann das Ereignis eingetreten ist oder wann es von Cloud Logging empfangen wurde.
  • Informationen zur Quelle des Logeintrags. Diese Quelle wird als Die überwachte Ressource. Beispiele für überwachte Ressourcen sind einzelne Compute Engine-VM-Instanzen und Google Kubernetes Engine-Container Eine vollständige Liste der überwachten Ressourcentypen finden Sie unter Überwachte Ressourcen und Dienste.
  • Eine Nutzlast, auch als Nachricht bezeichnet, entweder als unstrukturierter Text oder als strukturierte Textdaten im JSON-Format.

  • Dem Name des Logs, zu dem es gehört. Der Name eines Protokolls enthält die vollständigen Pfad der Ressource, zu der die Logeinträge gehören, gefolgt von einem Kennung. Im Folgenden finden Sie Beispiele für Lognamen:

    • projects/my-project/logs/stderr
    • projects/my-project/logs/stdout
    • projects/my-project/compute.googleapis.com/activity

Zugriffssteuerung

Rollen der Identity and Access Management steuern, ob ein Hauptkonto auf Logs zugreifen kann. Sie können Hauptkonten vordefinierte Rollen zuweisen oder benutzerdefinierte Rollen erstellen. Weitere Informationen zu erforderlichen Berechtigungen finden Sie unter Zugriffssteuerung:

Aufbewahrung

Log-Einträge werden für einen bestimmten Zeitraum in Log-Buckets gespeichert und dann gelöscht. Weitere Informationen finden Sie unter Routing und Speicherübersicht: Aufbewahrung

Preise und Kostenkontrollen

Informationen zu Preisen finden Sie unter Cloud Logging – Preise

Strategien zur Senkung der Logging-Kosten finden Sie unter Kostenkontrollen für Logging.