An Pub/Sub weitergeleitete Logs ansehen

In diesem Dokument wird erläutert, wie Sie Logeinträge finden, die Sie von Cloud Logging an Pub/Sub-Themen weitergeleitet haben. Dies erfolgt nahezu in Echtzeit. Wir empfehlen, Pub/Sub zum Einbinden von Cloud Logging-Logs in Drittanbieter-Software zu verwenden.

Wenn Sie Logs in ein Pub/Sub-Thema weiterleiten, veröffentlicht Logging jeden Logeintrag sofort nach dem Empfang als Pub/Sub-Nachricht. Weitergeleitete Logs sind im Allgemeinen innerhalb von Sekunden nach ihrem Eintreffen in Logging verfügbar, wobei 99% der Logs in weniger als 60 Sekunden verfügbar sind.

Hinweise

Eine konzeptionelle Beschreibung von Senken finden Sie unter Übersicht über Routing- und Speichermodelle: Senken.

Eine Anleitung zum Weiterleiten von Logs finden Sie unter Logs an unterstützte Ziele weiterleiten.

Logs ansehen

So rufen Sie die Logs auf, die über Pub/Sub gestreamt werden:

  1. Wählen Sie im Navigationsbereich der Google Cloud Console Pub/Sub und dann Themen aus:

    Themen aufrufen

  2. Suchen oder erstellen Sie ein Abo für das Thema, das in der Logsenke verwendet wird, und rufen Sie einen Logeintrag daraus ab. Sie müssen möglicherweise warten, bis ein neuer Logeintrag veröffentlicht wird.

Logs organisieren

Das Feld data jeder Nachricht ist ein base64-codiertes LogEntry-Objekt. Beispielsweise kann ein Pub/Sub-Abonnent das folgende Objekt aus einem Thema abrufen, das Logeinträge empfängt. Das angezeigte Objekt enthält eine einzelne Nachricht. Pub/Sub kann aber möglicherweise auch mehrere Nachrichten zurückgeben, wenn mehrere Logeinträge verfügbar sind. Die Werte data (ca. 600 Zeichen) und ackId (ca. 200 Zeichen) wurden zur besseren Lesbarkeit des Beispiels gekürzt:

{
 "receivedMessages": [
  {
   "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg",
   "message": {
    "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==",
    "attributes": {
     "compute.googleapis.com/resource_type": "instance",
     "compute.googleapis.com/resource_id": "123456"
    },
    "messageId": "43913662360"
   }
  }
 ]
}

Wenn Sie das Feld data decodieren und formatieren, erhalten Sie das folgende LogEntry-Objekt: 

{
  "log": "helloworld.log",
  "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956",
  "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!",
  "timestamp": "2015-04-15T18:40:56Z",
  "labels": {
    "compute.googleapis.com\/resource_type": "instance",
    "compute.googleapis.com\/resource_id": "123456"
  },
  "severity": "WARNING"
  }
}

Drittanbieter in Pub/Sub einbinden

Logging unterstützt die Logging-Integration von Drittanbietern wie z. B. Splunk. Eine aktuelle Liste der Einbindungen von Google Cloud-Beobachtbarkeit finden Sie unter Partner.

Sie leiten Ihre Logs über ein Pub/Sub-Thema weiter und der Drittanbieter erhält dann Ihre Logs durch Abonnieren des gleichen Themas.

Für die Integration führen Sie in der Regel die folgenden Schritte aus:

  1. Fordern Sie vom Drittanbieter einen Google Cloud-Dienstkontonamen an, der in seinem Google Cloud-Projekt erstellt wurde. Beispiel: 12345-xyz@developer.gserviceaccount.com Erteilen Sie dem Drittanbieter anhand dieses Namens die Empfangsberechtigung für Ihre Logs.

  2. Aktivieren Sie in dem Projekt mit den Logs die Pub/Sub API.

  3. Pub/Sub API aktivieren.

    Aktivieren Sie die API

  4. Pub/Sub-Thema erstellen Ein Thema können Sie beim Konfigurieren einer Logsenke oder anhand der folgenden Schritte erstellen:

    1. Wählen Sie im Navigationsbereich der Google Cloud Console Pub/Sub und dann Themen aus:

      Themen aufrufen

    2. Wählen Sie Thema erstellen aus und geben Sie einen Themennamen ein. Beispiel: projects/my-project-id/topics/my-pubsub-topic Sie leiten Ihre Logs an dieses Thema weiter.

      Jede Nachricht, die an das Thema gesendet wird, enthält den Zeitstempel des weitergeleiteten Logeintrags in der Pub/Sub-Nachricht attributes; zum Beispiel:

      "attributes": {
  "logging.googleapis.com/timestamp": "2018-10-01T00:00:00Z"
}

    3. Klicken Sie auf Thema erstellen.

    4. Autorisieren Sie Logging, Logs in das Thema weiterzuleiten. Eine Anleitung finden Sie unter Zielberechtigungen festlegen.

  5. Autorisieren Sie den Drittanbieter, das Thema zu abonnieren:

    1. Wählen Sie im Navigationsbereich der Google Cloud Console Pub/Sub und dann Themen aus:

      Themen aufrufen

    2. Wählen Sie Ihr Thema aus.
    3. Wählen Sie Berechtigungen aus.
    4. Wählen Sie Berechtigung hinzufügen aus und geben Sie den Namen des Dienstkontos des Drittanbieters ein.
    5. Wählen Sie im Menü Rolle auswählen die Rolle Pub/Sub-Abonnent aus.
    6. Klicken Sie auf Speichern.

  6. Teilen Sie dem Drittanbieter den Namen Ihres Pub/Sub-Themas mit, zum Beispiel projects/my-project-number/topics/my-pubsub-topic. Dieser sollte das Thema abonnieren, bevor Sie den Weiterleitung starten.

  7. Beginnen Sie mit dem Routing der Logs, nachdem Ihr Drittanbieter das Thema abonniert hat:

    1. Wählen Sie im Navigationsbereich der Google Cloud Console Logging und dann Log Router aus:

      Zum Logrouter

    2. Klicken Sie in dem Projekt mit den Logs, die Sie weiterleiten möchten, auf Senke erstellen.
    3. Geben Sie unter „Name“ eine Beschreibung für die Senke ein und klicken Sie auf Weiter.
    4. Wählen Sie im Menü Senkendienst die Option Cloud Pub/Sub-Thema aus.
    5. Wählen Sie im Menü Cloud Pub/Sub-Thema das Pub/Sub-Thema aus, das der Drittanbieter abonniert hat, und klicken Sie dann auf Weiter.
    6. Wählen Sie die Logs aus, die in der Senke enthalten sein sollen, und klicken Sie dann auf Weiter.
    7. Optional: Wählen Sie die auszuschließenden Logs aus.

    8. Klicken Sie auf Senke erstellen.

      Ein Dialogfeld mit der Meldung Senke erstellt wird angezeigt. Diese Nachricht zeigt an, dass Ihre Senke erfolgreich mit Berechtigungen erstellt wurde, um zukünftige übereinstimmende Logs an das von Ihnen ausgewählte Ziel zu schreiben.

Der Drittanbieter sollte sofort Logeinträge erhalten.

Unter Szenarien zum Exportieren von Cloud Logging-Daten: Splunk finden Sie gängige Szenarien des Logroutings mit Pub/Sub.

Fehlerbehebung

Wenn Logs am Ziel der Senke fehlen oder Sie aus anderen Gründen vermuten, dass die Senke Logs nicht ordnungsgemäß weiterleitet, lesen Sie die Informationen unter Fehlerbehebung beim Routing von Logs.

Preise

Das Weiterleiten von Logs an ein unterstütztes Ziel ist in Cloud Logging kostenlos. Für das Ziel können jedoch Gebühren anfallen. Mit Ausnahme des Log-Buckets _Required berechnet Cloud Logging Gebühren für das Streamen von Logs in Log-Buckets und für eine längere Speicherdauer als die standardmäßige Aufbewahrungsdauer des Log-Buckets.

Bei Cloud Logging fallen keine Kosten für das Kopieren von Logs oder für Abfragen an, die über die Seite Log-Explorer oder Loganalysen ausgeführt werden.

Weitere Informationen finden Sie in folgenden Dokumenten: