An Pub/Sub weitergeleitete Logs ansehen

In diesem Dokument wird erläutert, wie Sie Logeinträge finden, die Sie von Cloud Logging an Pub/Sub-Themen weitergeleitet haben, was nahezu in Echtzeit erfolgt. Wir empfehlen Pub/Sub, um Cloud Logging-Logs in Drittanbieter-Software einzubinden.

Wenn Sie Logs in ein Pub/Sub-Thema weiterleiten, veröffentlicht Logging jeden Logeintrag sofort nach dem Empfang als Pub/Sub-Nachricht. Weitergeleitete Logs sind in der Regel innerhalb von Sekunden nach ihrer Ankunft in Logging verfügbar, wobei 99% der Logs in weniger als 60 Sekunden verfügbar sind.

Hinweise

Eine konzeptionelle Darstellung von Senken finden Sie unter Routing- und Speichermodelle – Senken.

Eine Anleitung zum Weiterleiten von Logs finden Sie unter Logs an unterstützte Ziele weiterleiten.

Logs ansehen

So rufen Sie die über Pub/Sub gestreamten Logs auf:

  1. Rufen Sie in der Google Cloud Console die Seite Themen auf:

    Gehen Sie zu Topics.

    Wenn Sie diese Seite über die Suchleiste finden, wählen Sie das Ergebnis mit der Zwischenüberschrift Pub/Sub aus.

  2. Suchen oder erstellen Sie ein Abo für das Thema, das in der Logsenke verwendet wird, und rufen Sie einen Logeintrag daraus ab. Sie müssen möglicherweise warten, bis ein neuer Logeintrag veröffentlicht wird.

Logs organisieren

Das Feld data jeder Nachricht ist ein base64-codiertes LogEntry-Objekt. Beispielsweise kann ein Pub/Sub-Abonnent das folgende Objekt aus einem Thema abrufen, das Logeinträge empfängt. Das angezeigte Objekt enthält eine einzelne Nachricht. Pub/Sub kann aber möglicherweise auch mehrere Nachrichten zurückgeben, wenn mehrere Logeinträge verfügbar sind. Der Wert data mit ca. 600 Zeichen und der Wert ackId mit ca. 200 Zeichen wurden zur besseren Lesbarkeit des Beispiels gekürzt:

{
 "receivedMessages": [
  {
   "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg",
   "message": {
    "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==",
    "attributes": {
     "compute.googleapis.com/resource_type": "instance",
     "compute.googleapis.com/resource_id": "123456"
    },
    "messageId": "43913662360"
   }
  }
 ]
}

Wenn Sie das Feld data decodieren und formatieren, erhalten Sie das folgende LogEntry-Objekt:

{
  "log": "helloworld.log",
  "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956",
  "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!",
  "timestamp": "2015-04-15T18:40:56Z",
  "labels": {
    "compute.googleapis.com\/resource_type": "instance",
    "compute.googleapis.com\/resource_id": "123456"
  },
  "severity": "WARNING"
  }
}

Drittanbieter in Pub/Sub einbinden

Logging unterstützt die Logging-Integration von Drittanbietern wie z. B. Splunk. Eine aktuelle Liste der Integrationen finden Sie unter Partner für Google Cloud Observability-Integrationen.

Sie leiten Ihre Logs über ein Pub/Sub-Thema weiter und der Drittanbieter erhält dann Ihre Logs durch Abonnieren des gleichen Themas.

Für die Integration führen Sie in der Regel die folgenden Schritte aus:

  1. Fordern Sie vom Drittanbieter den Namen eines Google Cloud-Dienstkontos an, der in seinem Google Cloud-Projekt erstellt wurde. Beispiel: 12345-xyz@developer.gserviceaccount.com Erteilen Sie dem Drittanbieter anhand dieses Namens die Empfangsberechtigung für Ihre Logs.

  2. Aktivieren Sie in dem Projekt mit den Logs die Pub/Sub API.

  3. Pub/Sub API aktivieren.

    Aktivieren Sie die API

  4. Pub/Sub-Thema erstellen Sie können ein Thema erstellen, wenn Sie eine Logsenke konfigurieren oder die folgenden Schritte ausführen:

    1. Rufen Sie in der Google Cloud Console die Seite Themen auf:

      Gehen Sie zu Topics.

      Wenn Sie diese Seite über die Suchleiste finden, wählen Sie das Ergebnis mit der Zwischenüberschrift Pub/Sub aus.

    2. Wählen Sie Thema erstellen aus und geben Sie einen Themennamen ein. Beispiel: projects/my-project-id/topics/my-pubsub-topic Sie leiten Ihre Logs an dieses Thema weiter.

      Jede Nachricht, die an das Thema gesendet wird, enthält den Zeitstempel des weitergeleiteten Logeintrags in der Pub/Sub-Nachricht attributes; zum Beispiel:

      "attributes": {
        "logging.googleapis.com/timestamp": "2018-10-01T00:00:00Z"
      }
      
    3. Klicken Sie auf Thema erstellen.

    4. Autorisieren Sie Logging, Logs in das Thema weiterzuleiten. Eine Anleitung finden Sie unter Zielberechtigungen festlegen.

  5. Autorisieren Sie den Drittanbieter, das Thema zu abonnieren:

    1. Rufen Sie in der Google Cloud Console die Seite Themen auf:

      Gehen Sie zu Topics.

      Wenn Sie diese Seite über die Suchleiste finden, wählen Sie das Ergebnis mit der Zwischenüberschrift Pub/Sub aus.

    2. Wählen Sie Ihr Thema aus.
    3. Wählen Sie Berechtigungen aus.
    4. Wählen Sie Berechtigung hinzufügen aus und geben Sie den Namen des Drittanbieterdienstkontos ein.
    5. Wählen Sie im Menü Rolle auswählen die Rolle Pub/Sub-Abonnent aus.
    6. Klicken Sie auf Speichern.
  6. Teilen Sie dem Drittanbieter den Namen Ihres Pub/Sub-Themas mit, zum Beispiel projects/my-project-number/topics/my-pubsub-topic. Dieser sollte das Thema abonnieren, bevor Sie den Weiterleitung starten.

  7. Beginnen Sie mit dem Routing der Logs, nachdem der Drittanbieter das Thema abonniert hat:

    1. Rufen Sie in der Google Cloud Console die Seite Logrouter auf:

      Zum Logrouter

      Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

    2. Klicken Sie in dem Projekt, das die Logs enthält, die Sie weiterleiten möchten, auf Senke erstellen.
    3. Geben Sie unter „Name“ eine Beschreibung für die Senke ein und klicken Sie auf Weiter.
    4. Wählen Sie im Menü Senkendienst die Option Cloud Pub/Sub-Thema aus.
    5. Wählen Sie im Menü Cloud Pub/Sub-Thema das Pub/Sub-Thema aus, das der Drittanbieter abonniert hat, und klicken Sie dann auf Weiter.
    6. Wählen Sie die Logs aus, die in die Senke aufgenommen werden sollen, und klicken Sie dann auf Weiter.
    7. Optional: Wählen Sie die auszuschließenden Logs aus.
    8. Klicken Sie auf Senke erstellen.

      Ein Dialogfeld mit der Meldung Senke erstellt wird angezeigt. Diese Nachricht zeigt an, dass Ihre Senke erfolgreich mit Berechtigungen erstellt wurde, um zukünftige übereinstimmende Logs an das von Ihnen ausgewählte Ziel zu schreiben.

Der Drittanbieter sollte sofort Logeinträge erhalten.

Unter Szenarien zum Exportieren von Cloud Logging-Daten: Splunk finden Sie Informationen zu gängigen Szenarien für das Logrouting mit Pub/Sub.

Fehlerbehebung

Wenn Logs im Ziel der Senke fehlen oder Sie aus anderen Gründen vermuten, dass die Senke Logs nicht ordnungsgemäß weiterleitet, lesen Sie die Informationen unter Fehlerbehebung bei Routinglogs.

Preise

Cloud Logging berechnet für die Weiterleitung von Logs an ein unterstütztes Ziel keine Gebühren, dafür können jedoch Gebühren anfallen. Mit Ausnahme des Log-Buckets _Required fallen in Cloud Logging Kosten für das Streamen von Logs in Log-Buckets sowie für die Speicherung über die standardmäßige Aufbewahrungsdauer des Log-Buckets an.

Cloud Logging ist für das Kopieren von Logs oder für Abfragen, die über die Seite Log-Explorer oder die Seite Loganalysen ausgeführt werden, kostenlos.

Weitere Informationen finden Sie in folgenden Dokumenten: