An Pub/Sub weitergeleitete Logs ansehen

In diesem Dokument wird erläutert, wie Sie Logeinträge finden, von denen Sie weitergeleitet haben. Cloud Logging zu Pub/Sub-Themen, nahezu in Echtzeit. Wir empfehlen die Verwendung von Pub/Sub für die Integration Cloud Logging-Logs mit Drittanbieter-Software

Wenn Sie Logeinträge an ein Pub/Sub-Thema weiterleiten, Protokollieren veröffentlicht jeden Logeintrag als Pub/Sub-Nachricht, sobald Logging empfängt diesen Logeintrag. Weitergeleitete Logeinträge sind im Allgemeinen innerhalb von Sekunden nach ihrer Ankunft im Logging-System verfügbar. 99 % der Logeinträge sind in weniger als 60 Sekunden verfügbar.

Hinweise

Eine konzeptionelle Diskussion der Senken finden Sie unter Routing- und Speichermodelle – Übersicht: Senken.

Eine Anleitung zum Weiterleiten von Logeinträgen finden Sie unter Logs an unterstützte Ziele weiterleiten.

Logs ansehen

So können Sie sich Ihre Logs ansehen, während sie über Pub/Sub gestreamt werden: Gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Themen auf:

    Gehen Sie zu Topics.

    Wenn Sie diese Seite über die Suchleiste finden, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Pub/Sub:

  2. Suchen oder erstellen Sie ein Abo für das Thema, das in der Logsenke verwendet wird, und rufen Sie einen Logeintrag daraus ab. Sie müssen möglicherweise warten, bis ein neuer Logeintrag veröffentlicht wird.

Logs organisieren

Das Feld data jeder Nachricht ist ein base64-codierter LogEntry. -Objekt enthält. Beispielsweise kann ein Pub/Sub-Abonnent das folgende Objekt aus einem Thema abrufen, das Logeinträge empfängt. Das angezeigte Objekt enthält eine einzelne Nachricht. Pub/Sub kann aber möglicherweise auch mehrere Nachrichten zurückgeben, wenn mehrere Logeinträge verfügbar sind. Der Wert data (ca. 600 Zeichen) und der Wert ackId (ca. 200 Zeichen) wurden gekürzt, um das Beispiel besser lesbar zu machen:

{
 "receivedMessages": [
  {
   "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg",
   "message": {
    "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==",
    "attributes": {
     "compute.googleapis.com/resource_type": "instance",
     "compute.googleapis.com/resource_id": "123456"
    },
    "messageId": "43913662360"
   }
  }
 ]
}

Wenn Sie das Feld data decodieren und formatieren, erhalten Sie Folgendes: Objekt LogEntry: 

{
  "log": "helloworld.log",
  "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956",
  "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!",
  "timestamp": "2015-04-15T18:40:56Z",
  "labels": {
    "compute.googleapis.com\/resource_type": "instance",
    "compute.googleapis.com\/resource_id": "123456"
  },
  "severity": "WARNING"
  }
}

Drittanbieter in Pub/Sub einbinden

Sie leiten Ihre Logeinträge an ein Pub/Sub-Thema weiter. Die dritte Ihre Logeinträge erhalten, indem sie dasselbe Thema abonniert. Logging unterstützt die Einbindung von Drittanbietern, z. B. wie Splunk oder Datadog. Eine aktuelle Liste der Integrationen Weitere Informationen zu Google Cloud Observability-Integrationen finden Sie unter Partner.

Für die Integration führen Sie in der Regel die folgenden Schritte aus:

  1. Erstellen Sie in dem Projekt, aus dem Ihre Logeinträge stammen, Pub/Sub-Thema mit einer Standardabo:

    1. Aktivieren Sie die Pub/Sub API.

      Enable the API

    2. Rufen Sie in der Google Cloud Console die Seite Themen auf:

      Gehen Sie zu Themen.

      Wenn Sie diese Seite über die Suchleiste finden, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Pub/Sub lautet.

    3. Klicken Sie auf Thema erstellen.

    4. Geben Sie im Feld Themen-ID eine ID für das Thema ein. Beispiel: projects/my-project-id/topics/my-pubsub-topic

      Jede Nachricht, die an das Thema gesendet wird, enthält den Zeitstempel des weitergeleiteten Logeintrags in der Pub/Sub-Nachricht attributes; zum Beispiel:

      "attributes": {
  "logging.googleapis.com/timestamp": "2024-07-01T00:00:00Z"
}

    5. Behalten Sie die Option Standardabo hinzufügen bei. Wählen Sie keine andere Option aus.

    6. Klicken Sie auf Thema erstellen.

  2. Konfigurieren Sie in dem Projekt, aus dem die Logeinträge stammen, Logging zum Weiterleiten von Logeinträgen an Ihr Thema:

    1. Rufen Sie in der Google Cloud Console die Seite Log Router auf.

      Zum Logrouter

      Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

    2. Klicken Sie auf Senke erstellen. Geben Sie einen Namen und eine Beschreibung für die Senke ein und klicken Sie dann auf Weiter.
    3. Wählen Sie im Menü Senkendienst die Option Cloud Pub/Sub-Thema aus. wählen Sie das Pub/Sub-Thema aus und klicken Sie auf Weiter.
    4. Wählen Sie die Logeinträge für die Senke aus und klicken Sie dann auf Weiter.
    5. Optional: Wählen Sie die auszuschließenden Logeinträge aus.

    6. Klicken Sie auf Senke erstellen.

      Ein Dialogfeld mit der Meldung Senke erstellt wird angezeigt. Dieses zeigt an, dass Ihre Senke erfolgreich mit Berechtigungen zum Weiterleiten zukünftiger übereinstimmender Logeinträge an das Ziel die Sie ausgewählt haben.

    7. Gewähren Sie die Rolle von Pub/Sub-Publisher (roles/pubsub.publisher) an die Identität des Autors der Senke an. Weitere Informationen zum Erhalt die Autorenidentität und gewähren eine Rolle, siehe Legen Sie Zielberechtigungen fest.

    Cloud Logging sendet jetzt Logeinträge an Ihr Pub/Sub .

  3. Erstellen Sie das Abo.

    Wenn Sie Dataflow verwenden, können Sie die Daten aus Ihrem Pub/Sub-Thema Datadog verwenden, müssen Sie zwei Schritte ausführen:

    1. Erstellen oder rufen Sie ein Dienstkonto ab und gewähren Sie ihm die Berechtigung Zum Abonnieren Ihres Themas erforderliche IAM-Rollen. Das Dienstkonto benötigt mindestens die folgenden Rollen:

      Weitere Informationen finden Sie in folgenden Dokumenten:

    2. Erstellen Sie einen Job aus einer Vorlage und führen Sie diesen Job dann aus. Für dieses Beispiel würden Sie die Methode Vorlage Pub/Sub für Datadog

Der Drittanbieter sollte sofort Logeinträge erhalten.

Explorative Datenanalyse gängiger Logweiterleitungsszenarien mit Pub/Sub, siehe Szenarien zum Exportieren von Cloud Logging-Daten: Splunk

Fehlerbehebung

Wenn Log-Einträge im Senkenziel zu fehlen scheinen oder wenn Sie vermuten, dass die Senke Logeinträge nicht ordnungsgemäß weiterleitet, Fehlerbehebung bei Routinglogs

Preise

Für das Weiterleiten von Logs an ein unterstütztes Ziel fallen in Cloud Logging keine Gebühren an. Es können jedoch Gebühren am Ziel erhoben werden. Mit Ausnahme des Log-Buckets _Required Cloud Logging berechnet Gebühren für das Streamen von Logs in Log-Buckets und die länger als die standardmäßige Aufbewahrungsdauer des Log-Buckets ist.

Für das Kopieren von Logs, das Definieren von Log-Bereichen oder das Ausführen von Abfragen über die Seiten Log-Explorer oder Log Analytics fallen in Cloud Logging keine Gebühren an.

Weitere Informationen finden Sie in folgenden Dokumenten: