An Pub/Sub weitergeleitete Logs ansehen

In diesem Dokument wird erläutert, wie Sie Logeinträge finden, von denen Sie weitergeleitet haben. Cloud Logging zu Pub/Sub-Themen, nahezu in Echtzeit. Wir empfehlen die Verwendung von Pub/Sub für die Integration Cloud Logging-Logs mit Drittanbieter-Software

Wenn Sie Logeinträge an ein Pub/Sub-Thema weiterleiten, Protokollieren veröffentlicht jeden Logeintrag als Pub/Sub-Nachricht, sobald Logging empfängt diesen Logeintrag. Weitergeleitete Logeinträge sind sind in der Regel innerhalb von Sekunden nach ihrer Ankunft bei Logging verfügbar. 99% der Logeinträge stehen in weniger als 60 Sekunden zur Verfügung.

Hinweise

Eine konzeptionelle Erörterung von Senken finden Sie unter Übersicht über Routing- und Speichermodelle: Senken.

Anweisungen zum Weiterleiten der Logeinträge finden Sie unter Logs an unterstützte Ziele weiterleiten

Logs ansehen

So können Sie sich Ihre Logs ansehen, während sie über Pub/Sub gestreamt werden: Gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Themen auf:

    Gehen Sie zu Topics.

    Wenn Sie diese Seite über die Suchleiste finden, wählen Sie das Ergebnis mit der Zwischenüberschrift Pub/Sub:

  2. Suchen oder erstellen Sie ein Abo für das Thema, das in der Logsenke verwendet wird, und rufen Sie einen Logeintrag daraus ab. Sie müssen möglicherweise warten, bis ein neuer Logeintrag veröffentlicht wird.

Logs organisieren

Das Feld data jeder Nachricht ist ein base64-codierter LogEntry. -Objekt enthält. Beispielsweise kann ein Pub/Sub-Abonnent das folgende Objekt aus einem Thema abrufen, das Logeinträge empfängt. Das angezeigte Objekt enthält eine einzelne Nachricht. Pub/Sub kann aber möglicherweise auch mehrere Nachrichten zurückgeben, wenn mehrere Logeinträge verfügbar sind. Die Werte data (ca. 600 Zeichen) und ackId (ca. 200 Zeichen) wurden zur besseren Lesbarkeit des Beispiels gekürzt:

{
 "receivedMessages": [
  {
   "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg",
   "message": {
    "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==",
    "attributes": {
     "compute.googleapis.com/resource_type": "instance",
     "compute.googleapis.com/resource_id": "123456"
    },
    "messageId": "43913662360"
   }
  }
 ]
}

Wenn Sie das Feld data decodieren und formatieren, erhalten Sie Folgendes: Objekt LogEntry: 

{
  "log": "helloworld.log",
  "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956",
  "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!",
  "timestamp": "2015-04-15T18:40:56Z",
  "labels": {
    "compute.googleapis.com\/resource_type": "instance",
    "compute.googleapis.com\/resource_id": "123456"
  },
  "severity": "WARNING"
  }
}

Drittanbieter in Pub/Sub einbinden

Sie leiten Ihre Logeinträge an ein Pub/Sub-Thema weiter. Die dritte Ihre Logeinträge erhalten, indem sie dasselbe Thema abonniert. Logging unterstützt die Einbindung von Drittanbietern, z. B. wie Splunk oder Datadog. Eine aktuelle Liste der Integrationen Weitere Informationen zu Google Cloud Observability-Integrationen finden Sie unter Partner.

Für die Integration führen Sie in der Regel die folgenden Schritte aus:

  1. Erstellen Sie in dem Projekt, aus dem Ihre Logeinträge stammen, Pub/Sub-Thema mit einer Standardabo:

    1. Aktivieren Sie die Pub/Sub API.

      Aktivieren Sie die API

    2. Rufen Sie in der Google Cloud Console die Seite Themen auf:

      Gehen Sie zu Topics.

      Wenn Sie diese Seite über die Suchleiste finden, wählen Sie das Ergebnis mit der Zwischenüberschrift Pub/Sub:

    3. Klicken Sie auf Thema erstellen.

    4. Geben Sie im Feld Themen-ID eine ID für das Thema ein. Beispiel: projects/my-project-id/topics/my-pubsub-topic

      Jede Nachricht, die an das Thema gesendet wird, enthält den Zeitstempel des weitergeleiteten Logeintrags in der Pub/Sub-Nachricht attributes; zum Beispiel:

      "attributes": {
  "logging.googleapis.com/timestamp": "2024-07-01T00:00:00Z"
}

    5. Behalten Sie die Option Standardabo hinzufügen bei. Keine anderen auswählen Option.

    6. Klicken Sie auf Thema erstellen.

  2. Konfigurieren Sie in dem Projekt, aus dem die Logeinträge stammen, Logging zum Weiterleiten von Logeinträgen an Ihr Thema:

    1. Rufen Sie in der Google Cloud Console die Seite Logrouter auf:

      Zum Logrouter

      Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

    2. Klicken Sie auf Senke erstellen. Geben Sie einen Namen und eine Beschreibung für die Senke ein und klicken Sie dann auf Weiter.
    3. Wählen Sie im Menü Senkendienst die Option Cloud Pub/Sub-Thema aus. wählen Sie das Pub/Sub-Thema aus und klicken Sie auf Weiter.
    4. Wählen Sie die Logeinträge für die Senke aus und klicken Sie dann auf Weiter.
    5. Optional: Wählen Sie die auszuschließenden Logeinträge aus.

    6. Klicken Sie auf Senke erstellen.

      Ein Dialogfeld mit der Meldung Senke erstellt wird angezeigt. Dieses zeigt an, dass Ihre Senke erfolgreich mit Berechtigungen zum Weiterleiten zukünftiger übereinstimmender Logeinträge an das Ziel die Sie ausgewählt haben.

    7. Gewähren Sie die Rolle von Pub/Sub-Publisher (roles/pubsub.publisher) in die Identität des Autors der Senke. Weitere Informationen zum Erhalt die Identität des Autors und das Zuweisen einer Rolle, siehe Legen Sie Zielberechtigungen fest.

    Cloud Logging sendet jetzt Logeinträge an Ihr Pub/Sub .

  3. Erstellen Sie das Abo.

    Wenn Sie Dataflow verwenden, können Sie die Daten aus Ihrem Pub/Sub-Thema Datadog verwenden, müssen Sie zwei Schritte ausführen:

    1. Erstellen oder rufen Sie ein Dienstkonto ab und gewähren Sie ihm die Berechtigung Zum Abonnieren Ihres Themas erforderliche IAM-Rollen. Bei benötigt das Dienstkonto die folgenden Rollen:

      Weitere Informationen finden Sie in folgenden Dokumenten:

    2. Erstellen Sie einen Job aus einer Vorlage und führen Sie diesen Job dann aus. Für dieses Beispiel würden Sie die Methode Vorlage Pub/Sub für Datadog

Der Drittanbieter sollte sofort Logeinträge erhalten.

Explorative Datenanalyse gängiger Logweiterleitungsszenarien mit Pub/Sub, siehe Szenarien zum Exportieren von Cloud Logging-Daten: Splunk

Fehlerbehebung

Wenn Log-Einträge im Senkenziel zu fehlen scheinen oder wenn Sie vermuten, dass die Senke Logeinträge nicht ordnungsgemäß weiterleitet, Fehlerbehebung bei Routinglogs

Preise

In Cloud Logging fallen keine Kosten für das Weiterleiten von Logs an einen unterstütztes Ziel; Am Ziel fallen jedoch möglicherweise Gebühren an. Mit Ausnahme des Log-Buckets _Required Cloud Logging berechnet Gebühren für das Streamen von Logs in Log-Buckets und die länger als die standardmäßige Aufbewahrungsdauer des Log-Buckets ist.

Cloud Logging ist kostenlos für das Kopieren von Logs oder für Abfragen, die über die Log-Explorer oder über die Seite Loganalysen aufrufen.

Weitere Informationen finden Sie in folgenden Dokumenten: