Abfrageergebnisse in Log Analytics in Diagrammen darstellen

In diesem Dokument wird beschrieben, wie Sie die Ergebnisse Ihrer Log Analytics-Abfragen in Diagrammen darstellen, um Muster und Trends in Ihren Protokolldaten zu erkennen. Mit Log Analytics können Sie Logs mithilfe von SQL-Abfragen durchsuchen und aggregieren, um nützliche Statistiken zu generieren.

Nachdem Sie eine Abfrage ausgeführt haben, können Sie die Abfrageergebnisse in einer Tabelle ansehen oder in ein Diagramm umwandeln. Außerdem können Sie die Abfrage und ihre Visualisierung in einem Dashboard speichern. Wenn Sie beispielsweise sehen möchten, welche Schweregrade Ihre Protokolle generieren, erstellen Sie ein Diagramm, das die Anzahl der Protokolle in den letzten 12 Stunden anzeigt und die Protokolle nach severity aufschlüsselt. Im folgenden Screenshot sind Datenpunkte nach Schweregrad aufgeschlüsselt:

Beispieldiagramm mit Aufschlüsselung nach Schweregrad

Hinweise

  1. Um die erforderlichen Berechtigungen zur Verwendung von Loganalysen zu erhalten, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen für Ihre Log-Buckets oder Logansichten:

    • So rufen Sie die Log-Buckets _Required und _Default ab: Loganzeige (roles/logging.viewer).
    • So fragen Sie alle Logansichten in einem Projekt ab: Zugriffsfunktion für Logansicht (roles/logging.viewAccessor).
    • So rufen Sie Logs in einer bestimmten Loganzeige ab: Erstellen Sie eine IAM-Richtlinie für die Loganzeige oder beschränken Sie die Rolle „Zugriffsberechtigter für Loganzeige“ (roles/logging.viewAccessor) auf eine bestimmte Loganzeige. Weitere Informationen finden Sie unter Zugriff auf eine Logansicht steuern.

  2. Um die Berechtigungen zu erhalten, die Sie zum Erstellen von Diagrammen benötigen, bitten Sie Ihren Administrator, Ihnen IAM-Rolle Monitoring-Bearbeiter (roles/monitoring.editor) für Ihr Projekt.

  3. Rufen Sie für die abzufragenden Logansichten die Seite Logspeicher auf. Prüfen Sie, ob die Log-Buckets, in denen diese Logansichten gespeichert werden, auf die Verwendung aktualisiert wurden. Loganalysen. Aktualisieren Sie gegebenenfalls den Log-Bucket.

    Zum Log-Speicher

  4. Optional: Wenn Sie Ihre Protokolldaten mithilfe eines BigQuery-Dataset erstellen, z. B. wenn Sie vorhaben, BigQuery Studio und erstellen Sie dann ein verknüpftes BigQuery-Dataset

Daten für Diagramm auswählen

Wenn Sie konfigurieren möchten, welche Daten in einem Diagramm angezeigt werden sollen, erstellen Sie eine Abfrage mit SQL. Wenn Sie den Tab Diagramm auswählen, Logging generiert automatisch ein Diagramm basierend auf Ihrer Abfrage Ergebnisse. Nachdem die Abfrage ausgeführt und ein Diagramm generiert wurde, können Sie Diagrammkonfiguration anpassen, indem Sie den Diagrammtyp ändern und um verschiedene Daten anzuzeigen.

So rufen Sie die Abfrageergebnisse als Diagramm auf:

  1. Rufen Sie in der Google Cloud Console die Seite Log Analytics auf.

    Zu Log Analytics

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Geben Sie im Bereich Abfrage eine Abfrage ein und klicken Sie dann auf Ausführen.

  3. Nachdem die Abfrage abgeschlossen ist, wählen Sie auf dem Tab Ergebnisse aus, wie um die Abfrageergebnisse anzuzeigen:

    • Tabelle: Nur tabellarisches Format.

    • Diagramm: Nur Diagrammformat

    • Beides: Diagramm- und Tabellenformat.

      Nachdem Sie ausgewählt haben, wie die Abfrageergebnisse angezeigt werden sollen, können Sie beliebige für die ausgewählte Visualisierung. Speichern Sie dann die Abfrage und die Ergebnisse. einem benutzerdefinierten Dashboard hinzugefügt. Das gespeicherte Format ist tabellarisch, wenn Sie die Option Tabelle aus. Andernfalls ist das Format ein Diagramm.

      Für Diagramme können Sie mit den Visualisierungsoptionen den Diagrammtyp, und wählen Sie aus, welche Zeilen und Spalten im Diagramm dargestellt werden sollen. Weitere Informationen zur Diagrammkonfiguration finden Sie unter Diagrammkonfiguration anpassen.

Diagrammkonfiguration anpassen

Sie können die Diagrammkonfiguration anpassen, indem Sie den Diagrammtyp ändern, Dimension und Messwert im Diagramm und wenden eine Aufschlüsselung an. Die Dimension wird verwendet, um Zeilen zu gruppieren oder zu kategorisieren. Sie ist der Wert der X-Achse. Die Messwert, oder der Wert auf der Y-Achse, ist eine Datenreihe, Y-Achse.

Diagrammtyp ändern

Sie können je nach Zeilenart einen der folgenden Diagrammtypen auswählen Spalten, die Sie als Dimension und Messwert ausgewählt haben, und wie zu visualisieren.

  • Balkendiagramm (Standardeinstellung) : In Balkendiagrammen werden Daten auf zwei Achsen dargestellt. Wenn in Ihrem Diagramm eine Kategorie oder ein String als Dimension verwendet wird, können Sie die Diagrammkonfiguration für ein Balkendiagramm auf „horizontal“ oder „vertikal“ festlegen. Dabei werden die Dimension und die Messachse vertauscht.

  • Liniendiagramm: Mit Liniendiagrammen lassen sich Datenänderungen im Zeitverlauf darstellen. Bei Verwendung einer Linie wird jede Zeitreihe durch eine andere Linie dargestellt, die von Ihnen ausgewählten Messungen.

    Wenn die x-Achse zeitbasiert ist, wird jeder Datenpunkt am Anfang eines Zeitintervalls platziert. Die einzelnen Datenpunkte sind durch lineare Interpolation verbunden.

  • Gestapeltes Flächendiagramm: Ein Flächendiagramm basiert auf einem Liniendiagramm. Der Bereich unter jeder Linie ist schattiert. In Flächendiagrammen sind die Datenreihen gestapelt. Wenn Sie beispielsweise zwei identische Datenreihen hat, überschneidet sich diese Reihe in einem Liniendiagramm, wird in einem Flächendiagramm gestapelt.

  • Kreisdiagramm: Ein Kreisdiagramm zeigt, wie sich Kategorien in einem Dataset auf das gesamte Dataset indem Sie einen Kreis verwenden, um das gesamte Dataset und die Keilen im Kreis darzustellen um die Kategorien im Dataset darzustellen. Die Größe eines Keils gibt an, wie viel, oft in Prozent, die Kategorie zum Ganzen beiträgt.

  • Tabelle: Eine Tabelle enthält eine Zeile für jede Zeile im Abfrageergebniss. Die Spalten in der Tabelle werden durch die SELECT-Klausel definiert. Wenn Sie Daten in tabellarischer Form in einem Dashboard anzeigen möchten, verwenden Sie eine LIMIT-Klausel, um die Anzahl der Zeilen im Ergebnis auf weniger als ein paar hundert einzuschränken.

  • Anzeige oder Übersicht: Tachometer und Übersichten liefern Ihnen den aktuellsten Wert sowie eine grüne, gelbe oder rote Markierung basierend auf diesem Wert im Vergleich zu einer Reihe von Schwellenwerten. Im Gegensatz zu Messinstrumenten, die nur Informationen zum jeweils aktuellen Wert enthalten, können Kurzübersichten auch Informationen zu vergangenen Werten enthalten.

    Tachometer und Übersichten können das Abfrageergebnisse nur anzeigen, wenn die Abfrage Ergebnis enthält mindestens eine Zeile, und diese Zeile enthält eine Spalte mit einem Zeitstempel und eine Spalte mit numerischen Daten. Das Abfrageergebnis kann mehrere Zeilen und mehr als zwei Spalten enthalten.

    Wenn Sie die zeitbasierte Aggregation im Rahmen Ihrer Abfrage durchführen möchten, Gehen Sie dann so vor:

    • Konfigurieren Sie Ihre Abfrage so, dass Daten über ein Zeitintervall aggregiert werden, um absteigende Zeitstempel anzeigen und die Anzahl der Zeilen in den Ergebnissen anzeigen. Sie können die LIMIT-Klausel oder die Zeitraumauswahl, um die Anzahl der Zeilen im Abfrageergebnis zu begrenzen.

      In der folgenden Abfrage werden beispielsweise Daten nach der Stunde zusammengefasst, ein Limit angewendet und die Ergebnisse sortiert:

      SELECT TIMESTAMP_TRUNC(timestamp, HOUR) AS hour, severity, COUNT(*) AS count
FROM `TABLE_NAME_OF_LOG_VIEW`
WHERE severity IS NOT NULL AND severity = "DEFAULT"
GROUP BY hour,severity
ORDER BY hour DESC
LIMIT 10

    • Legen Sie die Dimension so fest, dass sie mit der Spalte übereinstimmt, in der die Zeiteinheit angezeigt wird. Beispiel: Wenn Ihre Abfrage Daten um eine Stunde aggregiert und einen der Spalte „hour“ und legen Sie dann das Menü Dimension auf hour fest.

    • Wählen Sie Intervall deaktivieren aus, da in Ihrer Abfrage bereits das Aggregationsintervall. Im Beispiel beträgt dieses Intervall eine Stunde.

    • Setzen Sie die Measure (Messen) auf die numerische Spalte und die Funktion auf none (keine).

    Wenn Sie die zeitbasierte Aggregation in Log Analytics ausführen lassen möchten, gehen Sie so vor:

    • Konfigurieren Sie die Zeitraumauswahl. Dies wirkt sich auf die Anzahl der Zeilen im Abfrageergebnis aus.
    • Legen Sie die Dimension so fest, dass sie mit der Spalte übereinstimmt, in der die Zeiteinheit angezeigt wird. Beispielsweise könnten Sie dieses Menü auf timestamp setzen.
    • Legen Sie im Menü Intervall ein bestimmtes Aggregationsintervall fest. Legen Sie beispielsweise den Wert dieses Felds auf 1 hour fest. Wählen Sie nicht Automatisches Intervall aus.
    • Setzen Sie den Measure auf die numerische Spalte und wählen Sie eine Funktion aus z. B. sum.

Dimension und Messung ändern

Sie können auswählen, welche Zeilen und Spalten in das Diagramm aufgenommen werden sollen, indem Sie die entsprechenden Dimensions- und Messwertfelder auswählen.

  • Dimension

    Die Dimension muss eine Zeitstempel-, eine numerische oder eine String-Spalte sein. Standardmäßig ist die Dimension auf die erste zeitstempelbasierte Spalte im Schema festgelegt. Wenn in der Abfrage kein Zeitstempel vorhanden ist, erste Stringspalte als Dimension ausgewählt ist. Sie können auch den Inhalt der Dimension anpassen. im Bereich Diagrammanzeige. Wenn eine Zeitstempelspalte als Dimension ausgewählt ist, zeigt das Diagramm, wie sich die Daten im Zeitverlauf ändern.

    Standardmäßig ist das Intervall für Zeitstempel automatisch Sie können aber auch ein benutzerdefiniertes Intervall auswählen. Automatische Intervalle ändern basierend auf der Zeitraumauswahl, um Gruppen ähnlicher Größe beizubehalten.

    Sie können das Intervall auch deaktivieren, um ein eigenes Intervall anzugeben. Aggregationen und Zeitbereiche innerhalb der Abfrage für komplexere Analysen. Wenn Sie das Intervall deaktivieren, wird die Aggregationsfunktion der Messwerte auf none festgelegt. Beim Dimensionsintervall sind nur numerische Messwerte zulässig deaktiviert ist.

  • Messung

    Im Bereich Diagrammansicht können Sie mehrere Messwerte auswählen. Wenn Sie eine Messung auswählen, muss auch die Aggregationsfunktion auswählen, die für ihre gruppierten Werte ausgeführt werden soll, z. B. count, sum, average und percentile-99. count-distinct gibt beispielsweise die Anzahl der eindeutigen Werte in einer bestimmten Spalte zurück.

    Wenn Sie für die Dimension das Kästchen Intervall deaktivieren anklicken, ist die Option für die Aggregationsfunktion none verfügbar. Wenn die Dimension ein Stringwerts nicht angezeigt wird, wird das Kästchen Intervall deaktivieren nicht angezeigt. Sie können jedoch Wenn Sie die Aggregationsfunktionen einer Messung auf none setzen, wird auch die Intervall.

Aufschlüsselung hinzufügen

Wenn Sie eine einzelne Datenreihe anhand einer anderen Spalte in mehrere Datenreihen aufteilen möchten, fügen Sie eine Aufschlüsselung hinzu.

Wählen Sie für die Aufschlüsselung Spalten mit einer kleinen Anzahl kurzer und aussagekräftiger Labels wie region_name aus, anstatt Felder mit einer großen Anzahl von Strings oder langen Strings wie textPayload.

In der folgenden Diagrammkonfiguration ist beispielsweise das Feld Dimension auf type, das Feld Messwert auf Zeilen zählen und das Feld Aufschlüsselung auf Schweregrad festgelegt:

Beispiel für eine Diagrammkonfiguration mit einer Aufschlüsselung

Das folgende Diagramm ist ein Beispiel für ein Diagramm mit einer zusätzlichen Aufschlüsselung:

Beispieldiagramm mit einer Aufschlüsselung nach Schweregrad.

Im vorherigen Screenshot sehen Sie eine gestapelte Datenreihe, in der der Ressourcentyp k8s_container in verschiedene severity-Typen unterteilt ist. So können Sie ermitteln, wie viele Protokolle der einzelnen Schweregrade von einer bestimmten Ressource generiert wurden.

Diagramm in einem benutzerdefinierten Dashboard speichern

Nachdem ein Diagramm aus Ihrer Abfrage generiert wurde, können Sie es in einem benutzerdefinierten Dashboards. Mit benutzerdefinierten Dashboards Informationen, die für Sie nützlich sind, anzuzeigen und zu organisieren, die verschiedenen Arten von Widgets. Sie können beispielsweise ein Dashboard erstellen, das Details zur Nutzung Ihrer Cloud Storage-Buckets enthält:

Beispieldashboard mit der Nutzung Ihrer Cloud Storage-Buckets.

So speichern Sie das Diagramm in einem Dashboard:

  1. Rufen Sie in der Google Cloud Console die Seite Loganalysen auf:

    Zu Log Analytics

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Führen Sie eine Abfrage aus, um ein Diagramm zu generieren, und klicken Sie dann auf dem Tab Diagramm auf Diagramm speichern.

  3. Geben Sie im Dialogfeld Im Dashboard speichern einen Titel für das Diagramm ein und wählen Sie das Dashboard aus, in dem Sie es speichern möchten.

  4. Optional: Wenn Sie das benutzerdefinierte Dashboard aufrufen möchten, klicken Sie in der Benachrichtigung auf Dashboard ansehen.

Wenn Sie eine Liste der benutzerdefinierten Dashboards mit Diagrammen aufrufen möchten, die mit Log Analytics-SQL-Abfragen generiert wurden, klicken Sie auf die Schaltfläche Diagramm speichern und dann auf das Dreistrich-Menü .

In einem benutzerdefinierten Dashboard gespeichertes Diagramm bearbeiten

Informationen zum Bearbeiten von Diagrammen, die mit Log Analytics-SQL-Abfragen generiert und in einem Dashboard gespeichert wurden, finden Sie unter Konfiguration eines Widgets ändern. Im Dialogfeld Widget konfigurieren können Sie die Abfrage bearbeiten, mit der ein Diagramm generiert wird, oder die Diagrammkonfiguration anpassen, um andere Daten zu visualisieren.

Beschränkungen

  • Wenn sich Ihr Google Cloud-Projekt in einem Ordner befindet, der Assured Workloads verwendet, können die von Ihnen generierten Diagramme nicht in einem benutzerdefinierten Dashboard angezeigt werden.

  • Filter auf Dashboardebene werden nicht auf Diagramme angewendet, Log Analytics-SQL-Abfrage.

Beispielabfragen

Dieser Abschnitt enthält Beispiel-SQL-Abfragen, mit denen Sie Ihre Abfrageergebnisse in einem Diagramm darstellen können. Passen Sie die Diagrammkonfiguration an, um nützlichere Informationen aus Ihren Logs zu erhalten. So verwenden Sie die Beispielabfragen:

  1. Rufen Sie in der Google Cloud Console die Seite Loganalysen auf:

    Zu Log Analytics

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Geben Sie den Tabellennamen für die Protokollansicht an, die Sie abfragen möchten.

    Rufen Sie dazu die Liste Logansichten auf, suchen Sie die gewünschte Ansicht und wählen Sie Abfrage aus. Der Bereich Abfrage enthält eine Standardabfrage, die den Tabellennamen der abgefragten Protokollansicht enthält. Der Tabellenname hat das Format project_ID.region.bucket_ID.view_ID.

    Weitere Informationen zum Zugriff auf die Standardabfrage finden Sie unter Logdatenansicht abfragen.

  3. Ersetzen Sie TABLE_NAME_OF_LOG_VIEW durch den Tabellennamen der Protokollansicht, die Sie abfragen möchten, und kopieren Sie dann die Abfrage.

  4. Fügen Sie die Abfrage in den Bereich Abfrage ein und klicken Sie dann auf Abfrage ausführen.

Log-Einträge nach Speicherort und Schweregrad in einem Diagramm darstellen

Mit der folgenden Abfrage werden location und severity mit dem Standort ausgewählt in einen String umwandeln:

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `TABLE_NAME_OF_LOG_VIEW`

Ein Beispiel für ein Diagramm und eine Diagrammkonfiguration sieht so aus:

Beispieldiagramm mit Logeinträgen nach Ort und Schweregrad.

Im vorherigen Screenshot hat das Diagramm die folgende Konfiguration:

  • Diagrammtyp: Balkendiagramm, horizontal
  • Dimension: location, mit einem Limit von 10
  • Messen: Anzahl der Zeilen
  • Aufschlüsselung: severity, maximal fünf

Audit-Logs zum BigQuery-Datenzugriff in Diagrammen darstellen

Die folgenden Abfragefilter für das BigQuery-data_access-Audit und wählt bestimmte Felder aus, z. B. user_email, ip, auth_permission, und job_execution_project. Sie können beispielsweise ein Diagramm erstellen, in dem die Häufigkeit der BigQuery API-Nutzung der einzelnen Hauptberechtigten im Zeitverlauf dargestellt wird. 

SELECT 
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE_NAME_OF_LOG_VIEW` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Ein Beispiel für ein Diagramm und eine Diagrammkonfiguration sieht so aus:

Beispieldiagramm für Audit-Logs zum Datenzugriff in BigQuery

Im vorherigen Screenshot enthält die Diagrammkonfiguration das folgende Diagramm Konfiguration:

  • Diagrammtyp: Balkendiagramm, vertikal
  • Dimension: user_email, maximal fünf
  • Messen: Anzahl der Zeilen
  • Aufschlüsselung: auth_permission, maximal fünf

Beschränkungen

  • Die ausgewählten Spalten sollten mindestens eine Zeile mit einem nicht nullwertigen Wert haben.

  • Wenn Sie eine Abfrage speichern und die Diagrammkonfiguration anpassen, wird die benutzerdefinierte Diagrammkonfiguration nicht gespeichert.

  • Wenn Ihre Abfrage bereits Aggregationen enthält, kann sich das generierte Diagramm aufgrund einer zusätzlichen Aggregation unterscheiden, die automatisch von Log Analytics angewendet wird.

  • JSON-Pfade müssen in Strings und Zahlen umgewandelt werden, um im Diagramm dargestellt zu werden.

Nächste Schritte