Logs mit Log Analytics abfragen und analysieren

In diesem Dokument wird beschrieben, wie Sie Ihre Logdaten mit Log Analytics abfragen und analysieren. Log Analytics bietet eine SQL-basierte Abfrageschnittstelle. Mit SQL können Sie Aufgaben wie die Anzahl der Logeinträge mit einem Feld zählen, das einem Muster entspricht, ausführen. Log Analytics bietet einen SQL-Editor und ein menübasiertes System zum Erstellen von Abfragen. Sie können sich die Abfrageergebnisse in Tabellenform ansehen oder die Daten in einem Diagramm visualisieren. Sie können Ihre Diagramme in Ihren benutzerdefinierten Dashboards speichern.

Sie können entweder eine Logansicht für ein Log-Bucket oder eine Analytics-Ansicht abfragen. Wenn Sie eine Logansicht abfragen, entspricht das Schema dem der Datenstruktur LogEntry. Da das Schema von der Person festgelegt wird, die eine Analytics-Datenansicht erstellt, können Sie mit Analytics-Datenansichten Protokolldaten aus dem LogEntry-Format in ein für Sie besser geeignetes Format umwandeln.

In Log Analytics werden Logeinträge nicht dedupliziert. Das kann sich auf die Art und Weise auswirken, wie Sie Ihre Abfragen schreiben. Außerdem gibt es einige Einschränkungen bei der Verwendung von Loganalysen. Weitere Informationen zu diesen Themen finden Sie in den folgenden Dokumenten:

Verknüpfte Datasets

Loganalysen unterstützen die Erstellung von verknüpften BigQuery-Datasets, über die BigQuery Lesezugriff auf die zugrunde liegenden Daten erhält. Wenn Sie ein verknüpftes Dataset erstellen, haben Sie folgende Möglichkeiten:

In diesem Dokument wird nicht beschrieben, wie Sie ein verknüpftes Dataset erstellen oder Log Analytics so konfigurieren, dass Abfragen für reservierte Slots ausgeführt werden. Wenn Sie sich für diese Themen interessieren, lesen Sie den Hilfeartikel Verknüpftes Dataset in BigQuery abfragen.

Hinweise

In diesem Abschnitt werden die Schritte beschrieben, die Sie ausführen müssen, bevor Sie Log Analytics verwenden können.

Log-Buckets konfigurieren

Prüfen Sie, ob für Ihre Log-Buckets ein Upgrade zur Verwendung von Log Analytics durchgeführt wurde:

  1. Rufen Sie in der Google Cloud Console die Seite Logspeicher auf:

    Zum Log-Speicher

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Prüfen Sie für jeden Log-Bucket, der eine Logansicht enthält, die Sie abfragen möchten, ob in der Spalte Loganalysen verfügbar die Option Öffnen angezeigt wird. Wenn Upgrade durchführen angezeigt wird, klicken Sie darauf und schließen Sie das Dialogfeld ab.

IAM-Rollen und ‑Berechtigungen konfigurieren

In diesem Abschnitt werden die IAM-Rollen oder Berechtigungen beschrieben, die für die Verwendung von Log Analytics erforderlich sind:

  • Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung von Log Analytics und zum Abfragen von Log-Ansichten benötigen:

    Sie können ein Hauptkonto auf eine bestimmte Logansicht beschränken, indem Sie entweder eine IAM-Bedingung für die auf Projektebene erteilte Rolle „Logs View Accessor“ hinzufügen oder eine IAM-Bindung zur Richtliniendatei der Logansicht hinzufügen. Weitere Informationen finden Sie unter Zugriff auf eine Logansicht steuern.

    Dies sind dieselben Berechtigungen, die Sie benötigen, um Logeinträge auf der Seite Log-Explorer aufzurufen. Informationen zu zusätzlichen Rollen, die Sie zum Abfragen von Ansichten in benutzerdefinierten Buckets oder zum Abfragen der _AllLogs-Ansicht des _Default-Logbuckets benötigen, finden Sie unter Cloud Logging-Rollen.

  • Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Observability Analytics User (roles/observability.analyticsUser) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Abfragen von Analyseansichten benötigen.

Logdaten abfragen

In diesem Abschnitt werden die Ansätze beschrieben, mit denen Sie Ihre Logdaten abfragen können:

  • Laden Sie eine systemdefinierte Abfrage, bearbeiten Sie sie und führen Sie sie dann aus.
  • Geben Sie eine benutzerdefinierte Abfrage ein und führen Sie sie aus. Sie können beispielsweise eine vorhandene Anfrage einfügen oder eine neue schreiben. Benutzerdefinierte Abfragen können Joins, verschachtelte Abfragen und andere komplexe SQL-Anweisungen enthalten. Beispiele finden Sie unter Beispiel-SQL-Abfragen.
  • Erstellen Sie eine Abfrage, indem Sie Menüauswahlen treffen, und führen Sie die Abfrage dann aus. In Log Analytics werden Ihre Auswahlmöglichkeiten in eine SQL-Abfrage umgewandelt, die Sie sich ansehen und bearbeiten können.

Systemdefinierte Abfrage laden, bearbeiten und ausführen

  1. Rufen Sie in der Google Cloud Console die Seite Log Analytics auf:

    Zu Log Analytics

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Rufen Sie im Menü Ansichten den Abschnitt Logs oder Analytics-Ansichten auf und wählen Sie die Ansicht aus, die Sie abfragen möchten.

    Verwenden Sie die Filterleiste oder scrollen Sie durch die Liste, um die Ansicht zu finden, die Sie abfragen möchten:

    • Logansichten werden nach BUCKET_ID.LOG_VIEW_ID aufgelistet. Diese Felder beziehen sich auf die IDs des Log-Buckets und der Logansicht.

    • Analytics-Datenansichten werden nach LOCATION.ANALYTICS_VIEW_ID aufgeführt. Diese Felder beziehen sich auf den Speicherort und die ID einer Analytics-Datenansicht. Analytics-Ansichten sind in der öffentlichen Vorschau verfügbar.

  3. Führen Sie einen der folgenden Schritte aus:

    • Wenn Sie eine systemdefinierte Abfrage laden möchten, die auf dem Query Builder basiert, mit dem Sie die Abfrage über Menüauswahlen definieren können, muss im Bereich Query (Abfrage) Query Builder angezeigt werden. Wenn ein SQL-Editor angezeigt wird, klicken Sie auf  Builder.

    • Wenn Sie eine vom System definierte Abfrage laden möchten, mit der JSON-Werte extrahiert werden, muss im Bereich Abfrage der SQL-Editor angezeigt werden. Wenn in diesem Bereich Abfrage-Generator angezeigt wird, klicken Sie auf  SQL.

  4. Wählen Sie im Bereich Schema die Option Abfrage aus und klicken Sie dann auf Überschreiben.

    Im Bereich Abfrage wird eine systemdefinierte Abfrage angezeigt. Wenn Sie den Modus Abfrage-Generator ausgewählt haben, aber die SQL-Abfrage sehen möchten, klicken Sie auf  SQL.

  5. Optional: Ändern Sie die Abfrage.

  6. Klicken Sie zum Ausführen der Abfrage in der Symbolleiste auf Abfrage ausführen.

    In Log Analytics werden die Abfrageergebnisse in einer Tabelle dargestellt. Sie können jedoch ein Diagramm erstellen und die Tabelle oder das Diagramm in einem benutzerdefinierten Dashboard speichern. Weitere Informationen finden Sie unter SQL-SQL-Abfrage darstellen.

    Wenn in der Symbolleiste In BigQuery ausführen angezeigt wird, müssen Sie Log Analytics so umstellen, dass die Standard-Abfrage-Engine verwendet wird. Klicken Sie dazu in der Symbolleiste des Bereichs Abfrage auf  Einstellungen und wählen Sie dann Analytics (Standard) aus.

Benutzerdefinierte Abfrage eingeben und ausführen

So geben Sie eine SQL-Abfrage ein:

  1. Rufen Sie in der Google Cloud Console die Seite Log Analytics auf:

    Zu Log Analytics

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Klicken Sie im Bereich Abfrage auf  SQL.

    • Wenn Sie einen Zeitraum angeben möchten, empfehlen wir die Verwendung der Zeitbereichsauswahl. Wenn Sie eine WHERE-Klausel hinzufügen, in der das Feld timestamp angegeben ist, wird die Einstellung in der Zeitbereichsauswahl überschrieben und die Auswahl wird deaktiviert.

    • Beispiele finden Sie unter Beispiel-SQL-Abfragen.

    • Sie können Logansichten oder Analytics-Ansichten abfragen. Verwenden Sie das folgende Format für die FROM-Klausel:

      • Logansichten:

        FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`

      • Analytics-Datenansichten:

        FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`

      Die Felder in den vorherigen Ausdrücken haben die folgende Bedeutung:

      • PROJECT_ID: Die Kennung des Projekts.
      • LOCATION: Der Speicherort der Logansicht oder der Analyseansicht.
      • BUCKET_ID: Der Name oder die ID des Log-Buckets.
      • LOG_VIEW_ID: Die Kennung der Logansicht. Sie ist auf 100 Zeichen begrenzt und darf nur Buchstaben, Ziffern, Unterstriche und Bindestriche enthalten.
      • ANALYTICS_VIEW_ID: Die ID der Analytics-Ansicht. Sie ist auf 100 Zeichen begrenzt und darf nur Buchstaben, Ziffern, Unterstriche und Bindestriche enthalten.

    Wenn im Bereich „Abfrage“ eine Fehlermeldung angezeigt wird, in der auf die FROM-Anweisung verwiesen wird, kann die Ansicht nicht gefunden werden. Informationen zum Beheben dieses Fehlers finden Sie unter Fehler: FROM-Klausel muss genau eine Log-Ansicht enthalten.

  3. Klicken Sie zum Ausführen der Abfrage in der Symbolleiste auf Abfrage ausführen.

    In Log Analytics werden die Abfrageergebnisse in einer Tabelle dargestellt. Sie können jedoch ein Diagramm erstellen und die Tabelle oder das Diagramm in einem benutzerdefinierten Dashboard speichern. Weitere Informationen finden Sie unter SQL-SQL-Abfrage darstellen.

    Wenn in der Symbolleiste In BigQuery ausführen angezeigt wird, müssen Sie Log Analytics so umstellen, dass die Standard-Abfrage-Engine verwendet wird. Klicken Sie dazu in der Symbolleiste des Bereichs Abfrage auf  Einstellungen und wählen Sie dann Analytics (Standard) aus.

Abfrage erstellen, bearbeiten und ausführen

Über die Benutzeroberfläche von Query Builder können Sie eine Abfrage erstellen, indem Sie eine Auswahl aus den Menüs treffen. Loganalysen wandeln Ihre Auswahl in eine SQL-Abfrage um, die Sie aufrufen und bearbeiten können. Sie können beispielsweise mit der Query Builder-Oberfläche beginnen und dann zum SQL-Editor wechseln, um Ihre Abfrage zu optimieren.

Log Analytics kann Ihre Menüauswahlen aus der Abfragegenerator-Oberfläche immer in eine SQL-Abfrage umwandeln. Allerdings können nicht alle SQL-Abfragen über die Query Builder-Oberfläche dargestellt werden. So können beispielsweise Abfragen mit Joins nicht über diese Schnittstelle dargestellt werden.

So erstellen Sie eine Abfrage:

  1. Rufen Sie in der Google Cloud Console die Seite Log Analytics auf:

    Zu Log Analytics

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Wenn im Bereich Abfrage ein SQL-Editor angezeigt wird, wählen Sie Builder aus. Dadurch wird der Bereich Query Builder geöffnet.

  3. Mit den Menüs Quelle und Felder können Sie die Ansicht und die Spalten auswählen, die in der Ergebnistabelle angezeigt werden sollen. Ihre Auswahl wird den Klauseln FROM und SELECT in der SQL-Abfrage zugeordnet.

  4. Optional: Mit den folgenden Menüs können Sie die Ergebnistabelle einschränken oder formatieren:

    • Alle Felder durchsuchen: Suchen Sie nach übereinstimmenden Strings. Ihre Auswahl wird der WHERE-Klausel in der SQL-Abfrage zugeordnet.

    • Filter: Fügen Sie Filter hinzu, um die Abfrage auf Spans zu beschränken, die ein bestimmtes Attribut oder eine bestimmte Span-ID enthalten. Im Menü werden alle verfügbaren Filteroptionen aufgeführt. Ihre Auswahl wird der WHERE-Klausel in der SQL-Abfrage zugeordnet.

    • Sortieren nach: Legen Sie die Spalten fest, nach denen sortiert werden soll, und ob die Sortierung aufsteigend oder absteigend erfolgen soll. Ihre Auswahl wird der ORDER BY-Klausel in der SQL-Abfrage zugeordnet.

    • Limit: Legen Sie die maximale Anzahl von Zeilen in der Ergebnistabelle fest. Ihre Auswahl wird der LIMIT-Klausel in der SQL-Abfrage zugeordnet.

  5. Klicken Sie zum Ausführen der Abfrage in der Symbolleiste auf Abfrage ausführen.

    In Log Analytics werden die Abfrageergebnisse in einer Tabelle dargestellt. Sie können jedoch ein Diagramm erstellen und die Tabelle oder das Diagramm in einem benutzerdefinierten Dashboard speichern. Weitere Informationen finden Sie unter SQL-SQL-Abfrage darstellen.

    Wenn in der Symbolleiste In BigQuery ausführen angezeigt wird, müssen Sie Log Analytics so umstellen, dass die Standard-Abfrage-Engine verwendet wird. Klicken Sie dazu in der Symbolleiste des Bereichs Abfrage auf  Einstellungen und wählen Sie dann Analytics (Standard) aus.

Schema anzeigen

Das Schema definiert, wie die Daten gespeichert werden, einschließlich der Felder und ihrer Datentypen. Diese Informationen sind wichtig, da das Schema bestimmt, welche Felder Sie abfragen und ob Sie Felder in andere Datentypen umwandeln müssen. Wenn Sie beispielsweise eine Abfrage schreiben möchten, mit der die durchschnittliche Latenz von HTTP-Anfragen berechnet wird, müssen Sie wissen, wie Sie auf das Feld „Latenz“ zugreifen und ob es als Ganzzahl wie 100 oder als String wie "100" gespeichert ist. Wenn die Latenzdaten als String gespeichert sind, muss der Wert in der Abfrage in einen numerischen Wert umgewandelt werden, bevor ein Durchschnitt berechnet werden kann.

So ermitteln Sie das Schema:

  1. Rufen Sie in der Google Cloud Console die Seite Log Analytics auf:

    Zu Log Analytics

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Rufen Sie im Menü Ansichten den Abschnitt Logs oder Analytics-Ansichten auf und wählen Sie die Ansicht aus, die Sie abfragen möchten.

    Der Bereich Schema wird aktualisiert. Log Analytics leitet die Felder einer Spalte automatisch ab, wenn der Datentyp JSON ist. Wenn Sie sehen möchten, wie oft diese abgeleiteten Felder in Ihren Daten vorkommen, klicken Sie auf  Optionen und wählen Sie Informationen und Beschreibung ansehen aus.

    Für Logansichten ist das Schema festgelegt und entspricht dem LogEntry. Bei Analyseansichten können Sie die SQL-Abfrage ändern, um das Schema zu ändern.

Nächste Schritte