Verknüpftes Dataset in BigQuery abfragen

In diesem Dokument wird beschrieben, wie Sie ein verknüpftes Dataset für einen Log-Bucket erstellen. und wie Sie Logs in diesem Dataset abfragen und ansehen können. Sie können beispielsweise ein verknüpftes Dataset erstellen, damit Sie Abfragen in Log Analytics ausführen können, indem Sie Ihre reservierten BigQuery-Slots verwenden. Vielleicht möchten Sie auch verknüpftes Dataset, sodass Sie Abfragen in BigQuery schreiben oder in Looker Studio die Ihre Logdaten mit anderen Geschäftsdaten verknüpfen.

Wenn Sie mit Loganalysen nicht vertraut sind, lesen Sie Loganalysen – Übersicht

Wenn Sie ein verknüpftes Dataset benötigen

Sie benötigen kein verknüpftes BigQuery-Dataset, um Abfragen an eine Protokollansicht auf der Seite Log Analytics zu senden. Sie können speichern, diese Abfragen freigeben und die Ergebnisse in einem benutzerdefinierten Dashboard speichern.

Sie benötigen ein verknüpftes BigQuery-Dataset, wenn Sie Folgendes tun möchten:

• Daten von Logeinträgen mit anderen BigQuery-Datasets verknüpfen
• Protokolldaten aus einem anderen Dienst abfragen, z. B. über die Seite BigQuery Studio oder Looker Studio
• Sie können die Leistung der Abfragen, die Sie über Log Analytics ausführen, verbessern, indem Sie sie in Ihren reservierten BigQuery-Slots ausführen.

Mit einem verknüpften BigQuery-Dataset für einen Log-Bucket können BigQuery-Lesezugriff auf die zugrunde liegenden Daten.

Wenn Sie Ihre Abfragen in reservierten BigQuery-Slots ausführen, gelten für Ihre Abfragen die Kapazitätsrechenpreise. Wenn Sie Ihre Daten mit einem anderen Dienst als Log Analytics abfragen, können für Ihre Abfragen möglicherweise zusätzliche Kosten anfallen, die sich auf diesen Dienst beziehen. Weitere Informationen finden Sie auf der Preisseite des von Ihnen verwendeten Dienstes.

Hinweise

Führen Sie die folgenden Schritte aus, bevor Sie Log Analytics verwenden:

• Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung von Log Analytics benötigen:

  • So rufen Sie die Log-Buckets _Required und _Default ab: Logbetrachter (roles/logging.viewer)
  • So rufen Sie alle Logansichten in einem Projekt ab: Zugriffsberechtigter für Logbetrachtung (roles/logging.viewAccessor)

  Sie können ein Hauptkonto auf eine bestimmte Protokollansicht beschränken, indem Sie der Rolle „Zugriffsberechtigter für Protokollansicht“ auf Projektebene eine IAM-Bedingung hinzufügen oder der Richtliniendatei der Protokollansicht eine IAM-Bindung hinzufügen. Weitere Informationen finden Sie unter Zugriff auf eine Logansicht steuern.

  Dies sind dieselben Berechtigungen, die Sie zum Aufrufen von Logeinträgen auf der Seite Log-Explorer benötigen. Informationen zu zusätzliche Rollen, die Sie benötigen, um Ansichten für benutzerdefinierte Buckets oder um die Ansicht _AllLogs von _Default abzufragen Log-Bucket, siehe Cloud Logging-Rollen.

• Um die Berechtigungen zu erhalten, die Sie zum Erstellen und Abfragen verknüpfter Datasets benötigen, bitten Sie Ihren Administrator, Ihnen folgende IAM-Rollen für das Projekt, in dem der Log-Bucket gespeichert ist:

  • So erstellen und rufen Sie verknüpfte Datensätze auf: Autor von Log-Konfigurationen (roles/logging.configWriter)
  • So führen Sie Abfragen für verknüpfte Datasets mit reservierten BigQuery-Slots aus:
    • BigQuery-Nutzer (roles/bigquery.user)
    • BigQuery-Jobnutzer (roles/bigquery.jobUser)
  • Um verknüpfte Datasets in BigQuery Studio anzusehen, müssen Sie alle in diesem Schritt genannten Rollen sowie die folgende Rolle zuweisen. Sie können diese Rolle einem Datensatz oder Ihrem Projekt gewähren: BigQuery-Datenbetrachter (roles/bigquery.dataViewer)

• Prüfen Sie, ob Ihre Log-Buckets für die Verwendung von Loganalysen aktualisiert wurden:

  1. Rufen Sie in der Google Cloud Console die Seite Logspeicher auf.

     Zum Log-Speicher

     Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Achten Sie darauf, dass für jeden Log-Bucket, der eine Logansicht enthält, die Sie abfragen möchten, in der Spalte Log Analytics verfügbar der Wert Offen angezeigt wird. Wenn Upgrade durchführen angezeigt wird, klicken Sie auf Upgrade durchführen und schließen Sie das Dialogfeld ab.
• Wenn Sie Ihre Protokolldaten über die Seite Loganalysen abfragen möchten indem Sie reservierte BigQuery-Slots verwenden und mit Virtual Private Cloud (VPC) Service Controls und verwenden Sie die Enterprise Edition von BigQuery. Weitere Informationen finden Sie unter BigQuery-Versionen.

Verknüpftes BigQuery-Dataset erstellen

Wenn Sie Ihre Logdaten mit BigQuery analysieren möchten, müssen Sie einen Log-Bucket auf Log Analytics umstellen und dann ein verknüpftes Dataset erstellen. Bei dieser Konfiguration Logging speichert Ihre Logdaten, BigQuery kann die Logdaten lesen.

Hinweis: Ein Log-Bucket kann mit höchstens einem BigQuery-Dataset verknüpft werden.

Google Cloud Console

Um eine Verknüpfung zu einem BigQuery-Dataset für ein vorhandenes Log-Bucket:

1. Rufen Sie in der Google Cloud Console die Seite Logspeicher auf.

   Zum Log-Speicher

   Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

2. Suchen Sie den Log-Bucket und prüfen Sie, ob die Loganalysen verfügbar sind. wird Öffnen angezeigt.

   Wenn in dieser Spalte Upgrade angezeigt wird, wurde der Log-Bucket nicht auf Loganalysen aktualisiert. So konfigurieren Sie Log Analytics:

   1. Klicken Sie auf Upgrade.
   2. Klicken Sie im Dialogfeld auf Bestätigen.

   Fahren Sie nach Abschluss des Upgrades mit dem nächsten Schritt fort.

3. Klicken Sie beim Log-Bucket auf das Dreipunkt-Menü  und dann auf Bucket bearbeiten.

   Das Dialogfeld Log-Bucket bearbeiten wird geöffnet.

4. Wählen Sie Neues BigQuery-Dataset erstellen, das mit diesem Bucket verknüpft ist aus und geben Sie den Namen des neuen Datasets ein.

   Der Dataset-Name muss für jedes Google Cloud-Projekt eindeutig sein. Wenn Sie den Namen eines vorhandenen Datensatzes eingeben, wird die folgende Fehlermeldung angezeigt: Dataset name must be unique in the selected region.

5. Klicken Sie auf Fertig und dann auf Bucket aktualisieren.

   Nachdem der Name des verknüpften Datasets in Logging auf der Seite Logs Storage angezeigt wird, kann es einige Minuten dauern, bis BigQuery das Dataset erkennt.

gcloud

So erstellen Sie ein verknüpftes Dataset für einen Log-Bucket, der aktualisiert wird: Um Loganalysen zu verwenden, führen Sie den gcloud logging links create-Befehl:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

Die von Ihnen angegebene LINK_ID wird als Name des BigQuery-Datasets verwendet. Der Wert dieses Felds muss für Ihr Google Cloud-Projekt eindeutig sein.

Der Befehl links create ist asynchron. Die Rückgabe eines ist ein Operation-Objekt und es kann enthält Informationen zum Fortschritt der Methode. Nach Abschluss der Methode enthält das Operation-Objekt den Status. Weitere Informationen Weitere Informationen finden Sie unter Asynchrone API-Methoden.

Die Ausführung des Befehls links create dauert einige Minuten.

Mit dem folgenden Befehl wird beispielsweise ein verknüpftes Dataset für die Bucket mit dem Namen my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Der Dataset-Name muss für jedes Google Cloud-Projekt eindeutig sein. Wenn Sie versuchen, ein Dataset mit demselben Namen wie ein vorhandenes Dataset zu erstellen, erhalten Sie die folgende Fehlermeldung:

BigQuery dataset with name "LINK_ID" already exists.

Wenn Sie versuchen, ein verknüpftes Dataset für einen Log-Bucket zu erstellen, der nicht auf Loganalysen aktualisiert wurde, wird der folgende Fehler gemeldet:

A link can only be created for an analytics-enabled bucket.

REST

So erstellen Sie ein verknüpftes BigQuery-Dataset für einen vorhandenen Log-Bucket: das aktualisiert wurde, verwenden Sie Loganalysen, rufen Sie die asynchrone projects.locations.buckets.links.create der Cloud Logging API.

Bereiten Sie die Argumente für die Methode so vor:

1. Erstellen Sie den Anfragetext für den Befehl create. Der Anfragetext ist als Link-Objekt formatiert.
2. Für den Abfrageparameter des Befehls verwenden Sie linkId=LINK_ID Die von Ihnen angegebene LINK_ID wird als Name des BigQuery-Datasets verwendet. Der Wert dieses Felds muss für Ihr Google Cloud-Projekt eindeutig sein.

Die Antwort auf die asynchronen Methoden ist ein Operation-Objekt. Dieses Objekt enthält Informationen zum Fortschritt der Methode. Nach Abschluss der Methode enthält das Operation-Objekt den Status. Weitere Informationen finden Sie unter Asynchrone API-Methoden.

Die links.create-Methode kann mehrere Minuten dauern.

Der Dataset-Name muss für jedes Google Cloud-Projekt eindeutig sein. Wenn Sie versuchen, um ein Dataset mit demselben Namen wie ein vorhandenes Dataset zu erstellen, erhalten Sie folgende Fehlermeldung:

BigQuery dataset with name "LINK_ID" already exists.

Wenn Sie versuchen, ein verknüpftes Dataset für einen Log-Bucket zu erstellen, der nicht auf Loganalysen aktualisiert wurde, wird der folgende Fehler gemeldet:

A link can only be created for an analytics-enabled bucket.

Abfragen über BigQuery ausführen

Wenn Sie einen Log-Bucket haben, in dem Log Analytics und verknüpfte Datensätze verwendet werden, können Sie Ihre verknüpften Datensätze auf der Seite BigQuery Studio aufrufen und abfragen. Mit dieser Konfiguration können Sie Ihre Datasets mithilfe von Befehlen, Workflows und Datasets nur in BigQuery Studio verfügbar.

Um BigQuery in Loganalysen zu öffnen und dann das verknüpfte Dataset abzufragen, Gehen Sie so vor:

1. Achten Sie darauf, dass ein verknüpftes Dataset für den Log-Bucket vorhanden ist, in dem die Logansicht, die Sie abfragen möchten:

   1. Rufen Sie in der Google Cloud Console die Seite Logspeicher auf.

      Zum Log-Speicher

      Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

   2. Suchen Sie den Log-Bucket und prüfen Sie, ob das verknüpfte BigQuery-Dataset wird eine URL angezeigt. Wenn der Eintrag leer ist, müssen Sie ein verknüpftes Dataset. Weitere Informationen zu diesen Schritten finden Sie unter Verknüpftes BigQuery-Dataset erstellen.

2. Rufen Sie in der Google Cloud Console die Seite Log Analytics auf.

   Zu Log Analytics

   Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

3. Suchen Sie in der Liste Protokollansichten nach der gewünschten Protokollansicht und wählen Sie Abfragen aus. Der Bereich Abfrage enthält eine Standardabfrage. Sie können auch im Bereich Abfrage eine Abfrage eingeben oder eine angezeigte Abfrage bearbeiten.

4. Maximieren Sie in der Symbolleiste die Schaltfläche Abfrage ausführen oder In BigQuery ausführen und wählen Sie In BigQuery öffnen aus.

   Die Seite BigQuery Studio wird geöffnet. Das FROM der Abfrage wird geändert, um den Pfad zur Logansicht im verknüpftes Dataset mithilfe von BigQuery Tabellenpfadsyntax.

   Sie können die angezeigte Abfrage auch bearbeiten.

5. Klicken Sie auf der Seite BigQuery Studio auf Abfrage ausführen.

Loganalyse-Abfragen für reservierte BigQuery-Slots ausführen

Vorschau

Dieses Produkt oder diese Funktion unterliegt den „Nutzungsbedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Nutzungsbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Produkte und -Funktionen sind unverändert verfügbar und werden möglicherweise nur eingeschränkt unterstützt. Weitere Informationen finden Sie in den Beschreibungen der Startphase.

Wenn Sie die Ausführungszeit Ihrer Log Analytics-Abfragen minimieren möchten, in Ihren reservierten BigQuery-Slots ausführen. Die Seite Log Analytics ist für die Verwendung des Standard-Log Analytics-Dienstes vorkonfiguriert. Das bedeutet, dass Ihre Abfragen mit anderen Abfragen um den begrenzten Speicherplatz konkurrieren müssen. Wenn keine Slots verfügbar sind, wird die Ausführung der Abfrage verzögert. Sie können Verzögerungen vermeiden, indem Sie Ihre Abfragen reservierte BigQuery-Slots.

So senden Sie eine SQL-Abfrage an eine Logansicht:

1. Prüfen Sie, ob für den Protokoll-Bucket, in dem die Protokollansicht gehostet wird, die Sie abfragen möchten, ein verknüpftes Dataset vorhanden ist:

   1. Rufen Sie in der Google Cloud Console die Seite Logspeicher auf.

      Zum Log-Speicher

      Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

   2. Suchen Sie den Log-Bucket und prüfen Sie, ob in der Spalte Verknüpftes BigQuery-Dataset eine URL angezeigt wird. Wenn der Eintrag leer ist, müssen Sie ein verknüpftes Dataset. Informationen zu diesen Schritten finden Sie unter Verknüpftes BigQuery-Dataset erstellen

2. Prüfen Sie, ob Sie Ihre reservierten BigQuery-Slots konfiguriert haben:

   1. Reservierung mit dedizierten Slots erstellen
   2. Reservierungszuweisungen erstellen

3. Konfigurieren Sie Log Analytics so, dass Ihre Abfragen auf Ihren reservierten BigQuery-Slots ausgeführt werden:

   1. Rufen Sie in der Google Cloud Console die Seite Loganalysen auf:

      Zu Log Analytics

      Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

   2. Suchen Sie in der Liste Protokollansichten nach der gewünschten Ansicht und wählen Sie Abfragen aus oder geben Sie eine Abfrage ein.

      Wenn im Abfragebereich eine Fehlermeldung angezeigt wird, die auf die FROM-Anweisung verweist, kann die Tabelle nicht in eine bestimmte Protokollansicht aufgelöst werden. Informationen zum Beheben dieses Fehlers finden Sie unter Fehler FROM clause must contain exactly one log view.

   3. Gehen Sie zur Symbolleiste und prüfen Sie, ob die Schaltfläche In BigQuery ausführen angezeigt wird.

      Wenn in der Symbolleiste Abfrage ausführen angezeigt wird, Klicken Sie auf Einstellungen und wählen Sie BigQuery aus.

      Wenn die Schaltfläche In BigQuery ausführen deaktiviert ist, ein verknüpftes Dataset erstellen.

   4. Führen Sie die Abfrage aus.

      Mit den Optionen in der Symbolleiste können Sie Ihre Abfrage formatieren, löschen und die BigQuery SQL-Referenzdokumentation öffnen.

Nächste Schritte

• SQL-Abfrage speichern und freigeben
• SQL-Beispielabfragen
• Diagramm für SQL-Abfrage erstellen