Übersicht über BigQuery-Analysen

In diesem Dokument wird beschrieben, wie BigQuery Abfragen verarbeitet. Weiter bietet es einen Überblick über verschiedene Funktionen, die für das Erfassen und Analysieren Ihrer Daten nützlich sind.

BigQuery ist für die Ausführung von Analyseabfragen für große Datasets optimiert, darunter Terabyte an Daten in Sekunden und Petabyte im Minutenbereich. Wenn Sie seine Funktionen und die Art der Abfragverarbeitung kennen, können Sie Ihre Investitionen in Datenanalysen maximieren.

Klicken Sie auf Tour starten, um die Datenanalysefeatures von BigQuery direkt in der Google Cloud Console kennenzulernen.

Tour ansehen

Analyse-Workflows

BigQuery unterstützt mehrere Datenanalyse-Workflows:

  • Ad-hoc-Analyse. BigQuery verwendet zur Unterstützung der Ad-hoc-Analyse GoogleSQL, den SQL-Dialekt in BigQuery. Sie können Abfragen in der Google Cloud Console oder über Drittanbietertools, die sich in BigQuery einbinden lassen, ausführen.

  • Raumbezogene Analyse. BigQuery verwendet geografische Datentypen und geografische Funktionen von GoogleSQL, mit denen Sie raumbezogene Daten analysieren und visualisieren können. Weitere Informationen zu diesen Datentypen und Funktionen finden Sie unter Einführung in räumlich-geografische Analysen.

  • Suchen Sie können Ihre Daten indexieren, um flexible, optimierte Suchanfragen in unstrukturierten Text- oder semistrukturierten JSON-Daten durchzuführen.

  • maschinelles Lernen: BigQuery ML verwendet GoogleSQL-Abfragen, mit denen Sie Modelle für maschinelles Lernen (ML) in BigQuery erstellen und ausführen können.

  • Business intelligence. BigQuery BI Engine ist ein schneller In-Memory-Analysedienst, mit dem Sie umfangreiche interaktive Dashboards und Berichte erstellen können, ohne Leistung, Skalierbarkeit, Sicherheit oder Datenaktualität zu beeinträchtigen.

  • KI-Unterstützung Mit Gemini in BigQuery können Sie Ihre Daten vorbereiten und analysieren, SQL-Abfragen und Python-Code generieren und die Ergebnisse visualisieren.

Datenexploration

BigQuery kann Ihnen helfen, Ihre Daten zu verstehen, bevor Sie mit dem Schreiben von SQL-Abfragen beginnen. Verwenden Sie die folgenden Funktionen, wenn Sie mit Ihren Daten nicht vertraut sind, nicht wissen, welche Fragen Sie stellen sollen, oder Hilfe beim Schreiben von SQL-Abfragen benötigen:

  • Tabellen-Explorer Sie können den Bereich und die Häufigkeit von Werten in Ihrer Tabelle visuell untersuchen und interaktiv Abfragen erstellen.

  • Datenstatistiken Sie können Fragen in natürlicher Sprache zu Ihren Daten und die SQL-Abfragen zur Beantwortung dieser Fragen generieren.

  • Datenprofilscan Hier finden Sie statistische Merkmale Ihrer Daten, darunter Durchschnitts-, eindeutige, Höchst- und Mindestwerte.

  • Daten-Canvas Sie können Ihre Daten mit natürlicher Sprache abfragen, Ergebnisse mithilfe von Diagrammen visualisieren und Folgefragen stellen.

Abfragen

Die primäre Methode zur Analyse von Daten in BigQuery ist die Ausführung einer SQL-Abfrage. Der GoogleSQL-Dialekt unterstützt SQL:2011 und enthält Erweiterungen, die raumbezogene Analysen und ML unterstützen.

Datenquellen

Mit BigQuery können Sie folgende Datenquellentypen abfragen:

  • In BigQuery gespeicherte Daten Sie können Daten in BigQuery laden, vorhandene Daten mithilfe von DML-Anweisungen (Data Manipulation Language, Datenbearbeitungssprache) ändern oder Abfrageergebnisse in eine Tabelle schreiben. Sie können Verlaufsdaten für einen beliebigen Zeitpunkt innerhalb des Zeitreisefensters abfragen.

    Sie haben die Möglichkeit, Daten abzufragen, die an einem Standort mit einer oder mehreren Regionen gespeichert sind. Sie können jedoch keine Abfrage für mehrere Standorte ausführen, auch wenn einer der Standorte nur eine Region enthält und der andere der multiregionale Standort ist, der diesen Standort mit einer Region enthält. Weitere Informationen finden Sie unter Standorte, Reservierungen und Jobs.

  • Externe Daten. Sie können verschiedene externe Datenquellen abfragen, darunter Cloud Storage oder Datenbankdienste wie Spanner oder Cloud SQL. Informationen zum Einrichten von Verbindungen zu externen Quellen finden Sie unter Einführung in externe Datenquellen.

  • Multi-Cloud-Daten. Sie können Daten abfragen, die in anderen öffentlichen Clouds (z. B. AWS oder Azure) gespeichert sind. Informationen zum Einrichten von Verbindungen zu Amazon Simple Storage Service (Amazon S3) oder Azure Blob Storage finden Sie in der Einführung in BigQuery Omni.

  • Öffentliche Datasets. Sie können alle im Marketplace für öffentliche Datasets verfügbaren Datasets analysieren.

  • Analytics Hub Sie können BigQuery-Datasets und Pub/Sub-Themen veröffentlichen und abonnieren, um Daten über Organisationsgrenzen hinweg zu teilen. Weitere Informationen finden Sie unter Einführung in Analytics Hub.

Arten von Abfragen

Sie können BigQuery-Daten mit einem der folgenden Abfragejobtypen abfragen:

  • Interaktive Abfragejobs Standardmäßig führt BigQuery interaktive (On-Demand) Abfragejobs so schnell wie möglich aus.

  • Batch-Abfragejobs Bei diesen Jobs stellt BigQuery jede Batchabfrage in Ihrem Namen in die Warteschlange und startet sie, sobald inaktive Ressourcen verfügbar werden – normalerweise innerhalb weniger Minuten.

  • Jobs vom Typ „Kontinuierliche Abfrage“ (Vorschau) Bei diesen Jobs wird die Abfrage kontinuierlich ausgeführt. So können Sie eingehende Daten in BigQuery in Echtzeit analysieren und die Ergebnisse dann in eine BigQuery-Tabelle schreiben oder in Bigtable oder Pub/Sub exportieren. Mit dieser Funktion können Sie zeitkritische Aufgaben ausführen, z. B. Erkenntnisse erstellen und sofort darauf reagieren, Echtzeit-Inferenzen für maschinelles Lernen (ML) anwenden und ereignisgesteuerte Datenpipelines erstellen.

Sie können Abfragejobs mit folgenden Methoden ausführen:

Gespeicherte und freigegebene Abfragen

Mit BigQuery können Sie Abfragen speichern und für andere Nutzer freigeben.

Eine gespeicherte Abfrage kann privat (nur für Sie sichtbar), auf Projektebene freigegeben (für bestimmte Hauptkonten sichtbar) oder öffentlich sein (jeder kann sie sehen). Weitere Informationen finden Sie unter Mit gespeicherten Abfragen arbeiten.

So werden Abfragen in BigQuery verarbeitet

Beim Ausführen einer Abfrage in BigQuery werden mehrere Prozesse aktiv:

  • Ausführungsstruktur. Wenn Sie eine Abfrage ausführen, wird in BigQuery eine Ausführungsstruktur generiert, die die Abfrage in Phasen unterteilt. Diese Phasen enthalten Schritte, die parallel ausgeführt werden können.

  • Shuffle-Stufe Die Phasen kommunizieren über eine schnelle, verteilte Shuffle-Stufe, die von den Workern einer Phase erstellte Zwischendaten speichert. Wenn möglich, nutzt die Shuffle-Stufe Technologien wie Petabitnetzwerke und RAM, um Daten schnell auf Worker-Knoten zu verschieben.

  • Abfrageplan. Sobald BigQuery alle Informationen hat, die zum Ausführen einer Abfrage erforderlich sind, wird ein Abfrageplan generiert. Sie können den Abfrageplan in der Google Cloud Console aufrufen und zur Fehlerbehebung oder zur Optimierung der Abfrageleistung verwenden.

  • Abfrageausführungsgrafik Sie können die Informationen des Abfrageplans im grafischen Format für jede Abfrage prüfen, unabhängig davon, ob sie gerade ausgeführt wird oder bereits abgeschlossen ist. Außerdem können Sie Leistungsstatistiken aufrufen, um Ihre Abfragen zu optimieren.

  • Abfrageüberwachung und dynamische Planung Neben den Workern, die die Arbeit des Abfrageplans selbst ausführen, überwachen und leiten zusätzliche Worker den gesamten Fortschritt der Arbeit im gesamten System. Im Laufe der Abfrage kann BigQuery den Abfrageplan dynamisch anpassen, um sich an die Ergebnisse der verschiedenen Phasen anzupassen.

  • Abfrageergebnisse. Wenn eine Abfrage abgeschlossen ist, schreibt BigQuery die Ergebnisse in den nichtflüchtigen Speicher und gibt sie an den Nutzer zurück. Dank diesem Design kann BigQuery bei der nächsten Ausführung der Abfrage im Cache gespeicherte Ergebnisse bereitstellen.

Nebenläufigkeit und Leistung von Abfragen

Die Leistung von Abfragen, die wiederholt für dieselben Daten ausgeführt werden, kann aufgrund der gemeinsamen Nutzung der BigQuery-Umgebung, der Verwendung von im Cache gespeicherten Abfrageergebnissen oder der dynamischen Anpassung des Abfrageplans durch BigQuery während der Ausführung der Abfrage variieren. Bei einem typischerweise ausgelasteten System, in dem viele Abfragen gleichzeitig ausgeführt werden, verwendet BigQuery mehrere Prozesse, um Abweichungen bei der Abfrageleistung auszugleichen:

  • BigQuery führt viele Abfragen parallel aus und kann Abfragen in die Warteschlange stellen, um sie auszuführen, sobald Ressourcen verfügbar sind.

  • Während Abfragen beginnen und abgeschlossen werden, verteilt BigQuery Ressourcen gleichmäßig auf neue und laufende Abfragen. Dadurch wird sichergestellt, dass die Abfrageleistung nicht von der Reihenfolge abhängt, in der Abfragen übergeben werden, sondern von der Anzahl der Abfragen, die zu einer bestimmten Zeit ausgeführt werden.

Abfrageoptimierung

Wenn Sie eine Abfrage ausführen, können Sie sich den Abfrageplan in der Google Cloud Console ansehen. Sie können Ausführungsdetails auch mit den INFORMATION_SCHEMA.JOBS*-Ansichten oder der jobs.get REST API-Methode anfordern.

Der Abfrageplan enthält Details zu Abfragephasen und -schritten. Mithilfe dieser Details können Sie Möglichkeiten zur Verbesserung der Abfrageleistung ermitteln. Beispiel: Wenn Sie eine Phase bemerken, in der viel mehr Ausgaben als in anderen Phasen geschrieben werden, bedeutet dies möglicherweise, dass Sie früher in der Abfrage filtern müssen.

Weitere Informationen zum Abfrageplan und zur Abfrageoptimierung finden Sie in folgenden Ressourcen:

Abfragemonitoring

Monitoring und Logging sind für die Ausführung zuverlässiger Anwendungen in der Cloud entscheidend. BigQuery-Arbeitslasten sind keine Ausnahme, insbesondere wenn Ihre Arbeitslast ein hohes Volumen hat oder geschäftskritisch ist. BigQuery bietet verschiedene Messwerte, Logs und Metadatenansichten, mit denen Sie die BigQuery-Nutzung überwachen können.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Abfragepreise

BigQuery bietet zwei Preismodelle für Analysen:

Informationen zu den beiden Preismodellen und zu Reservierungen für kapazitätsbasierte Preise finden Sie unter Einführung in Reservierungen.

Kontingente und Kostenkontrollen für Abfragen

In BigQuery gelten auf Projektebene Kontingente für das Ausführen von Abfragen. Weitere Informationen zu Abfragekontingenten finden Sie unter Kontingente und Limits.

Für die Kontrolle der Kosten von Abfragen bietet BigQuery mehrere Möglichkeiten, darunter benutzerdefinierte Kontingente und Abrechnungsbenachrichtigungen. Weitere Informationen finden Sie unter Benutzerdefinierte Kostenkontrolle erstellen.

Datenanalysefeatures

BigQuery unterstützt sowohl deskriptive als auch prognostische Analysen und hilft Ihnen, Ihre Daten mit KI-gestützten Tools, SQL, maschinellem Lernen, Notebooks und anderen Integrationen von Drittanbietern zu untersuchen.

BigQuery Studio

Mit BigQuery Studio können Sie mit den folgenden Funktionen Daten in BigQuery entdecken, analysieren und Inferenzen darauf ausführen:

  • Ein robuster SQL-Editor mit Codevervollständigung und ‑generierung, Abfragevalidierung und Schätzung der verarbeiteten Byte.
  • Eingebettete Python-Notebooks, die mit Colab Enterprise erstellt wurden. Notebooks bieten Python-Entwicklungslaufzeiten mit einem Klick und integrierte Unterstützung für BigQuery DataFrames.
  • Ein PySpark-Editor, mit dem Sie gespeicherte Python-Prozeduren für Apache Spark erstellen können.
  • Asset-Verwaltung und Versionsverlauf für Code-Assets wie Notebooks und gespeicherte Abfragen. Diese basieren auf Dataform.
  • Unterstützende Codeentwicklung im SQL-Editor und in Notebooks, die auf der generativen Gemini-KI (Vorschau) basiert.
  • Dataplex-Funktionen für Datenerkennung und Datenprofilerstellung und Datenqualitätsscans.
  • Möglichkeit, den Jobverlauf pro Nutzer oder pro Projekt aufzurufen.
  • Die Möglichkeit, gespeicherte Abfrageergebnisse durch eine Verbindung zu anderen Tools wie Looker und Google Sheets zu analysieren und gespeicherte Abfrageergebnisse zur Verwendung in anderen Anwendungen zu exportieren.

BigQuery ML

Mit BigQuery ML können Sie SQL in BigQuery verwenden, um maschinelles Lernen (ML) und Prognoseanalysen durchzuführen. Weitere Informationen finden Sie unter Einführung in BigQuery ML.

Einbindung von Analysetools

Sie können nicht nur Abfragen in BigQuery ausführen, sondern auch Ihre Daten mit verschiedenen Analyse- und Business-Intelligence-Tools analysieren, die sich in BigQuery einbinden lassen. Dazu gehören:

  • Looker. Looker ist eine Unternehmensplattform für Business Intelligence, Datenanwendungen und eingebettete Analysen. Die Looker-Plattform funktioniert mit vielen Datenspeichern, einschließlich BigQuery. Informationen zum Verbinden von Looker mit BigQuery finden Sie unter Looker verwenden.

  • Looker Studio. Nachdem Sie eine Abfrage ausgeführt haben, können Sie Looker Studio direkt in BigQuery in der Google Cloud Console starten. Anschließend können Sie in Looker Studio Visualisierungen erstellen und die von der Abfrage zurückgegebenen Daten untersuchen. Weitere Informationen zu Looker Studio

  • Verbundene Tabellenblätter. Sie können verbundene Tabellenblätter auch direkt über BigQuery in der Console starten. Verbundene Tabellenblätter führt BigQuery-Abfragen in Ihrem Namen aus, entweder auf Ihre Anfrage hin oder nach einem festgelegten Zeitplan. Die Ergebnisse dieser Abfragen werden zur Analyse und Freigabe in Ihrer Tabelle gespeichert. Informationen zu verbundenen Tabellenblättern finden Sie unter Verbundene Tabellenblätter verwenden.

  • Tableau Sie können eine Verbindung zu einem Dataset von Tableau aus herstellen. Verwenden Sie BigQuery für Ihre Diagramme, Dashboards und andere Datenvisualisierungen.

Einbindung von Drittanbietertools

Mehrere Analysetools von Drittanbietern funktionieren mit BigQuery. Sie können beispielsweise Tableau mit BigQuery-Daten verbinden und die Visualisierungstools von Tableau verwenden, um Ihre Analysen zu analysieren und freizugeben. Weitere Informationen zu Überlegungen bei der Verwendung von Drittanbietertools finden Sie unter Integration von Drittanbietertools.

ODBC- und JDBC-Treiber sind verfügbar und können zum Einbinden Ihrer Anwendung in BigQuery verwendet werden. Diese Treiber sollen Nutzern helfen, das Potenzial von BigQuery in vorhandenen Tools und Infrastrukturen zu nutzen. Informationen zu aktuellen Releases und bekannten Problemen finden Sie unter ODBC- und JDBC-Treiber für BigQuery.

Mit Pandas-Bibliotheken wie pandas-gbq können Sie mit BigQuery-Daten in Jupyter-Notebooks interagieren. Informationen zu dieser Bibliothek und ihren Unterschieden zur Python-Clientbibliothek von BigQuery finden Sie unter Vergleich mit pandas-gbq.

Sie können BigQuery auch mit anderen Notebooks und Analysetools verwenden. Weitere Informationen finden Sie unter Programmatische Analysetools.

Eine vollständige Liste der BigQuery-Analysen und umfassende Technologiepartner finden Sie in der Liste der Partner auf der BigQuery-Produktseite.

Nächste Schritte