Was ist BigQuery?

BigQuery ist ein vollständig verwaltetes Data Warehouse für Unternehmen, mit dem Sie Ihre Daten mit integrierten Features wie maschinellem Lernen, raumbezogenen Analysen und Business Intelligence verwalten und analysieren können. Dank der serverlosen Architektur von BigQuery können Sie mithilfe von SQL-Abfragen die größten Fragen Ihrer Organisation ohne Infrastrukturverwaltung beantworten. Mit der skalierbaren, verteilten Analyse-Engine von BigQuery können Sie Terabyte in Sekunden und Petabyte in Minuten abfragen.

BigQuery maximiert die Flexibilität, indem die Rechen-Engine getrennt wird, die Ihre Daten von Ihren Speicheroptionen analysiert. Sie können Ihre Daten in BigQuery speichern und analysieren oder mit BigQuery Ihre Daten dort bewerten. Mit föderierten Abfragen können Sie Daten aus externen Quellen lesen, während das Streaming kontinuierliche Datenaktualisierungen unterstützt. Mit leistungsstarken Tools wie BigQuery ML und BI Engine können Sie diese Daten analysieren und verstehen.

Zu den BigQuery-Schnittstellen gehören die Google Cloud Console-Oberfläche und das BigQuery-Befehlszeilentool. Entwickler und Data Scientists können Clientbibliotheken mit vertrauter Programmierung wie Python, Java, JavaScript und Go sowie die REST API und RPC API von BigQuery zum Transformieren und Verwalten von Daten verwenden. ODBC- und JDBC-Treiber ermöglichen die Interaktion mit vorhandenen Anwendungen, einschließlich Tools und Dienstprogrammen von Drittanbietern.

Als Datenanalyst, Data Engineer, Data-Warehouse-Administrator oder Data Scientist können Sie mit der BigQuery ML-Dokumentation Datentools ermitteln, implementieren und verwalten, die Sie bei wichtigen Geschäftsentscheidungen unterstützen.

Jetzt mit BigQuery starten

Sie können in wenigen Minuten anfangen, BigQuery kennenzulernen. Nutzen Sie die kostenlose Nutzungsstufe oder die kostenlose Sandbox von BigQuery, um mit dem Laden und Abfragen von Daten zu beginnen.

1. BigQuery-Sandbox: Einstieg in die BigQuery-Sandbox ohne Risiko und kostenlos.
2. Kurzanleitung zur Google Cloud Console: Machen Sie sich mit der Leistungsfähigkeit der BigQuery Console vertraut.
3. Öffentliche Datasets: Machen Sie sich mit der Leistung von BigQuery vertraut, indem Sie große reale Daten aus dem Programm für öffentliche Datasets untersuchen.

BigQuery kennenlernen

Mit der serverlosen Infrastruktur von BigQuery können Sie sich auf Ihre Daten statt auf die Ressourcenverwaltung konzentrieren. BigQuery kombiniert ein cloudbasiertes Data Warehouse mit leistungsstarken Analysetools.

BigQuery-Speicher

BigQuery speichert Daten in einem spaltenorientierten Format, das für analytische Abfragen optimiert ist. BigQuery stellt Daten in Tabellen, Zeilen und Spalten bereit und bietet vollständige Unterstützung für die Semantik von Datenbanktransaktionen (ACID). Der BigQuery-Speicher wird automatisch über mehrere Standorte repliziert, um eine hohe Verfügbarkeit zu ermöglichen.

• Erfahren Sie mehr über gängige Muster zum Organisieren von BigQuery-Ressourcen im Data Warehouse und in Data-Marts.
• Erfahren Sie mehr über Datasets, den übergeordneten Container von BigQuery für Tabellen und Ansichten.
• Laden Sie Daten in BigQuery mit:
  • Stream-Daten mit der Storage Write API.
  • Im Batch geladenen Daten aus lokalen Dateien oder Cloud Storage mit Formaten wie Avro, Parquet, ORC, CSV, JSON, Datastore und Firestore.
• BigQuery Data Transfer Service automatisiert die Datenaufnahme.

Weitere Informationen finden Sie unter BigQuery-Speicher.

BigQuery-Analysen

Deskriptive und präskriptive Analysen umfassen Business Intelligence, Ad-hoc-Analysen, Raumbezogene Analysen und maschinelles Lernen. Sie können in BigQuery gespeicherte Daten abfragen oder Abfragen für Daten an deren Speicherort ausführen, indem Sie externe Tabellen oder föderierten Abfragen verwenden, einschließlich Google Cloud Storage, Bigtable, Spanner oder Google Tabellen, die in Google Drive gespeichert sind.

• ANSI-Standard-SQL-Abfragen (SQL:2011-Unterstützung), einschließlich Unterstützung für Joins, verschachtelte und wiederkehrende Felder, Analyse- und Aggregationsfunktionen, Abfragen mit mehreren Anweisungen und einer Vielzahl von räumlichen Funktionen mit raumbezogenen Analysen – geografische Informationssysteme.
• Ansichten erstellen, um Ihre Analyse freizugeben.
• Unterstützung von Business Intelligence-Tools, einschließlich BI Engine mit Looker Studio, Looker, Google Tabellen und Tools von Drittanbietern wie Tableau und Power BI.
• BigQuery ML bietet Modellierung für maschinelles Lernen und Analysen zu Prognosezwecken.
• Daten außerhalb von BigQuery mit externen Tabellen und föderierten Abfragen abfragen.

Weitere Informationen finden Sie unter BigQuery-Analysen.

BigQuery-Verwaltung

BigQuery bietet eine zentralisierte Verwaltung von Daten- und Rechenressourcen und Identity and Access Management (IAM) unterstützt Sie dabei, diese Ressourcen mithilfe des Zugriffsmodells zu schützen, das in Google Cloud verwendet wird. Best Practices von Google Cloud für die Sicherheit bieten einen soliden, aber auch flexiblen Ansatz, der herkömmliche Perimetersicherheit oder einen komplexeren und detaillierteren Ansatz mit gestaffelten Sicherheitsebenen umfassen kann.

• Die Einführung in die Datensicherheit und Governance hilft Ihnen, die Data Governance zu verstehen und zu steuern, welche Kontrollen Sie für die Sicherung von BigQuery-Ressourcen benötigen könnten.
• Jobs sind Aktionen, die BigQuery für Sie ausführt, um Daten zu laden, zu exportieren, abzufragen oder zu kopieren.
• Mit Reservierungen können Sie zwischen On-Demand-Preisen und Pauschalpreisen wechseln.

Weitere Informationen finden Sie unter Einführung in BigQuery.

BigQuery-Ressourcen

Sehen Sie sich die BigQuery-Ressourcen an:

• Versionshinweise enthalten Änderungslogs mit Features, Änderungen und verworfenen Funktionen.

• Preise für Analyse und Speicherung. Weitere Informationen finden Sie in den Preisen für BigQuery ML, BI Engine und Data Transfer Service.

• Standorte definieren, wo Sie Datasets erstellen (und regionale und multiregionale Standorte).

• Referenzmuster für intelligente Analysen enthalten Links zu Beispielcode und technischen Referenzleitfäden für gängige Anwendungsfälle der Analyse, einschließlich Best Practices für die Entwicklung gängiger Analysefeatures.

• Stack Overflow hostet eine interessierte Community von Entwicklern und Analysten, die mit BigQuery arbeiten.

• Der BigQuery-Support bietet Hilfe für BigQuery.

• Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale von Valliappa Lakshmanan und Jordan Tigani erläutert, wie BigQuery funktioniert, und bietet eine ausführliche Anleitung zur Nutzung des Dienstes.

APIs, Tools und Referenzen

Referenzmaterialien für BigQuery-Entwickler und -Analysten:

• SQL-Abfragesyntax für Details zur Verwendung von GoogleSQL.
• Die BigQuery API und die Clientbibliotheken bieten einen Überblick über die Features von BigQuery und deren Verwendung.
• BigQuery-Codebeispiele bieten Hunderte von Snippets für Clientbibliotheken in C#, Go, Java, Node.js, Python und Ruby. Sie können sich auch den Beispielbrowser ansehen.
• Mit der Syntax von DML, DDL und benutzerdefinierten Funktionen (UDFs) können Sie BigQuery-Daten verwalten und transformieren.
• In der bq-Befehlszeilentool-Referenz werden die Syntax, Befehle, Flags und Argumente für die bq-Befehlszeile dokumentiert.
• ODBC/JDBC-Integration verbindet BigQuery mit Ihren vorhandenen Tools und Infrastrukturen.

BigQuery-Rollen und -Ressourcen

BigQuery erfüllt die Anforderungen von Datenexperten in den folgenden Rollen und Verantwortlichkeiten.

Datenanalyst

Eine Anleitung für Aufgaben, wenn Sie Folgendes tun müssen:

• BigQuery-Daten abfragen – mit interaktiven oder Batch-Abfragen mithilfe der SQL-Abfragesyntax
• Auf SQL-Ausdrücke, -Funktionen und -Operatoren zum Abfragen von Daten verweisen

• Verwenden Sie Tools, um BigQuery-Daten zu analysieren und zu visualisieren, einschließlich Looker, Looker Studio und Google Tabellen.

• Raumbezogene Analysen verwenden, um raumbezogene Daten mit den geografischen Informationssystemen von BigQuery zu analysieren und zu visualisieren

• Abfrageleistung optimieren mit:

  • Partitionierten Tabellen: Große Tabellen anhand von Zeit- oder Ganzzahlbereichen bereinigen
  • Materialisierten Ansichten: Im Cache gespeicherte Ansichten definieren, um Abfragen zu optimieren oder persistente Ergebnisse zu liefern
  • BI Engine: Der schnelle In-Memory-Analysedienst von BigQuery

Klicken Sie auf Tour starten, um die Datenanalysefeatures von BigQuery direkt in der Google Cloud Console kennenzulernen.

Tour ansehen

Datenadministrator

Eine Anleitung für Aufgaben, wenn Sie Folgendes tun müssen:

• Kosten verwalten mit Reservierungen, um On-Demand- und Pauschalpreise auszubalancieren
• Datensicherheit und Governance verstehen, um Daten nach Dataset, Tabelle, Spalte, Zeile oder Ansicht zu schützen
• Daten mit Tabellen-Snapshots sichern, um den Inhalt einer Tabelle zu einem bestimmten Zeitpunkt aufzubewahren
• BigQuery INFORMATION_SCHEMA ansehen, um die Metadaten von Datasets, Jobs, Zugriffssteuerung, Reservierungen, Tabellen und mehr zu verstehen.
• Jobs verwenden, um mit BigQuery Daten zu laden, zu exportieren, abzufragen oder zu kopieren
• Logs und Ressourcen überwachen, um BigQuery und Arbeitslasten zu verstehen

Weitere Informationen finden Sie unter Einführung in die BigQuery-Verwaltung.

Klicken Sie auf Tour starten, um die Features der BigQuery-Datenverwaltung direkt in der Google Cloud Console kennenzulernen.

Tour ansehen

Data Scientist

Eine Anleitung für Aufgaben, wenn Sie das maschinelle Lernen von BigQuery ML für Folgendes verwenden müssen:

• End-to-End-Nutzerpfad für Modelle für maschinelles Lernen verstehen
• Zugriffssteuerung für BigQuery ML verwalten
• BigQuery ML-Modelle erstellen und trainieren, einschließlich:
  • Prognostizieren der linearen Regression
  • Binärer logistischer und mehrklassiger logistischer Regressionsklassifizierungen
  • K-Means-Clustering zur Datensegmentierung
  • Zeitachsenprognosen mit Arima+-Modellen

Datenentwickler

Eine Anleitung für Aufgaben, wenn Sie Folgendes tun müssen:

• Daten in BigQuery laden mit:
  • Im Batch geladenen Daten für die Formate Avro, Parquet, ORC, CSV, JSON, Datastore und Firestore
  • BigQuery Data Transfer Service
  • BigQuery Storage Write API

• Codebeispielbibliothek verwenden, einschließlich Folgendem:

  • Verbindungsbeispiele
  • Reservierungsbeispiel
  • Codebeispiele zur Speicherung

• Google Cloud-Beispielbrowser (für BigQuery)

• Übersicht über APIs und Bibliotheken

• ODBC/JDBC-Integration

BigQuery-Videoanleitungen

Die folgende Reihe von Videoanleitungen bietet einen Einstieg in BigQuery:

Titel	Beschreibung
Erste Schritte mit BigQuery (17:18)	Übersicht über BigQuery und seine Verwendung Das Segment umfasst ETL-Pipelines, Preisgestaltung und Optimierung, BigQuery ML und BI Engine und die Demo mit BigQuery in der Google Cloud Console.
Was ist BigQuery? (4:39)	Übersicht über BigQuery und darüber, wie BigQuery für die Aufnahme und Speicherung großer Datenmengen entwickelt wurde, um Analysten und Entwicklern gleichermaßen zu helfen
BigQuery-Sandbox verwenden (3:05)	BigQuery-Sandbox einrichten, mit der Sie Abfragen ohne Kreditkarte ausführen können
Fragen stellen und Abfragen ausführen (5:11)	SQL-Abfragen in der BigQuery-UI schreiben und ausführen – einschließlich der Auswahl siegreichen Trikotnummer
Daten in BigQuery laden (5:31)	Daten in Echtzeit aufnehmen und analysieren oder einfach eine einmalige Batchanalyse von Daten – plus Katzen und Hunde
Abfrageergebnisse visualisieren (5:38)	Inwiefern Datenvisualisierung nützlich ist, um komplexe Datasets leichter und besser zu verstehen
Zugriff mit IAM verwalten (5:23)	Anderen Nutzern mit IAM-Berechtigungen und Zugriffssteuerung erlauben, Ihre Datasets in BigQuery abzufragen
Abfragen speichern und teilen (6:17)	Abfragen problemlos in BigQuery speichern und freigeben
Vertrauliche Daten mit autorisierten Ansichten schützen (7:12)	Datasets einfach für verschiedene Nutzer freigeben, indem Sie benutzerdefinierte Zugriffssteuerungen festlegen
Externe Daten mit BigQuery abfragen (5:49)	Externe Datenquelle in BigQuery einrichten und Daten aus Cloud Storage, Cloud SQL, Google Drive usw. abfragen
Was sind benutzerdefinierte Funktionen? (4:59)	Benutzerdefinierte Funktionen (UDFs) zum Analysieren von Datasets in BigQuery erstellen

Nächste Schritte

• Eine Übersicht über BigQuery-Speicher finden Sie in der Übersicht über BigQuery-Speicher.
• Eine Übersicht über BigQuery-Abfragen finden Sie unter BigQuery-Analysen.
• Eine Übersicht über die BigQuery-Verwaltung finden Sie unter Einführung in die BigQuery-Verwaltung.
• Eine Übersicht über die BigQuery-Sicherheit finden Sie unter Datensicherheit und Data Governance.