BigLake ist eine Speicher-Engine, die eine einheitliche Schnittstelle für Analyse- und KI-Engines bietet, um Multiformat-, Multi-Cloud- und multimodale Daten auf sichere, regulierte und leistungsstarke Weise abzufragen. Erstellen Sie ein KI-Lakehouse mit nur einer Kopie, um den Verwaltungsaufwand und die Notwendigkeit einer benutzerdefinierten Dateninfrastruktur zu reduzieren.
Kontinuierliche Innovationen einschließlich neuer Studien zur Entwicklung von BigQuery zu einem Multi-Cloud-Lakehouse, die auf der SIGMOD-Veranstaltung 2024 präsentiert werden.
Stellen Sie eine von Google empfohlene Lösung bereit, die Data Lakes und Data Warehouses zum Speichern, Verarbeiten und Analysieren von strukturierten und unstrukturierten Daten vereinheitlicht.
Eine einzelne Kopie von strukturierten und unstrukturierten Daten und Abfragen mit Analysen und KI speichern
Detaillierte Zugriffssteuerung und Multi-Cloud-Governance für verteilte Daten
Vollständig verwaltete Umgebung mit automatischer Datenverwaltung für Ihr Open-Format-Lakehouse
Vorteile
Sie können Analysen für verteilte Daten unabhängig davon erstellen, wo und wie sie gespeichert werden. Außerdem können Sie dabei die besten Analysetools, Open Source oder cloudnativ, für eine einzige Kopie der Daten auswählen.
Detaillierte Zugriffssteuerung über Open-Source-Engines wie Apache Spark, Presto und Trino sowie offene Formate wie Parquet hinweg. Leistungsstarke Abfragen von Data Lakes, die von BigQuery bereitgestellt werden.
Lässt sich in Dataplex einbinden, um die Verwaltung in großem Maßstab zu ermöglichen, einschließlich logischer Datenorganisation, zentralisierter Richtlinien- und Metadatenverwaltung, Qualitäts- und Lebenszyklusverwaltung für Konsistenz über verteilte Daten hinweg.
Wichtige Features
Mit BigLake ist es nicht mehr notwendig, Endnutzern Zugriff auf Dateiebene zu gewähren. Wenden Sie auf Objektspeichertabellen, die vorhandenen BigQuery-Tabellen ähneln, Sicherheitsrichtlinien auf Tabellen-, Zeilen- und Spaltenebene an.
Arbeiten Sie mit einer einzigen Kopie von Daten und machen Sie sie über Google Cloud und Open-Source-Engines, einschließlich BigQuery, Vertex AI, Dataflow, Spark, Presto, Trino und Hive, mithilfe von BigLake-Connectors einheitlich zugänglich. Sie können Sicherheitsrichtlinien zentral an einem Ort verwalten und sie über die in die Connectors eingebundene API-Schnittstelle konsistent für Abfrage-Engines erzwingen.
Lernen Sie alle BigLake-Tabellen kennen, einschließlich der in Data Catalog über Amazon S3 und Azure Data Lake Gen 2 definierten Tabellen. Konfigurieren Sie eine differenzierte Zugriffssteuerung und erzwingen Sie sie über Clouds hinweg bei Abfragen mit BigQuery Omni.
Objekttabellen ermöglichen die Verwendung multimodaler Daten für regulierte KI-Arbeitslasten. Mit BigQuery SQL und den Einbindungen von Vertex AI lassen sich ganz einfach KI-Anwendungsfälle erstellen.
Unterstützt offene Tabellen und Dateiformate wie Parquet, Avro, ORC, CSV und JSON. Die API arbeitet für mehrere Computing Engines über Apache Arrow. Das Tabellenformat unterstützt über ein Manifest nativ Apache Iceberg, Delta und Hudi.
Das ist neu
Dokumentation
Anleitung zum Abfragen von Daten, die in einer BigLake-Tabelle in Cloud Storage gespeichert sind.
Preise
Die Preise für BigLake basieren auf dem Abfragen von BigLake-Tabellen und umfassen Folgendes:
1. BigQuery-Preise gelten für Abfragen von BigLake-Tabellen, die in Google Cloud Storage definiert sind.
2. BigQuery Omni-Preise gelten für Abfragen von BigLake-Tabellen, die in Amazon S3 und dem Azure Data Lake Gen 2 definiert sind.
3. Abfragen durch Open-Source-Engines, die BigLake-Connectors verwenden: BigLake-Connectors verwenden die BigQuery Storage API und die entsprechenden Preise gelten – abgerechnet anhand gelesener Byte und ausgehendem Traffic.
4. Es fallen zusätzliche Kosten für die Abfragebeschleunigung durch Metadaten-Caching, Objekttabellen und BigLake Metastore an.
Beispiel: * Das erste Terabyte (1 TB) Daten, das pro Monat mit BigQuery verarbeitet wird, ist kostenlos.
Profitieren Sie von einem Guthaben über 300 $, um Google Cloud und mehr als 20 „Immer kostenlos“-Produkte kennenzulernen.