Lakehouse for Apache Iceberg (ehemals BigLake)
Grenzenloses Lakehouse für das Zeitalter der agentischen KI
Speicher, Governance und Leistung für Unternehmen, um skalierbare analytische, operative und Echtzeit-KI-Anwendungsfälle in einem einheitlichen, grenzenlosen und multimodalen offenen Lakehouse zu erstellen.
Features
Vollständig verwaltetes Iceberg mit Lese-/Schreib-Interoperabilität
Apache Iceberg-Tabellen, die mit dem Lakehouse Iceberg REST-Katalog verwaltet werden, bieten Lese- und Schreibinteroperabilität zwischen BigQuery und Google Cloud Managed Service for Apache Spark sowie Iceberg-kompatiblen OSS-Engines wie Spark, Trino und Flink. Diese Interoperabilität ermöglicht es Ihnen, Data Engineering, erweiterte Analysen und KI direkt auf einer gemeinsam genutzten Gruppe von Iceberg-Tabellen durchzuführen.
Google AI mit Ihren Iceberg-Daten über Grenzen hinweg verbunden
Nutzen Sie Cross-Cloud Interconnect und Caching, um schnellen Zugriff mit niedriger Latenz auf S3 Iceberg-Daten zu erhalten. Führen Sie BigQuery, Spark und Gemini Enterprise über Conversational Analytics API-Jobs für AWS-Daten mit Preis-Leistungs-Merkmalen aus, die mit nativen Datenplattformlösungen vergleichbar sind. Außerdem können Sie über die neue Föderation des Lakehouse-Laufzeitkatalogs Ihr Ökosystem nahtlos zusammenführen, sodass BigQuery und Google Managed Spark Unternehmensdaten in AWS Glue, Databricks Unity Catalog und Snowflake Horizon Catalog erkennen und analysieren können. Ihre Daten werden für Google Cloud-Nutzer und -Engines lokal angezeigt, sobald Sie die Kataloge föderieren.
Steigerung des Preis-Leistungs-Verhältnisses für Iceberg
Die erweiterte vektorisierte Ausführung von BigQuery ist jetzt standardmäßig für Lakehouse Iceberg REST Catalog-Tabellen sowie für Iceberg- und Parquet-Tabellen im BigQuery-Katalog verfügbar. Sie können routinemäßige Iceberg-Wartungsaufgaben wie Komprimierung, Clustering und automatische Speicherbereinigung direkt an Google Lakehouse auslagern. Neue automatisierte Funktionen – darunter Tabellenverwaltung, Partitionierung, Clustering und verlaufsbasierte Optimierung – beschleunigen das Preis-Leistungs-Verhältnis ohne manuellen Aufwand.
Differenzierte BigQuery- und Spark-Lösungen zum Erstellen von KI-Agenten
Mit Iceberg und BigQuery-Streaming können Sie Echtzeit-Insights für die Aufnahme mit hohem Durchsatz und ohne Leselatenz nutzen. Erstellen Sie komplexe Verarbeitungspipelines mit Transaktionen mit mehreren Anweisungen und BigQuery-Änderungsdatenreplikation in Iceberg-Tabellen. Schalten Sie multimodale, Vektor- und Graphanalysen frei, indem Sie strukturierte und unstrukturierte Daten mit BigQueryObjectRefs vereinen. Mit der Lightning Engine können Sie Spark-Data-Science-Arbeitslasten um das bis zu 4,9‑Fache beschleunigen. Erstellen Sie Konversations-Agent mit Ihren Iceberg-Daten direkt in BigQuery.
Kontext und Governance für KI-Agenten in Echtzeit
KI-Agenten mit Transaktionsdaten in Echtzeit unterstützen. Streamen Sie Betriebsdaten aus Spanner, AlloyDB und Cloud SQL in BigQuery und verwaltete Iceberg-Tabellen, um sie sofort zu analysieren. Übertragen Sie diese Analyseergebnisse direkt zurück in AlloyDB oder Spanner, um sie mit einer Latenz von weniger als einer Millisekunde und einer hohen QPS bereitzustellen. Durch die Integration von Knowledge Catalog (ehemals Dataplex) erhalten Sie eine einheitliche Governance mit Data Lineage, Profilerstellung, Datenqualität und auf Gemini basierenden Statistiken. So wird ein vertrauenswürdiger Kontext für Ihren Agent bereitgestellt. Ordnen Sie transaktionale, unstrukturierte und Iceberg-Daten Ihrer Geschäftslogik zu, damit Ihre Agenten den nötigen Kontext erhalten, um genaue, zuverlässige und vollständig kontrollierte Ergebnisse zu liefern. Sie können sofort einsatzbereite Daten-Cloud-Agents verwenden oder Workflows direkt über Ihre eigenen IDEs mit dem Data Agent Kit optimieren.
Funktionsweise
Der Lakehouse-Laufzeitkatalog fungiert als zentraler Hub für Ihre Iceberg-Tabellen. Er bietet universellen Lese-/Schreibzugriff auf BigQuery, Managed Spark, OSS-Engines und Partner und verbindet Ihre Daten mit beliebigen Engines, um KI zu beschleunigen. Er stellt eine Verbindung zu Knowledge Catalog her und bietet Kontext für Ihre Agenten.
Der Lakehouse-Laufzeitkatalog fungiert als zentraler Hub für Ihre Iceberg-Tabellen. Er bietet universellen Lese-/Schreibzugriff auf BigQuery, Managed Spark, OSS-Engines und Partner und verbindet Ihre Daten mit beliebigen Engines, um KI zu beschleunigen. Er stellt eine Verbindung zu Knowledge Catalog her und bietet Kontext für Ihre Agenten.
Lakehouse-Grundlage und -Modernisierung
Auf eine offene, einheitliche Lakehouse-Architektur umstellen
Auf eine offene, einheitliche Lakehouse-Architektur umstellen
Modernisieren Sie Ihre Datengrundlage mit einem grenzenlosen Lakehouse. Migrieren Sie Legacy-Hadoop zu serverlosem Cloud Storage und vereinheitlichen Sie cloudübergreifende Daten, indem Sie Iceberg und Delta Lake direkt in BigQuery abfragen. Der Lakehouse-Laufzeitkatalog beseitigt Silos und bietet eine interoperable Laufzeit für Spark, Trino und Flink. Dank der Unterstützung des Hive-Katalogs können Sie Hadoop-Arbeitslasten ganz einfach auf Iceberg modernisieren.
Tutorials, Kurzanleitungen und Labs
Auf eine offene, einheitliche Lakehouse-Architektur umstellen
Auf eine offene, einheitliche Lakehouse-Architektur umstellen
Modernisieren Sie Ihre Datengrundlage mit einem grenzenlosen Lakehouse. Migrieren Sie Legacy-Hadoop zu serverlosem Cloud Storage und vereinheitlichen Sie cloudübergreifende Daten, indem Sie Iceberg und Delta Lake direkt in BigQuery abfragen. Der Lakehouse-Laufzeitkatalog beseitigt Silos und bietet eine interoperable Laufzeit für Spark, Trino und Flink. Dank der Unterstützung des Hive-Katalogs können Sie Hadoop-Arbeitslasten ganz einfach auf Iceberg modernisieren.
Interoperabilität mehrerer Engines
Nahtlose Lese-/Schreibfreigabe zwischen BigQuery und OSS-Engines
Nahtlose Lese-/Schreibfreigabe zwischen BigQuery und OSS-Engines
Sie können Ihre vorhandenen Iceberg-Pipelines verwenden und mit BigQuery oder verwaltetem Spark nahtlos Daten in diese Tabellen lesen oder schreiben. Gleichzeitig können Sie Ihre Pipelines mit den erweiterten BigQuery-Funktionen ganz einfach modernisieren. Sie können Spark-ETL und BigQuery AI für exakt dieselben Iceberg-Tabellen ausführen, ohne Daten verschieben zu müssen. Sie können konversationelle Analyse-Agents in BigQuery erstellen, die mit Ihren Daten in S3 arbeiten.
Tutorials, Kurzanleitungen und Labs
Nahtlose Lese-/Schreibfreigabe zwischen BigQuery und OSS-Engines
Nahtlose Lese-/Schreibfreigabe zwischen BigQuery und OSS-Engines
Sie können Ihre vorhandenen Iceberg-Pipelines verwenden und mit BigQuery oder verwaltetem Spark nahtlos Daten in diese Tabellen lesen oder schreiben. Gleichzeitig können Sie Ihre Pipelines mit den erweiterten BigQuery-Funktionen ganz einfach modernisieren. Sie können Spark-ETL und BigQuery AI für exakt dieselben Iceberg-Tabellen ausführen, ohne Daten verschieben zu müssen. Sie können konversationelle Analyse-Agents in BigQuery erstellen, die mit Ihren Daten in S3 arbeiten.
Iceberg-Daten in KI-Workflows einbinden
Multimodale Datenanalyse und beschleunigte KI-Workflows
Multimodale Datenanalyse und beschleunigte KI-Workflows
Mit BigQuery AI können Sie multimodale Analysen durchführen, indem Sie strukturierte Iceberg-Tabellen mit unstrukturierten Daten kombinieren und BigQuery ObjectRefs für Single-SQL-Inferenz verwenden. Sie können Modelle der Gemini Enterprise Agent Platform trainieren und Data Drift mit Zeitreisen debuggen. Sie können globale REST-Kataloge in einem einheitlichen Data Mesh zusammenführen, Logs in großem Umfang kostengünstig analysieren und Modelle direkt in integrierten Notebooks erstellen, um Ihre KI-Workflows zu beschleunigen.
Tutorials, Kurzanleitungen und Labs
Multimodale Datenanalyse und beschleunigte KI-Workflows
Multimodale Datenanalyse und beschleunigte KI-Workflows
Mit BigQuery AI können Sie multimodale Analysen durchführen, indem Sie strukturierte Iceberg-Tabellen mit unstrukturierten Daten kombinieren und BigQuery ObjectRefs für Single-SQL-Inferenz verwenden. Sie können Modelle der Gemini Enterprise Agent Platform trainieren und Data Drift mit Zeitreisen debuggen. Sie können globale REST-Kataloge in einem einheitlichen Data Mesh zusammenführen, Logs in großem Umfang kostengünstig analysieren und Modelle direkt in integrierten Notebooks erstellen, um Ihre KI-Workflows zu beschleunigen.
Erstklassige Spark-Erfahrung
Data-Science-Workloads in Entwicklungsumgebungen optimieren
Data-Science-Workloads in Entwicklungsumgebungen optimieren
Reibungslose Spark-Nutzung. Führen Sie SQL, Spark und Python auf einer einzigen Kopie von Iceberg-Daten mit einheitlichen IDEs aus. Die neue Antigravity VS Code-Erweiterung fungiert als KI-Partner, um Pipelines zu generieren, Code zu debuggen und CI/CD aus natürlicher Sprache zu automatisieren. Außerdem beschleunigt unsere vektorisierte Lightning Engine die Spark-Ausführung um das bis zu 4,9‑Fache – ohne Codeänderungen.
Tutorials, Kurzanleitungen und Labs
Data-Science-Workloads in Entwicklungsumgebungen optimieren
Data-Science-Workloads in Entwicklungsumgebungen optimieren
Reibungslose Spark-Nutzung. Führen Sie SQL, Spark und Python auf einer einzigen Kopie von Iceberg-Daten mit einheitlichen IDEs aus. Die neue Antigravity VS Code-Erweiterung fungiert als KI-Partner, um Pipelines zu generieren, Code zu debuggen und CI/CD aus natürlicher Sprache zu automatisieren. Außerdem beschleunigt unsere vektorisierte Lightning Engine die Spark-Ausführung um das bis zu 4,9‑Fache – ohne Codeänderungen.
Hochleistungsanalysen mit BigQuery
Leistungsoptimierung mit BigQuery
Leistungsoptimierung mit BigQuery
Nutzen Sie die Skalierbarkeit von BigQuery und profitieren Sie gleichzeitig von flexiblem Speicher. Führen Sie Transaktionen mit mehreren Anweisungen in BigQuery aus, um mehrere Iceberg-Tabellen als eine einzige atomare Einheit zu aktualisieren und so eine Konsistenz auf Finanzebene zu gewährleisten. Nutzen Sie die erweiterte Laufzeit und die Partitionierungsunterstützung von BigQuery für Iceberg, um partitionierte/geclusterte Tabellen zu erstellen, die Block Pruning für eine schnelle und kosteneffiziente Abfrageausführung nutzen.
Tutorials, Kurzanleitungen und Labs
Leistungsoptimierung mit BigQuery
Leistungsoptimierung mit BigQuery
Nutzen Sie die Skalierbarkeit von BigQuery und profitieren Sie gleichzeitig von flexiblem Speicher. Führen Sie Transaktionen mit mehreren Anweisungen in BigQuery aus, um mehrere Iceberg-Tabellen als eine einzige atomare Einheit zu aktualisieren und so eine Konsistenz auf Finanzebene zu gewährleisten. Nutzen Sie die erweiterte Laufzeit und die Partitionierungsunterstützung von BigQuery für Iceberg, um partitionierte/geclusterte Tabellen zu erstellen, die Block Pruning für eine schnelle und kosteneffiziente Abfrageausführung nutzen.
Echtzeitinformationen
Transaktions- und Analysedaten vereinheitlichen
Transaktions- und Analysedaten vereinheitlichen
Replizieren Sie Daten, die nur angehängt werden können, aus Spanner, AlloyDB oder anderen Datenquellen direkt in Lakehouse für Apache Iceberg-Tabellen mit Datastream, um Echtzeitinformationen für Ihre wichtigsten operativen Arbeitslasten bereitzustellen.
Tutorials, Kurzanleitungen und Labs
Transaktions- und Analysedaten vereinheitlichen
Transaktions- und Analysedaten vereinheitlichen
Replizieren Sie Daten, die nur angehängt werden können, aus Spanner, AlloyDB oder anderen Datenquellen direkt in Lakehouse für Apache Iceberg-Tabellen mit Datastream, um Echtzeitinformationen für Ihre wichtigsten operativen Arbeitslasten bereitzustellen.
End-to-End-Lakehouse-Governance
Lakehouse mit Knowledge Catalog verwalten
Lakehouse mit Knowledge Catalog verwalten
Knowledge Catalog bietet eine einheitliche Governance-Ebene, indem Iceberg-Tabellen in Cloud Storage automatisch erkannt und ihre Metadaten direkt im Lakehouse-Laufzeitkatalog registriert werden. Diese Integration ermöglicht es Ihnen, zentralisierte Sicherheitsrichtlinien zu definieren, die eine konsistente Zugriffssteuerung auf Zeilen- und Spaltenebene sowohl in BigQuery als auch in Open-Source-Verarbeitungs-Engines gewährleisten.
Tutorials, Kurzanleitungen und Labs
Lakehouse mit Knowledge Catalog verwalten
Lakehouse mit Knowledge Catalog verwalten
Knowledge Catalog bietet eine einheitliche Governance-Ebene, indem Iceberg-Tabellen in Cloud Storage automatisch erkannt und ihre Metadaten direkt im Lakehouse-Laufzeitkatalog registriert werden. Diese Integration ermöglicht es Ihnen, zentralisierte Sicherheitsrichtlinien zu definieren, die eine konsistente Zugriffssteuerung auf Zeilen- und Spaltenebene sowohl in BigQuery als auch in Open-Source-Verarbeitungs-Engines gewährleisten.
Preise
| Preise für Lakehouse (BigLake) | Die Preise für Lakehouse (BigLake) basieren auf der Tabellenverwaltung, dem Metadatenspeicher und dem Metadatenzugriff. | |
|---|---|---|
| Dienste und Nutzung | Beschreibung | Preis (in $) |
Lakehouse-Tabellenverwaltung (ehemals BigLake) | Rechenressourcen der Lakehouse-Tabellenverwaltung, die für die automatische Optimierung des Tabellenspeichers verwendet werden, einschließlich adaptiver Dateigrößenanpassung, automatischem Clustering, automatischer Speicherbereinigung und BigQuery-Metadatengenerierung (CMETA). | Ab 0,12 $ pro DCU-Stunde |
Lakehouse-Metadatenspeicher (BigLake) | Der Lakehouse-Laufzeitkatalog (früher BigLake Metastore) stellt die gespeicherten Metadaten in Rechnung. Das kostenlose Kontingent umfasst 1 GiB Metadatenspeicher pro Monat. | Kostenlos 1 GiB Metadatenspeicher pro Monat |
Für den Lakehouse-Laufzeitkatalog (früher BigLake Metastore) werden die gespeicherten Metadaten in Rechnung gestellt, die über das kostenlose Kontingent von 1 GiB Metadatenspeicher pro Monat hinausgehen. | Ab 0,04 $ pro GiB und Monat | |
Lakehouse-Metadatenzugriff (BigLake) | Vorgänge der Klasse A: Gebühren für den Zugriff auf Lakehouse-Metadaten für Schreib-, Aktualisierungs-, Listen-, Erstellungs- und Konfigurationsvorgänge mit einem kostenlosen Kontingent von 5.000 Vorgängen pro Monat. Spezifische Vorgänge:
Wenn die Metadatendatei größer als 1 MB ist
| Ab 6,00 $ pro 1 Million Vorgänge über 5.001 Vorgänge pro Monat und Konto |
Vorgänge der Klasse B: Für den Zugriff auf Lakehouse-Metadaten (BigLake) werden Gebühren für Lese-, Abruf- und Löschvorgänge erhoben. Dabei sind 50.000 Vorgänge pro Monat kostenlos. Spezifische Vorgänge:
Wenn die Metadatendatei größer als 1 MB ist
| Ab 0,90 $ pro 1 Million Vorgänge über 50.001 | |
Lakehouse-Katalogföderation: Metadaten aktualisieren | Metadatenaktualisierungsvorgänge zum Aktualisieren von Metadaten aus dem externen Katalog (z. B. Databricks Unity Catalog) mit einem kostenlosen Kontingent von 0 bis 5.001 Vorgängen pro Monat und Konto. Wenn die Metadatendatei größer als 1 MB ist
| Ab 6,00 $ pro 1 Million Vorgänge über 5.001 Vorgänge pro Monat und Konto |
Preise für Lakehouse (BigLake)
Die Preise für Lakehouse (BigLake) basieren auf der Tabellenverwaltung, dem Metadatenspeicher und dem Metadatenzugriff.
Lakehouse-Tabellenverwaltung (ehemals BigLake)
Rechenressourcen der Lakehouse-Tabellenverwaltung, die für die automatische Optimierung des Tabellenspeichers verwendet werden, einschließlich adaptiver Dateigrößenanpassung, automatischem Clustering, automatischer Speicherbereinigung und BigQuery-Metadatengenerierung (CMETA).
Starting at
0,12 $
pro DCU-Stunde
Lakehouse-Metadatenspeicher (BigLake)
Der Lakehouse-Laufzeitkatalog (früher BigLake Metastore) stellt die gespeicherten Metadaten in Rechnung. Das kostenlose Kontingent umfasst 1 GiB Metadatenspeicher pro Monat.
Kostenlos
1 GiB Metadatenspeicher pro Monat
Für den Lakehouse-Laufzeitkatalog (früher BigLake Metastore) werden die gespeicherten Metadaten in Rechnung gestellt, die über das kostenlose Kontingent von 1 GiB Metadatenspeicher pro Monat hinausgehen.
Starting at
0,04 $
pro GiB und Monat
Lakehouse-Metadatenzugriff (BigLake)
Vorgänge der Klasse A: Gebühren für den Zugriff auf Lakehouse-Metadaten für Schreib-, Aktualisierungs-, Listen-, Erstellungs- und Konfigurationsvorgänge mit einem kostenlosen Kontingent von 5.000 Vorgängen pro Monat.
Spezifische Vorgänge:
- Eintragen
- Registrieren
- Liste
- Aktualisieren (einschließlich Löschen von Zeilen aus einer Tabelle)
- setIamPolicy
Wenn die Metadatendatei größer als 1 MB ist
- Jedes zusätzliche MB wird als 1 Vorgang behandelt.
- 1 MB = 1 Operation, 2 MB = 2 Operationen, 5 MB = 5 Operationen
Starting at
6,00 $
pro 1 Million Vorgänge über 5.001 Vorgänge pro Monat und Konto
Vorgänge der Klasse B: Für den Zugriff auf Lakehouse-Metadaten (BigLake) werden Gebühren für Lese-, Abruf- und Löschvorgänge erhoben. Dabei sind 50.000 Vorgänge pro Monat kostenlos.
Spezifische Vorgänge:
- Lesen
- Löschen
- getIamPolicy
Wenn die Metadatendatei größer als 1 MB ist
- Jedes zusätzliche MB wird als 1 Vorgang behandelt.
- 1 MB = 1 Operation, 2 MB = 2 Operationen, 5 MB = 5 Operationen
Starting at
0,90 $
pro 1 Million Vorgänge über 50.001
Lakehouse-Katalogföderation: Metadaten aktualisieren
Metadatenaktualisierungsvorgänge zum Aktualisieren von Metadaten aus dem externen Katalog (z. B. Databricks Unity Catalog) mit einem kostenlosen Kontingent von 0 bis 5.001 Vorgängen pro Monat und Konto.
Wenn die Metadatendatei größer als 1 MB ist
- Jedes zusätzliche MB wird als 1 Vorgang behandelt.
- 1 MB = 1 Op, 2 MB = 2 Ops, 5 MB = 5 Ops
Starting at
6,00 $
pro 1 Million Vorgänge über 5.001 Vorgänge pro Monat und Konto
