Lakehouse for Apache Iceberg (ehemals BigLake)

Modernisieren Sie Ihre Datenbasis mit dem Lakehouse von Google. Migrieren Sie Legacy-Hadoop zu serverlosem Cloud Storage und vereinheitlichen Sie cloudübergreifende Daten, indem Sie Iceberg und Delta Lake direkt in BigQuery abfragen. Der Lakehouse Iceberg REST-Katalog beseitigt Silos und bietet eine interoperable Laufzeit für Spark, Trino und Flink. Mit der Unterstützung für Hive-Kataloge können Sie Hadoop-Arbeitslasten einfach auf Iceberg modernisieren.

Sie können Ihre vorhandenen Iceberg-Pipelines verwenden und mit BigQuery oder verwaltetem Spark nahtlos Daten in diese Tabellen lesen oder schreiben. Gleichzeitig können Sie Ihre Pipelines mit den erweiterten BigQuery-Funktionen ganz einfach modernisieren. Sie können Spark-ETL und BigQuery AI für exakt dieselben Iceberg-Tabellen ausführen, ohne Daten verschieben zu müssen. Sie können konversationelle Analyse-Agents in BigQuery erstellen, die mit Ihren Daten in S3 arbeiten.

Mit BigQuery AI können Sie multimodale Analysen durchführen, indem Sie strukturierte Iceberg-Tabellen mit unstrukturierten Daten kombinieren und BigQuery ObjectRefs für Single-SQL-Inferenz verwenden. Sie können Modelle der Gemini Enterprise Agent Platform trainieren und Data Drift mit Zeitreisen debuggen. Sie können globale REST-Kataloge in einem einheitlichen Data Mesh zusammenführen, Logs in großem Umfang kostengünstig analysieren und Modelle direkt in integrierten Notebooks erstellen, um Ihre KI-Workflows zu beschleunigen.

Reibungslose Spark-Nutzung. Führen Sie SQL, Spark und Python mit einheitlichen IDEs für eine einzige Kopie von Iceberg-Daten aus. Die neue Antigravity VS Code-Erweiterung fungiert als KI-Partner, um Pipelines zu generieren, Code zu debuggen und CI/CD aus natürlicher Sprache zu automatisieren. Außerdem beschleunigt unsere vektorisierte Lightning Engine die Spark-Ausführung um das bis zu 4,5‑Fache – ohne dass Codeänderungen erforderlich sind.

Nutzen Sie die Skalierbarkeit von BigQuery und profitieren Sie gleichzeitig von flexiblem Speicher. Führen Sie Transaktionen mit mehreren Anweisungen in BigQuery aus, um mehrere Iceberg-Tabellen als eine einzige atomare Einheit zu aktualisieren und so eine Konsistenz auf Finanzebene zu gewährleisten. Nutzen Sie die erweiterte Laufzeit und die Partitionierungsunterstützung von BigQuery für Iceberg, um partitionierte/geclusterte Tabellen zu erstellen, die Block Pruning für eine schnelle und kosteneffiziente Abfrageausführung nutzen.

Vereinheitlichen Sie Ihre Transaktions- und Analysedaten, um ereignisgesteuerte KI-Agenten zu entwickeln. Automatisieren Sie die kontinuierliche CDC-Replikation von Spanner und AlloyDB direkt in Lakehouse Iceberg-Tabellen. Verwenden Sie dann kontinuierliche SQL-Abfragen, um diese Streamingdaten zu überwachen, sofort KI-Inferenz auszuführen und nachgeschaltete Aktionen auszulösen. So erhalten Sie Echtzeitinformationen für Ihre wichtigsten operativen Arbeitslasten.

Knowledge Catalog bietet eine einheitliche Governance-Ebene, indem Iceberg-Tabellen in Cloud Storage automatisch erkannt und ihre Metadaten direkt im Lakehouse-Laufzeitkatalog registriert werden. Diese Integration ermöglicht es Ihnen, zentralisierte Sicherheitsrichtlinien zu definieren, die eine konsistente Zugriffssteuerung auf Zeilen- und Spaltenebene sowohl in BigQuery als auch in Open-Source-Verarbeitungs-Engines gewährleisten.