BigLake
Apache Iceberg-Lakehouse mit BigLake erstellen
Erstellen Sie ein offenes, verwaltetes und leistungsstarkes Iceberg-Lakehouse für erweiterte Analysen und Data Science mit automatisierter Datenverwaltung und integrierter Governance.
Features
Interoperabilität für Transaktions- und Analysedaten
BigLake Metastore ist ein serverloser Metastore für alle Ihre Iceberg-Tabellen. Engines wie Apache Spark, BigQuery und Drittanbieterplattformen können damit Tabellen erstellen und verwalten. So erhalten Sie eine einheitliche Ansicht Ihrer Daten und einheitliche Zugriffssteuerungen. BigLake Metastore unterstützt jetzt den Apache Iceberg Rest Catalog für eine einfache Einbindung in OSS- und Drittanbieter-Engines. Iceberg-Tabellen sind auch in AlloyDB (Preview) zugänglich, um die Interoperabilität zwischen transaktionalen und analytischen Plattformen zu verbessern.
Einheitliches Datenmanagement und Governance
BigLake erweitert die Verwaltungsfunktionen von Google Cloud Storage. Sie können die automatische Speicherklasse für eine effiziente Abstufung von kalten Daten verwenden und kundenverwaltete Verschlüsselungsschlüssel (CMEK) auf Ihre Speicher-Buckets anwenden. BigLake Metastore ist nativ in Dataplex Universal Catalog eingebunden. So lassen sich zentral definierte Governance-Richtlinien konsistent in mehreren Engines durchsetzen. Gleichzeitig werden semantische Suche, Datenherkunft, Profilerstellung und Qualitätsprüfungen ermöglicht.
Hochleistungsanalysen, Streaming und KI mit BigQuery
BigLake-Tabellen für Apache Iceberg bieten eine unternehmensfertige, vollständig verwaltete Iceberg-Umgebung, wenn sie mit BigQuery verwendet werden. Wenn Sie Apache Iceberg-Daten in Ihren eigenen Google Cloud Storage-Buckets speichern und die hochgradig skalierbaren Echtzeit-Funktionen von BigQuery zur Metadatenverwaltung nutzen, profitieren Sie von den Vorteilen beider Lösungen: der Offenheit und Datenhoheit von GCS sowie dem Zugriff auf die vollständig verwalteten Funktionen von BigQuery mit Iceberg-Daten für Streaming, erweiterte Analysen und KI-Anwendungsfälle.
Funktionsweise
BigLake bietet eine native Implementierung für Apache Iceberg in Cloud Storage, wo Sie BigQuery oder Open-Source-Engines Ihrer Wahl direkt für Iceberg-Daten nutzen können. BigLake Metastore vereinfacht die Datenverwaltung und ist in Dataplex Universal Catalog für eine einheitliche Governance eingebunden.
BigLake bietet eine native Implementierung für Apache Iceberg in Cloud Storage, wo Sie BigQuery oder Open-Source-Engines Ihrer Wahl direkt für Iceberg-Daten nutzen können. BigLake Metastore vereinfacht die Datenverwaltung und ist in Dataplex Universal Catalog für eine einheitliche Governance eingebunden.
Gängige Einsatzmöglichkeiten
Offenes Lakehouse mit Iceberg erstellen
Google Cloud-Komponenten eines offenen Data Lakehouse
Google Cloud-Komponenten eines offenen Data Lakehouse
Wenn Sie mit BigLake ein Iceberg Lakehouse erstellen möchten, speichern Sie zuerst Ihre Daten in Cloud Storage. Definieren Sie diese Daten dann mit BigLake-Tabellen für Apache Iceberg. Der BigLake Metastore dient als zentralisierter, serverloser Katalog für diese Iceberg-Tabellen, sodass Sie keine komplexe Infrastruktur verwalten müssen. So kann jede Iceberg-kompatible Engine konsistent auf Ihre Daten zugreifen und sie verwalten. Dadurch lässt sich ganz einfach eine einheitliche, offene und skalierbare Lakehouse-Umgebung schaffen.
Tutorials, Kurzanleitungen und Labs
Google Cloud-Komponenten eines offenen Data Lakehouse
Google Cloud-Komponenten eines offenen Data Lakehouse
Wenn Sie mit BigLake ein Iceberg Lakehouse erstellen möchten, speichern Sie zuerst Ihre Daten in Cloud Storage. Definieren Sie diese Daten dann mit BigLake-Tabellen für Apache Iceberg. Der BigLake Metastore dient als zentralisierter, serverloser Katalog für diese Iceberg-Tabellen, sodass Sie keine komplexe Infrastruktur verwalten müssen. So kann jede Iceberg-kompatible Engine konsistent auf Ihre Daten zugreifen und sie verwalten. Dadurch lässt sich ganz einfach eine einheitliche, offene und skalierbare Lakehouse-Umgebung schaffen.
Erweiterte Analysen mit BigQuery
Echtzeit-Einblicke und -Vorhersagen für Finanzdienstleistungen bereitstellen
Echtzeit-Einblicke und -Vorhersagen für Finanzdienstleistungen bereitstellen
Sie können Apache Iceberg für sich entwickelnde Data-Lake-Datasets wie Transaktionen oder Marktfeeds verwenden. BigLake ermöglicht es BigQuery, Iceberg-Tabellen neben dem nativen Speicher abzufragen, ohne dass Daten verschoben werden müssen. Sie können Echtzeit-Streams in BigQuery aufnehmen und mit historischen Iceberg-Daten über BigLake kombinieren, um sofort umfassende Analysen durchzuführen. BigQuery ML generiert dann Echtzeit-Insights wie Marktvolatilität und Betrugserkennung sowie Vorhersagemodelle wie Kreditrisiko und Kundenverhalten.
Tutorials, Kurzanleitungen und Labs
Echtzeit-Einblicke und -Vorhersagen für Finanzdienstleistungen bereitstellen
Echtzeit-Einblicke und -Vorhersagen für Finanzdienstleistungen bereitstellen
Sie können Apache Iceberg für sich entwickelnde Data-Lake-Datasets wie Transaktionen oder Marktfeeds verwenden. BigLake ermöglicht es BigQuery, Iceberg-Tabellen neben dem nativen Speicher abzufragen, ohne dass Daten verschoben werden müssen. Sie können Echtzeit-Streams in BigQuery aufnehmen und mit historischen Iceberg-Daten über BigLake kombinieren, um sofort umfassende Analysen durchzuführen. BigQuery ML generiert dann Echtzeit-Insights wie Marktvolatilität und Betrugserkennung sowie Vorhersagemodelle wie Kreditrisiko und Kundenverhalten.
Alle Datennutzer können auf eine einzige Datenkopie zugreifen.
BigLake bietet sicheren, konsistenten Zugriff auf eine einzelne Kopie von Daten in Cloud Storage. Dataplex Universal Catalog katalogisiert diese Daten dann automatisch, sodass alle Datennutzer und Engines darauf zugreifen können. So werden einheitliche Datendefinitionen, eine einfache Suche und eine einheitliche Verwaltung gewährleistet. Silos werden abgebaut und die Zusammenarbeit an einer Single Source of Truth gefördert.
Tutorials, Kurzanleitungen und Labs
BigLake bietet sicheren, konsistenten Zugriff auf eine einzelne Kopie von Daten in Cloud Storage. Dataplex Universal Catalog katalogisiert diese Daten dann automatisch, sodass alle Datennutzer und Engines darauf zugreifen können. So werden einheitliche Datendefinitionen, eine einfache Suche und eine einheitliche Verwaltung gewährleistet. Silos werden abgebaut und die Zusammenarbeit an einer Single Source of Truth gefördert.
Preise
| BigLake-Preise | Die Preise für BigLake basieren auf der Tabellenverwaltung, dem Metadatenspeicher und dem Metadatenzugriff. | |
|---|---|---|
| Dienste und Nutzung | Beschreibung | Preis (in $) |
Verwaltung von BigLake-Tabellen | Rechenressourcen der BigLake-Tabellenverwaltung, die für die automatische Optimierung des Tabellenspeichers verwendet werden. | Ab 0,12 $ pro DCU-Stunde |
BigLake-Metadatenspeicher | BigLake Metastore stellt die gespeicherten Metadaten in Rechnung. Das kostenlose Kontingent umfasst 1 GiB Metadatenspeicher pro Monat. | Ab 0,04 $ pro GiB und Monat |
BigLake-Metadatenzugriff | Vorgänge der Klasse A: Gebühren für den Zugriff auf BigLake-Metadaten für Schreib-, Aktualisierungs-, Listen-, Erstellungs- und Konfigurationsvorgänge. Ein kostenloses Kontingent von 5.000 Vorgängen pro Monat ist enthalten. | Ab 6,00 $ pro 1 Million Operations |
Vorgänge der Klasse B: Gebühren für den Zugriff auf BigLake-Metadaten für Lese-, Abruf- und Löschvorgänge. Ein kostenloses Kontingent von 50.000 Vorgängen pro Monat ist enthalten. | Ab 0,90 $ pro 1 Million Operations | |
BigLake-Preise
Die Preise für BigLake basieren auf der Tabellenverwaltung, dem Metadatenspeicher und dem Metadatenzugriff.
Verwaltung von BigLake-Tabellen
Rechenressourcen der BigLake-Tabellenverwaltung, die für die automatische Optimierung des Tabellenspeichers verwendet werden.
Starting at
0,12 $
pro DCU-Stunde
BigLake-Metadatenspeicher
BigLake Metastore stellt die gespeicherten Metadaten in Rechnung. Das kostenlose Kontingent umfasst 1 GiB Metadatenspeicher pro Monat.
Starting at
0,04 $
pro GiB und Monat
BigLake-Metadatenzugriff
Vorgänge der Klasse A: Gebühren für den Zugriff auf BigLake-Metadaten für Schreib-, Aktualisierungs-, Listen-, Erstellungs- und Konfigurationsvorgänge. Ein kostenloses Kontingent von 5.000 Vorgängen pro Monat ist enthalten.
Starting at
6,00 $
pro 1 Million Operations
Vorgänge der Klasse B: Gebühren für den Zugriff auf BigLake-Metadaten für Lese-, Abruf- und Löschvorgänge. Ein kostenloses Kontingent von 50.000 Vorgängen pro Monat ist enthalten.
Starting at
0,90 $
pro 1 Million Operations
