Ein offenes, verwaltetes und intelligentes Data Lakehouse in Google Cloud erstellen
Vereinheitlichen und verwalten Sie Ihre multimodalen Daten mit einem leistungsstarken Data Lakehouse, das in die branchenführende KI von Google eingebunden ist. Nutzen Sie Apache Iceberg und das branchenweit erste serverlose Spark mit Autoscaling, um Datenverarbeitung, Analysen und KI-Initiativen zu vereinfachen.
Neue Entwicklungen in Sachen offene Datenformate, intelligente Governance von Daten bis hin zu KI, beschleunigter Datenverarbeitung und erweiterter KI-gestützte Entwicklungstools sorgen für eine optimierte Datenverwaltung und beschleunigen Innovationen.
BigLake
Offenheit von Apache Iceberg mit Speicherverwaltung auf Unternehmensniveau nutzen
BigLake bietet eine native Iceberg-Speicher-Engine für die Interoperabilität von Cloud-Speicher, eine einheitliche Runtime-Metadatenverwaltung, erweiterte Analysen und Data Science und eine automatisierte Datenverwaltung mit integrierter Governance. Jede mit Iceberg kompatible Engine kann die automatisierte Tabellenverwaltung von BigLake nutzen, um die Abfrageleistung zu verbessern und Kosten zu senken.
“Die Partnerschaft mit Google Cloud war entscheidend für die Entwicklung des offenen Lakehouse der nächsten Generation von Snap und die Demokratisierung von Spark und Iceberg in unserer Entwickler-Community.”
Zhengyi Liu, Senior Manager, Software Engineer, Snap
Google Cloud Serverless for Apache Spark
Serverless Spark bietet hohe Leistung und blitzschnelle Verarbeitung – ohne Clusterverwaltung
Mit Google Cloud Serverless for Apache Spark können Sie Ihr Lakehouse transformieren. Mit der neuen Lightning Engine profitieren Sie von einem schnellen Start und keinem Betriebsaufwand und verbessern gleichzeitig die Leistung Ihrer Spark-Arbeitslasten. Die leistungsstarke Kombination mit Gemini steigert die Produktivität und ermöglicht bis zu 60 % niedrigere Gesamtbetriebskosten.
“SQL und Spark sind unserer Meinung nach zwei sich ergänzende Möglichkeiten, auf Daten zuzugreifen und sie zu transformieren. Spark ist für uns besonders nützlich in Anwendungsfällen, die eine komplexe Geschäftslogik erfordern. Diese sind zwar Nischenanwendungen, aber extrem geschäftskritisch. Eine einheitliche Plattform für SQL, Spark und KI mit der Entwicklungsumgebung in Notebooks würde diese wichtigen Anwendungsfälle erheblich vereinfachen.”
Andrés Sopeña Pérez, Head of Content Engineering, Trivago
Dataplex Universal Catalog
Datenermittlung, -verständnis und -vertrauen für Ihr Data Lakehouse vereinfachen
Dataplex Universal Catalog ist die einheitliche Daten-zu-KI-Governance-Lösung für Google Cloud. Der KI-gestützte Katalog zentralisiert geschäftliche, technische und betriebliche Metadaten in Google Cloud und bietet KI-gestützte Statistiken. Er unterstützt offene Formate wie Apache Iceberg, um eine integrierte Governance für Ihr gesamtes Lakehouse zu ermöglichen.
“Dataplex hat maßgeblich dazu beigetragen, unsere Datenplattform in ein sicheres, effizientes und skalierbares Daten-Ökosystem zu verwandeln. Mit dem Schwerpunkt auf Data Governance, Datenerkennung, Beobachtbarkeit und Sicherheitskonformität sind wir bestens gerüstet, um die Herausforderungen der Datenverwaltung im digitalen Zeitalter zu meistern. Mit Dataplex können unsere Teams das volle Potenzial der Daten ausschöpfen und das kontinuierliche Wachstum und die Innovation von Box.Inc vorantreiben.”
Asmita Kulkarni Senior Product Manager, Box.Inc
BigQuery Studio und IDE-Erweiterungen
Apache Spark für erweiterte Data-Science- und KI/ML-Arbeitslasten in Lakehouse-Architekturen optimieren, indem Entwicklung und Betrieb gestrafft werden
Dataproc erweitert Spark für KI/ML in Lakehouses mit neuen Innovationen für ML-Laufzeiten mit GPU-Treibern und gängigen ML-Bibliotheken. Colab Enterprise-Notebooks in BigQuery Studio und IDEs von Drittanbietern bieten integrierte MLOps mit Vertex AI und optimierte Produktionspipelines, um die Extraktion von Daten zu beschleunigen.
“Shopify hat in ein Team mit vielfältigen Kompetenzen investiert, um mit Trends in den Bereichen Data Science und Engineering Schritt zu halten. Bei den ersten Tests mit BigQuery Studio hat uns die Möglichkeit gefallen, verschiedene Tools für unterschiedliche Nutzer in einer vereinfachten Umgebung zu verbinden. Wir sehen darin eine Möglichkeit, die Reibungsverluste in unserem Team zu reduzieren, ohne die Skalierbarkeit zu beeinträchtigen, die wir von BigQuery erwarten.”
Zac Roberts, Data Engineering Manager, Shopify
Offene und flexible Iceberg-Umgebung
BigLake
Offenheit von Apache Iceberg mit Speicherverwaltung auf Unternehmensniveau nutzen
BigLake bietet eine native Iceberg-Speicher-Engine für die Interoperabilität von Cloud-Speicher, eine einheitliche Runtime-Metadatenverwaltung, erweiterte Analysen und Data Science und eine automatisierte Datenverwaltung mit integrierter Governance. Jede mit Iceberg kompatible Engine kann die automatisierte Tabellenverwaltung von BigLake nutzen, um die Abfrageleistung zu verbessern und Kosten zu senken.
“Die Partnerschaft mit Google Cloud war entscheidend für die Entwicklung des offenen Lakehouse der nächsten Generation von Snap und die Demokratisierung von Spark und Iceberg in unserer Entwickler-Community.”
Zhengyi Liu, Senior Manager, Software Engineer, Snap
Branchenweit erstes serverloses Apache Spark mit Autoscaling
Google Cloud Serverless for Apache Spark
Serverless Spark bietet hohe Leistung und blitzschnelle Verarbeitung – ohne Clusterverwaltung
Mit Google Cloud Serverless for Apache Spark können Sie Ihr Lakehouse transformieren. Mit der neuen Lightning Engine profitieren Sie von einem schnellen Start und keinem Betriebsaufwand und verbessern gleichzeitig die Leistung Ihrer Spark-Arbeitslasten. Die leistungsstarke Kombination mit Gemini steigert die Produktivität und ermöglicht bis zu 60 % niedrigere Gesamtbetriebskosten.
“SQL und Spark sind unserer Meinung nach zwei sich ergänzende Möglichkeiten, auf Daten zuzugreifen und sie zu transformieren. Spark ist für uns besonders nützlich in Anwendungsfällen, die eine komplexe Geschäftslogik erfordern. Diese sind zwar Nischenanwendungen, aber extrem geschäftskritisch. Eine einheitliche Plattform für SQL, Spark und KI mit der Entwicklungsumgebung in Notebooks würde diese wichtigen Anwendungsfälle erheblich vereinfachen.”
Andrés Sopeña Pérez, Head of Content Engineering, Trivago
Einheitliche Data-to-KI-Governance
Dataplex Universal Catalog
Datenermittlung, -verständnis und -vertrauen für Ihr Data Lakehouse vereinfachen
Dataplex Universal Catalog ist die einheitliche Daten-zu-KI-Governance-Lösung für Google Cloud. Der KI-gestützte Katalog zentralisiert geschäftliche, technische und betriebliche Metadaten in Google Cloud und bietet KI-gestützte Statistiken. Er unterstützt offene Formate wie Apache Iceberg, um eine integrierte Governance für Ihr gesamtes Lakehouse zu ermöglichen.
“Dataplex hat maßgeblich dazu beigetragen, unsere Datenplattform in ein sicheres, effizientes und skalierbares Daten-Ökosystem zu verwandeln. Mit dem Schwerpunkt auf Data Governance, Datenerkennung, Beobachtbarkeit und Sicherheitskonformität sind wir bestens gerüstet, um die Herausforderungen der Datenverwaltung im digitalen Zeitalter zu meistern. Mit Dataplex können unsere Teams das volle Potenzial der Daten ausschöpfen und das kontinuierliche Wachstum und die Innovation von Box.Inc vorantreiben.”
Asmita Kulkarni Senior Product Manager, Box.Inc
KI-native Notebooks und Data-Science-Tools
BigQuery Studio und IDE-Erweiterungen
Apache Spark für erweiterte Data-Science- und KI/ML-Arbeitslasten in Lakehouse-Architekturen optimieren, indem Entwicklung und Betrieb gestrafft werden
Dataproc erweitert Spark für KI/ML in Lakehouses mit neuen Innovationen für ML-Laufzeiten mit GPU-Treibern und gängigen ML-Bibliotheken. Colab Enterprise-Notebooks in BigQuery Studio und IDEs von Drittanbietern bieten integrierte MLOps mit Vertex AI und optimierte Produktionspipelines, um die Extraktion von Daten zu beschleunigen.
“Shopify hat in ein Team mit vielfältigen Kompetenzen investiert, um mit Trends in den Bereichen Data Science und Engineering Schritt zu halten. Bei den ersten Tests mit BigQuery Studio hat uns die Möglichkeit gefallen, verschiedene Tools für unterschiedliche Nutzer in einer vereinfachten Umgebung zu verbinden. Wir sehen darin eine Möglichkeit, die Reibungsverluste in unserem Team zu reduzieren, ohne die Skalierbarkeit zu beeinträchtigen, die wir von BigQuery erwarten.”
Zac Roberts, Data Engineering Manager, Shopify
Erfahren Sie, wie führende Unternehmen ihr Lakehouse mit Google Cloud aufbauen.
Lakehouse zu Google Cloud migrieren
Ressourcen für Führungskräfte
Google Cloud wird im Bericht „The Forrester Wave™: Data Lakehouses, Q2 2024“ als ein führender Anbieter eingestuft.Bericht herunterladenLesezeit: 10 Minuten
Google Cloud kann im Vergleich zu alternativen cloudbasierten Apache Spark-Lösungen um 18–60 % niedrigere Gesamtbetriebskosten bietenBericht herunterladenLesezeit: 10 Minuten
Ein umfassender Leitfaden, der ein 5-Schritte-Framework zur Schaffung einer zuverlässigen Datengrundlage für den Erfolg in Sachen KI bietetLeitfaden herunterladenLesezeit: 10 Minuten
Technische Vordenkerrolle
BigQuery und BigLake entwickeln sich zu einem Multicloud-LakehouseTechnischen Forschungsbericht herunterladenLesezeit: 15 Minuten
Big Metadata: Wenn Metadaten zu Big Data werdenTechnisches Whitepaper lesen10 Min.
Vortex: Eine Stream-orientierte Speicher-Engine für Big Data AnalyticsTechnische Studie herunterladenLesezeit: 15 Minuten
