Apache Spark in Google Cloud

Die neue Art, einfacher, intelligenter und schneller zu arbeiten.

Führen Sie Apache Spark-Arbeitslasten in Google Cloud aus – mit weniger Betriebsaufwand, mehr KI-Unterstützung und einem besseren Preis-Leistungs-Verhältnis. Konzentrieren Sie sich auf Ihren Code, nicht auf Ihren Cluster.


Vorteile

Bessere Nutzung von Apache Spark in Google Cloud

Einfacher – Sie müssen sich nicht mehr um den Betrieb von Spark kümmern

Sie haben die Wahl zwischen Google Cloud Serverless for Apache Spark ohne Betriebsaufwand oder verwalteten Dataproc-Clustern. Beide automatisieren die Infrastrukturkomplexität, sodass Sie Ihren Entwicklungslebenszyklus beschleunigen können.

Beide Optionen vergleichen

Intelligenter – KI-gestützte Spark-Entwicklung

Beschleunigen Sie Ihren gesamten Workflow mit Gemini in Dataproc und Google Cloud Serverless for Apache Spark. Mit Gemini-Unterstützung Code erstellen und debuggen sowie Fehler in fehlgeschlagenen Jobs beheben 

Informationen zu Gemini Code Assist

Schneller – Spark-Leistung beschleunigen

Erhalten Sie ein branchenführendes Preis-Leistungs-Verhältnis – automatisch. Für Ihre anspruchsvollsten Aufgaben können Sie mit der Lightning Engine eine mehr als 4,3‑mal schnellere Leistung erzielen. Das reduziert die Gesamtbetriebskosten und beschleunigt die Zeit bis zur Erkenntnisgewinnung.

Lightning Engine ansehen

Wichtige Features

Den richtigen Spark für Ihre Arbeitslast auswählen

Wählen Sie zwischen Serverless for Apache Spark für eine einfache, aufwandlose Lösung oder Dataproc für verwaltete Cluster mit umfassenden Anpassungsmöglichkeiten.

Entscheidungshilfe ansehen

Google Cloud Serverless für Apache Spark

Konzentrieren Sie sich ganz auf Ihren Code und beschleunigen Sie die Entwicklung. Mit Stufen für kosteneffiziente Batchverarbeitung und leistungsstarke KI/ML eignet dies sich ideal für neue Apache Spark-Pipelines, interaktive Analysen und Arbeitslasten mit unvorhersehbarer Nachfrage, bei denen ein „NoOps“-Modell bevorzugt wird.

Ideal für: Data Scientists und ML-Entwickler, Ad-hoc-Abfragen, neue Anwendungen, Entwicklerproduktivität.

Serverloses Spark kennenlernen

Dataproc

Erhalten Sie die maximale Kontrolle über Ihre Clusterumgebung. Ideal für die Migration vorhandener Apache Hadoop-/Spark-Arbeitslasten, die Ausführung langlebiger, persistenter Cluster oder die Nutzung eines vielfältigen Open-Source-Ökosystems.

Am besten geeignet für: Unternehmensentwicklung und -betrieb, lokale Migrationen, lang laufende Jobs, umfassende Anpassung.

Dataproc kennenlernen

Dokumentation

Dokumentation

Tutorial

Ersten serverlosen Spark-Job ausführen

In dieser Kurzanleitung erfahren Sie, wie schnell und einfach serverloses Spark ist. Hier erfahren Sie, wie Sie mit der Google Cloud CLI einen PySpark-Batchjob senden.

Tutorial

Verwalteten Dataproc-Cluster erstellen

In dieser Anleitung wird beschrieben, wie Sie mit der Google Cloud Console einen Dataproc-Cluster erstellen. Erfahren Sie, wie Sie eine verwaltete Umgebung für Ihre Spark- und Hadoop-Arbeitslasten konfigurieren und bereitstellen.

Best Practice

Analysen vereinheitlichen: SQL und Spark mit einer einzigen Datenkopie

Sie müssen sich nicht mehr zwischen der Leistungsfähigkeit von SQL und der Flexibilität von Spark entscheiden. Mit BigLake können Sie beide Engines für dieselben verwalteten Daten verwenden. So können Sie pro Aufgabe das jeweils beste Tool verwenden.

Best Practice

Beschleunigen Sie den gesamten KI- und ML-Lebenszyklus

Bewegen Sie sich schneller von der Datenvorbereitung über das Modelltraining bis zur Inferenz. Unsere Premium-Tarife sind für KI/ML konzipiert und ermöglichen Ihnen die Verwendung vorkonfigurierter ML-Laufzeiten mit integrierter GPU-Unterstützung, wie z. B. NVIDIA RAPIDS, um komplexe Setups zu vermeiden.

Suchen Sie nach etwas anderem?


Spark ist eine Marke der Apache Software Foundation.

** Die Abfragen sind vom TPC-DS- und TPC-H-Standard abgeleitet und daher nicht mit veröffentlichten TPC-DS-Standard- und TPC-H-Standard-Ergebnissen vergleichbar, da diese Ausführungen nicht allen Anforderungen der TPC-DS-Standard- und TPC-H-Standard-Spezifikation entsprechen.

Gleich loslegen

Welche Herausforderung wollen Sie meistern? Ein Google Cloud-Experte unterstützt Sie gern dabei, die beste Lösung zu finden.

Google Cloud