Bekannt gegeben im Mai 2025: Dataproc Serverless heißt jetzt Google Cloud Serverless für Apache Spark
Google Cloud Serverless für Apache Spark
Konzentrieren Sie sich auf Ihren Code, nicht auf Ihre Infrastruktur
Führen Sie Ihre Apache Spark-Jobs einfacher auf einer anpassbaren Zero-Ops-Plattform, intelligenter mit Gemini-Unterstützung und schneller mit der Leistung der Lightning Engine aus.
Apache Spark ist eine Marke der Apache Software Foundation.
Features
Branchenführende Leistung
Mit der Lightning Engine, unserer vektorisierten Engine der nächsten Generation, können Sie Ihre Aufträge beschleunigen. Sie profitieren von einer mehr als 4, 3‑mal schnelleren Leistung und niedrigeren Gesamtkosten für Ihre serverlosen Spark-Arbeitslasten – automatisch.
Zero-Ops mit intelligentem Autoscaling
Dank intelligentem Autoscaling entfällt die Clusterverwaltung. Ressourcen werden automatisch hoch- und herunterskaliert, um den Anforderungen Ihres Jobs perfekt zu entsprechen. So wird maximale Leistung und Kosteneffizienz gewährleistet, ohne dass Sie für Leerlaufzeiten bezahlen müssen.
KI-basierte Entwicklung
Beschleunigen Sie Ihren gesamten Workflow. Mit Gemini Code Assist in BigQuery Studio können Sie PySpark-, Scala- und Java-Code schreiben und debuggen und GPU-beschleunigte Umgebungen mit vorkonfigurierten ML-Laufzeiten starten.
Einheitliche Spark- und SQL-Nutzung
Kontextwechsel vermeiden Sie können Ihre Arbeitslasten in einer einzigen Umgebung wie BigQuery Studio entwickeln und ausführen und dabei leistungsstarkes SQL nahtlos mit der Flexibilität von PySpark in einem Notebook kombinieren.
Zwei Leistungsstufen
| Zwei Leistungsstufen | Es gibt verschiedene Stufen, die Ihren spezifischen Anforderungen entsprechen – von der Standard-Batchverarbeitung bis hin zu den anspruchsvollsten, leistungskritischen Jobs. |
|---|---|
| Stufe | Optimal für |
Standard | Ideal für kosteneffiziente Batchverarbeitung, Datentransformationen und allgemeine Spark-Jobs.
|
Premium | Für die anspruchsvollsten Arbeitslasten mit maximaler Leistung durch die Lightning Engine, KI-/ML-Beschleunigung und interaktive Funktionen.
|
Zwei Leistungsstufen
Es gibt verschiedene Stufen, die Ihren spezifischen Anforderungen entsprechen – von der Standard-Batchverarbeitung bis hin zu den anspruchsvollsten, leistungskritischen Jobs.
Standard
Ideal für kosteneffiziente Batchverarbeitung, Datentransformationen und allgemeine Spark-Jobs.
- Allgemeine Spark-ETL
- Geplante Datenpipelines
- Kostensensitive Batchjobs
Premium
Für die anspruchsvollsten Arbeitslasten mit maximaler Leistung durch die Lightning Engine, KI-/ML-Beschleunigung und interaktive Funktionen.
- Leistungskritische Jobs mit der Lightning Engine für eine 4,3-fache Steigerung
- Interaktive Data Science und Analysen
- GPU-beschleunigte KI und ML
- Komplexe, umfangreiche Datenverarbeitung
Gängige Einsatzmöglichkeiten
Interaktive Data Science
Interaktive Data Science
Data Scientists können Daten untersuchen und Spark ML-Modelle schnell iterieren. Vereinheitlichen Sie SQL und Spark in einem einzigen BigQuery Studio-Notebook und wechseln Sie nahtlos von der Datenexploration mit SQL zur Modellentwicklung mit PySpark, ohne jemals die Infrastruktur verwalten zu müssen.
Tutorials, Kurzanleitungen und Labs
Interaktive Data Science
Interaktive Data Science
Data Scientists können Daten untersuchen und Spark ML-Modelle schnell iterieren. Vereinheitlichen Sie SQL und Spark in einem einzigen BigQuery Studio-Notebook und wechseln Sie nahtlos von der Datenexploration mit SQL zur Modellentwicklung mit PySpark, ohne jemals die Infrastruktur verwalten zu müssen.
Tutorials, Kurzanleitungen und Labs
Preise
| Transparente, wertorientierte Preise | Die Preise für Serverless for Apache Spark basieren auf der sekundengenauen Nutzung von Rechenleistung (DCUs), GPUs und Shuffle-Speicher. | |
|---|---|---|
| Dienste und Nutzung | Abotyp | Preis ($) |
Data Compute Unit (DCU) | Standard | Ab 0,06 $ pro Stunde |
Premium | Ab 0,089 $ pro Stunde | |
Shuffle-Speicher | Standard | Ab 0,04 $ pro GB/Monat |
Premium | Ab 0,1 $ pro GB/Monat | |
Preise für Beschleuniger | a100 40 GB | Ab 3,52069 $ pro Stunde |
a100 80 GB | Ab 4,713696 $ pro Stunde | |
L4 | Ab 0,672048 $ pro Stunde | |
Transparente, wertorientierte Preise
Die Preise für Serverless for Apache Spark basieren auf der sekundengenauen Nutzung von Rechenleistung (DCUs), GPUs und Shuffle-Speicher.
Data Compute Unit (DCU)
Standard
Starting at
0,06 $
pro Stunde
Premium
Starting at
0,089 $
pro Stunde
Shuffle-Speicher
Standard
Starting at
0,04 $
pro GB/Monat
Premium
Starting at
0,1 $
pro GB/Monat
Preise für Beschleuniger
a100 40 GB
Starting at
3,52069 $
pro Stunde
a100 80 GB
Starting at
4,713696 $
pro Stunde
L4
Starting at
0,672048 $
pro Stunde
Anwendungsszenario
Business Case für Google Cloud Serverless for Apache Spark erstellen
Die wirtschaftlichen Vorteile von Google Cloud Dataproc und Serverless Spark im Vergleich zu alternativen Lösungen
Hier erfahren Sie, wie Sie mit Serverless for Apache Spark im Vergleich zu lokalen und anderen Cloud-Lösungen die Gesamtbetriebskosten deutlich senken und den Geschäftswert steigern können.
Im Bericht gilt Folgendes:
Dataproc und Serverless for Apache Spark können im Vergleich zu anderen cloudbasierten Spark-Alternativen Kosteneinsparungen von 18% bis 60% erzielen.
Google Cloud Serverless for Apache Spark bietet ein 21% bis 55% besseres Preis-Leistungs-Verhältnis als andere serverlose Spark-Angebote.
Hier erfahren Sie, wie Dataproc und Google Cloud Serverless for Apache Spark die Spark-Bereitstellung vereinfachen und die betriebliche Komplexität reduzieren.
FAQs
Wann sollte ich Serverless for Apache Spark und wann Dataproc verwenden?
Wählen Sie Serverless for Apache Spark, wenn Sie sich auf Ihren Code konzentrieren und die gesamte Infrastrukturverwaltung eliminieren möchten. Es eignet sich ideal für neue Spark-Pipelines, interaktive Analysen und Jobs mit unvorhersehbarer Nachfrage, bei denen Geschwindigkeit und Einfachheit im Vordergrund stehen.
Muss ich meine eigenen Bibliotheken wie PyTorch oder XGBoost installieren?
Der Premium-Tarif ist für KI/ML konzipiert und umfasst vorkonfigurierte ML-Laufzeiten mit gängigen Bibliotheken wie PyTorch, XGBoost und scikit-learn. So entfällt eine komplexe Einrichtung und Sie können in wenigen Minuten mit Ihren Data-Science-Workloads beginnen.
Wie erziele ich die beste Leistung und wie funktioniert das Preismodell?
Für maximale Leistung können Sie den Premium-Tarif auswählen, der auf der Lightning Engine basiert. Die Preise basieren auf einem nutzungsbasierten Modell, bei dem Sie pro Sekunde nur für die Dauer der Ausführung Ihres Jobs zahlen. Das ist sehr kosteneffizient, da die Kosten für inaktive Cluster entfallen.
