Serverless für Apache Spark bietet zwei Stufen: eine Standardstufe und eine Premiumstufe (hohe Leistung). So können Kunden Leistungsanforderungen und Funktionszugriff mit optimalen Kosten in Einklang bringen.
Vorteile der Premium-Stufe
Die Premium-Stufe unterscheidet sich von der Standardstufe durch zusätzliche Funktionen. Die Premium-Stufe bietet eine erweiterte Abfragebeschleunigung sowie eine beschleunigte Rechenleistung, Festplatten- und Arbeitsspeicherleistung, die häufig für komplexe oder latenzempfindliche Arbeitslasten erforderlich sind.
Funktionen der Premium-Stufe
In der folgenden Tabelle sind die exklusiven Premium-Tier-Funktionen und ‑Funktionen von Serverless for Apache Spark aufgeführt.
| Funktion | Standard | Premium |
|---|---|---|
| Lightning Engine (Abfragebeschleunigung) |  |
(Standard: Aktiviert, außer bei interaktiven Sitzungen) |
| Interaktive Arbeitslasten (Sitzungen) | |
(Standard: Aktiviert) |
| Shuffle-intensive Jobs (Premium-Festplatte) | |
(Standard: Deaktiviert) |
| Speicherintensive Jobs (erweiterter Speicher) | |
(Standard: Deaktiviert) |
| GPU-Unterstützung | |
(Standard: Deaktiviert) |
| Batch-Arbeitslasten | ||
| Autoscaling | ||
| Serverless Spark-UI | ||
| Lineage, Sicherheit und Compliance (VPC-SC, CMEK) |
Batcharbeitslasten und ‑sitzungen in der Premium-Stufe
Für die folgenden Arbeitslasten und Sitzungen ist die Premium-Stufe erforderlich:
- Lightning Engine:Die Lightning Engine ist ausschließlich in der Premium-Stufe verfügbar und eine wichtige Funktion, die die Spark-Leistung durch optimierte Abfrageausführung beschleunigt. Sie ist standardmäßig aktiviert, wenn Sie die Premium-Stufe für Batcharbeitslasten auswählen, indem Sie das Attribut
dataproc.tieraufpremiumsetzen. - Interaktive Sitzungen:Interaktive Sitzungen werden automatisch als Premium-Funktion mit hohem Wert behandelt. Sie werden über die Dataproc Sessions API initiiert und zum Premium-DCU-Tarif abgerechnet. Sie bieten Funktionen wie Interaktivität mit niedriger Latenz und Zustandsverwaltung. Bei interaktiven Sitzungen aktivieren Sie die Lightning Engine, indem Sie die Eigenschaft
spark.dataproc.engineauflightningEnginesetzen. - GPU-Unterstützung:Die GPU-Unterstützung ist nur in der Premium-Stufe verfügbar. Es ist standardmäßig deaktiviert. Sie aktivieren sie über Konfigurationsflags. Für die GPU-Unterstützung wird eine spezielle Infrastruktur verwendet. Sie wird durch den Premium-DCU-Tarif abgedeckt, ohne dass zusätzliche Rechenkosten anfallen.
Kalkulierbares Preismodell für die Premium-Stufe
Für die Premium-Stufe wird ein vereinfachtes Pauschalpreismodell für die Kernfunktionen verwendet. Der DCU-Premiumtarif umfasst den Zugriff auf hochwertige Funktionen wie Lightning Engine, Extended Memory und die spezielle Infrastruktur, die für Shuffle-intensive Jobs erforderlich ist. Wenn Sie diese Funktionen über Konfigurationsflags aktivieren, sind sie im Basis-Premium-DCU-Preis enthalten und es fallen keine zusätzlichen Rechenkosten an. Sie zahlen also einen einzigen, vorhersehbaren Premiumpreis für den Zugriff auf die vollständige Suite der erweiterten Funktionen der Premium-Version.