Spark in Google Cloud

Das branchenweit erste automatisch skalierende serverlose Spark, integriert mit den besten Google-nativen und Open-Source-Tools. Entwickeln Sie Spark und führen Sie es dort aus, wo Sie es brauchen, in allen Anwendungsfällen, einschließlich ETL, Data Science und Exploration.

Serverloses Spark testen Serverloses Spark testen

Vorteile

Erhöhte Entwicklerproduktivität und schnellere Informationen über Daten

Einfacher Betrieb durch serverloses Spark

Schreiben von Spark-Anwendungen und -Pipelines mit automatischer Skalierung ohne manuelle Infrastrukturbereitstellung oder -abstimmung.

Nahtlose Spark-Nutzung für alle Datennutzer

Spark ist in BigQuery, Vertex AI und Dataplex integriert, sodass Sie es über diese Schnittstellen mit zwei Klicks und ohne benutzerdefinierte Integrationen für ETL, explorative Datenanalyse, Analyse und ML schreiben und ausführen können.

Flexible Nutzung

„One size fits all“? Das glauben wir nicht. Sie können zwischen serverlos, Kubernetes-Clustern und Compute-Clustern für Ihre Spark-Anwendungen wählen.

Wichtige Features

Führen Sie Spark-Jobs, die automatisch skaliert werden, mit zwei Klicks von der Oberfläche Ihrer Wahl aus

Serverloser Spark (allgemeine Verfügbarkeit)

Die Entwickler können ihre gesamte Zeit auf Code und Logik verwenden und über die von ihnen gewählte Schnittstelle Spark-Aufträge senden, die automatisch bereitgestellt und skaliert werden. Hier finden Sie weitere Informationen dazu.

Externe BigQuery-Prozeduren für Apache Spark (private Vorschau)

Einheitliche SQL- und Spark-Nutzung: Erstellen und führen Sie Apache Spark-Code, der in Python geschrieben ist, direkt in BigQuery aus. Sie können diese gespeicherten Prozeduren dann in BigQuery mit einer Google Standard-SQL-Abfrage ausführen und planen, ähnlich wie bei der Ausführung von SQL gespeicherten Prozeduren. Registrieren Sie sich jetzt für eine Vorschau.

Spark über Vertex AI (private Vorschau)

Spark für Data Science mit nur einem Klick: Data Scientists können Spark für die Entwicklung von Vertex AI Workbench nahtlos und mit integrierter Sicherheit verwenden. Spark ist in die MLOps-Funktionen von Vertex AI eingebunden, wo Nutzer Spark-Code über Notebook-Executors ausführen können, die in Vertex AI Pipelines integriert sind.

Spark über Dataplex

Führen Sie Auto-Scaling für Spark auf Daten in der Google Cloud über eine einzige Schnittstelle aus, die mit einem Klick Zugriff auf SparkSQL, Notebooks oder PySpark bietet. Es bietet außerdem eine einfache Zusammenarbeit mit der Möglichkeit, Notebooks und Skripte zusammen mit Daten zu speichern, freizugeben und zu durchsuchen, sowie integrierte Governance über Data Lakes hinweg.

Flexible Nutzungsoptionen

Zusätzlich zu dem serverlosen Spark für die managementfreie Bereitstellung können Kunden, die zur Kubernetes-Verwaltung für die Infrastrukturverwaltung standardisieren, Spark in Google Kubernetes Engine (private Vorschau) ausführen und damit eine Verbesserung der Ressourcennutzung erzielen und die Infrastrukturverwaltung vereinfachen. Kunden, die nach einer Infrastrukturverwaltung im Hadoop-Stil suchen, können Spark in Compute Engine (GA) ausführen.

Startbereit? Kontakt

Partner