Spark in Google Cloud

Einheitliche SQL- und Spark-Nutzung: Erstellen und führen Sie Apache Spark-Code, der in Python geschrieben ist, direkt in BigQuery aus. Sie können diese gespeicherten Prozeduren dann in BigQuery mit einer Google Standard-SQL-Abfrage ausführen und planen, ähnlich wie bei der Ausführung von SQL gespeicherten Prozeduren.

Die Entwickler können ihre gesamte Zeit auf Code und Logik verwenden und über die von ihnen gewählte Schnittstelle Spark-Aufträge senden, die automatisch bereitgestellt und skaliert werden. Lesen Sie die Dokumentation zu serverloses Spark. 

Spark für Data Science mit nur einem Klick: Data Scientists können Spark für die Entwicklung von Vertex AI Workbench nahtlos und mit integrierter Sicherheit verwenden. Spark ist in die MLOps-Funktionen von Vertex AI eingebunden, wo Nutzer Spark-Code über Notebook-Executors ausführen können, die in Vertex AI Pipelines integriert sind.

Führen Sie Auto-Scaling für Spark auf Daten in der Google Cloud über eine einzige Schnittstelle aus, die mit einem Klick Zugriff auf SparkSQL, Notebooks oder PySpark bietet. Es bietet außerdem eine einfache Zusammenarbeit mit der Möglichkeit, Notebooks und Skripte zusammen mit Daten zu speichern, freizugeben und zu durchsuchen, sowie integrierte Governance über Data Lakes hinweg.

Zusätzlich zu dem serverlosen Spark für die managementfreie Bereitstellung können Kunden, die zur Kubernetes-Verwaltung für die Infrastrukturverwaltung standardisieren, Spark in Google Kubernetes Engine ausführen und damit eine Verbesserung der Ressourcennutzung erzielen und die Infrastrukturverwaltung vereinfachen. Kunden, die nach einer Infrastrukturverwaltung im Hadoop-Stil suchen, können Spark in Compute Engine ausführen.