Spark on Google Cloud

业内首个自动扩缩的无服务器 Spark，与出色的 Google 原生和开源工具集成。根据需要跨所有使用场景（包括 ETL、数据科学和数据探索）开发和运行 Spark。

试用无服务器 Spark 试用无服务器 Spark

优势

提高开发者的工作效率并更快地获取数据洞见

通过无服务器 Spark 简化运维

编写可自动扩缩的 Spark 应用和流水线，无需任何人工基础架构预配或调整。

适合所有数据用户的无缝 Spark

Spark 与 BigQuery、Vertex AI 和 Dataplex 集成，因此无需自定义集成，只需点击两次即可从这些界面编写和运行用于 ETL、数据探索、分析和机器学习的 Spark 作业。

灵活的使用方式

并没有一种通用的选项。您可以为 Spark 应用选择无服务器、Kubernetes 集群和计算集群。

主要特性

只需点击两下，即可从所选界面运行可自动扩缩的 Spark 作业

无服务器 Spark（正式版）

开发者可以将全部时间用于代码和逻辑，并使用所选界面提交可以自动预配和自动扩缩的 Spark 作业。如需了解更多详情，请点击此处。

适用于 Apache Spark 的 BigQuery 外部过程（非公开预览版）

统一的 SQL 和 Spark 体验：直接通过 BigQuery 创建并运行使用 Python 编写的 Apache Spark 代码。然后，您可以使用 Google 标准 SQL 查询在 BigQuery 中运行并安排这些存储过程，类似于运行 SQL 存储过程。注册即可立即预览。

通过 Vertex AI 运行 Spark（非公开预览版）

一键式将 Spark 用于数据科学：数据科学家可以从 Vertex AI Workbench 无缝使用 Spark 进行开发，还内置了安全防护功能。Spark 与 Vertex AI 的 MLOps 功能集成，用户可以通过与 Vertex AI 流水线集成的笔记本执行程序执行 Spark 代码。注册即可立即预览。

通过 Dataplex 运行 Spark

通过统一界面对 Google Cloud 中的数据运行自动扩缩 Spark 作业。用户可以通过该界面一键访问 SparkSQL、Notebooks 或 PySpark，还可以轻松保存、共享、搜索笔记本和脚本以及数据，还内置了跨数据湖的治理功能。

灵活的使用选项

除了用于实现免运维部署的无服务器 Spark 外，标准化 Kubernetes 以管理基础架构的客户还可以在 Google Kubernetes Engine上运行 Spark（正式版），以提高资源利用率并简化基础架构管理。希望使用 Hadoop 式基础架构管理的客户可以在 Compute Engine 上运行 Spark（正式版）。

准备好开始使用了吗？与我们联系

合作伙伴