点击此处观看 Next 2021 上的 Spark on Google Cloud 讲座。

跳转到

Google Cloud 上的 Spark

业内首个自动扩缩的无服务器 Spark,与 Google 原生和开源工具集成。 根据需要跨所有用例(包括 ETL、数据科学和探索)开发和运行 Spark。

优势

提高开发者的工作效率并更快地获取数据洞见

无服务器 Spark 助力操作简便

编写可自动扩缩的 Spark 应用和流水线,而无需任何手动基础架构预配或调整。

为所有数据用户提供无缝 Spark

Spark 已与 BigQueryVertex AIDataplex 集成,因此,只需点击两次即可从这些界面编写和运行应用,而无需自定义集成功能以进行 ETL、数据探索、分析和机器学习。

灵活运用

一种规格并不适用于所有情况。您可以为 Spark 应用选择无服务器、Kubernetes 集群和计算集群。

主要特性

只需点击两下,即可从所选界面运行可自动扩缩的 Spark 作业

无服务器 Spark(正式版即将推出)

开发者可以将全部时间用于代码和逻辑,并使用他们选择的界面提交能够自动预配和自动扩缩的 Spark 作业。

通过 BigQuery 运行 Spark(非公开预览版)

统一的 SQL 和 Spark 体验:使数据仓储用户可以轻松写入和执行 Spark on BigQuery 数据,而无需导出这些数据。无需管理基础架构。

通过 Vertex AI 运行 Spark(非公开预览版)

一键式 Spark 实现数据科学:数据科学家可以借助 Vertex AI Workbench 无缝使用 Spark 进行开发,并内置安全防护功能。Spark 与 Vertex AI 的 MLOps 功能集成,其中,用户可以通过与 Vertex AI 流水线集成的笔记本执行程序执行 Spark 代码。

通过 Dataplex 运行 Spark(非公开预览版)

通过一个对 SparkSQL、Notebooks 或 PySpark 一键式访问的界面,即可对 Google Cloud 上的数据运行自动扩缩 Spark。还可轻松保存、共享、搜索笔记本和脚本以及数据,还内置了跨数据湖的治理功能。

灵活的消费选项

除了用于实现免运维部署的无服务器 Spark 外,标准化 Kubernetes 以管理基础架构的客户还可以在 Google Kubernetes Engine(非公开预览版)上运行 Spark,以提高资源利用率,并简化基础架构管理。寻求 Hadoop 式基础架构管理的客户可以在 Compute Engine (GA) 上运行 Spark。


准备好开始使用了吗?与我们联系

最新资讯

获取 Spark on Google Cloud 的最新资讯、博客和活动

请点击此处注册,申请抢先体验 Spark on Google Cloud 的新解决方案