Spark on Google Cloud

统一的 SQL 和 Spark 体验：直接从 BigQuery 中创建并运行以 Python 编写的 Apache Spark 代码。然后，您可以使用 Google 标准 SQL 查询在 BigQuery 中运行和安排这些存储过程，类似于运行 SQL 存储过程。

开发者可以将全部时间用于代码和逻辑，并使用所选界面提交可以自动预配和自动扩缩的 Spark 作业。阅读无服务器 Spark 的文档。

一键式将 Spark 用于数据科学：数据科学家可以从 Vertex AI Workbench 无缝使用 Spark 进行开发，还内置了安全防护功能。Spark 与 Vertex AI 的 MLOps 功能集成，用户可以通过与 Vertex AI Pipelines 集成的笔记本执行程序执行 Spark 代码。

通过统一界面对 Google Cloud 中的数据运行自动扩缩 Spark 作业。用户可以通过该界面一键访问 SparkSQL、Notebooks 或 PySpark，还可以轻松保存、共享、搜索笔记本和脚本以及数据，还内置了跨数据湖的治理功能。

除了用于实现免运维部署的无服务器 Spark 外，标准化 Kubernetes 以管理基础设施的客户还可以在 Google Kubernetes Engine上运行 Spark，以提高资源利用率并简化基础设施管理。希望使用 Hadoop 式基础设施管理的客户可以在 Compute Engine 上运行 Spark。