Cloud Dataproc 是一项托管式 Apache Spark 和 Apache Hadoop 服务，借助该服务，您可以充分利用开源数据工具来执行批处理、查询、流式传输和机器学习。Dataproc 自动化功能可帮助您快速创建集群并轻松管理，以及在不需要集群时将其关闭以节省费用。由于在管理上花费的时间和费用更少，您可以将精力集中在作业和数据上。了解详情

指南

参考

资源

培训和教程

试用 Google Cloud 中的 Dataproc 教程、培训课程和 Qwiklabs。

教程

在 Google Kubernetes Engine 上运行 Dataproc 作业

从 Dataproc Jobs API 将 Spark 作业提交到正在运行的 Google Kubernetes Engine 集群。

了解详情  
QwikLabs

Cloud Dataproc 简介：Google Cloud 上的 Hadoop 和 Spark

该课程包含讲座、演示和实操实验来创建 Dataproc 集群、提交 Spark 作业，然后关闭集群。

了解详情  
QwikLabs

使用 Dataproc 上的 Spark 进行机器学习

本课程包含讲座、演示和实操实验，使用在 Dataproc 集群上运行的 Apache Spark 的机器学习库实现逻辑回归，从而针对多变量数据集中的数据开发模型。

了解详情  

使用场景

探索使用场景、参考架构、白皮书、最佳做法和行业解决方案。

解决方案

工作流安排解决方案

在 Google Cloud 上安排工作流。

了解详情  
用例

将 HDFS 数据从本地迁移到 Google Cloud

如何将数据从本地 Hadoop 分布式文件系统 (HDFS) 迁移到 Google Cloud。

了解详情  
最佳做法

管理 Apache Spark 的 Java 和 Scala 依赖项

向 Dataproc 集群提交 Spark 作业时添加这些依赖项的建议方法。

了解详情  
最佳做法

使用 Dataproc 上的 Apache Hive

通过将 Hive 数据存储在 Cloud Storage 中以及将 Hive Metastore 托管在 Cloud SQL 上的 MySQL 数据库中，以在 Dataproc 上高效灵活地使用 Apache Hive。

了解详情  

代码示例

通过演示如何使用和关联 Google Cloud 服务的示例深入了解编码。

github

Python API 示例

从 Python 调用 Dataproc API。

打开 GitHub  

github

Java API 示例

从 Java 调用 Dataproc API。

打开 GitHub  

github

Node.js API 示例

从 Node.js 调用 Dataproc API。

打开 GitHub  

github

Go API 示例

从 Go 调用 Dataproc API。

打开 GitHub  

视频