教程

Apache Hadoop

• 使用 BigQuery 连接器编写 MapReduce 作业

  参考示例代码，了解如何使用适用于 Apache Hadoop 的 BigQuery 连接器来编写 MapReduce 作业。

Apache Hive

• 在 Dataproc 上使用 Apache Hive

  了解如何在 Dataproc 上高效部署 Apache Hive 工作负载。

Apache Spark

• 使用 Dataproc 和 Apache Spark 实现蒙特卡罗方法

  使用 Dataproc 和 Apache Spark 运行以 Python 和 Scala 语言编写的蒙特卡罗模拟。

• 使用 BigQuery 和 Spark ML 进行机器学习

  使用 Dataproc、BigQuery 和 Apache Spark ML 进行机器学习。

• 将 BigQuery 连接器与 Apache Spark 搭配使用

  参考示例代码，了解如何将适用于 Apache Hadoop 的 BigQuery 连接器与 Apache Spark 搭配使用。

• 将 Cloud Storage 连接器与 Apache Spark 搭配使用

  参考示例代码，了解如何将适用于 Apache Hadoop 的 Cloud Storage 连接器与 Apache Spark 搭配使用。

• 编写及运行 Spark Scala 作业

  使用 Dataproc 创建并提交 Spark Scala 作业。

连接器

• 将 BigQuery 连接器与 Apache Spark 搭配使用

  参考示例代码，了解如何将适用于 Apache Hadoop 的 BigQuery 连接器与 Apache Spark 搭配使用。

• 将 Cloud Storage 连接器与 Apache Spark 搭配使用

  参考示例代码，了解如何将适用于 Apache Hadoop 的 Cloud Storage 连接器与 Apache Spark 搭配使用。

• 使用 BigQuery 连接器编写 MapReduce 作业

  参考示例代码，了解如何使用适用于 Apache Hadoop 的 BigQuery 连接器来编写 MapReduce 作业。

语言

• 配置 Dataproc Python 环境

  配置 Python 以在 Dataproc 集群上运行 PySpark 作业。

• 使用 Python 版 Cloud 客户端库

  使用 Python 版 Cloud 客户端库 API 以编程方式与 Dataproc 进行互动。

• 编写及运行 Spark Scala 作业

  使用 Dataproc 创建并提交 Spark Scala 作业。

笔记本

• Dataproc Hub 概览

  了解 Dataproc Hub 基础知识。

• 配置 Dataproc 中心

  配置 Dataproc 中心在单用户 Dataproc 集群上打开 JupyterLab 界面。

• 使用 Dataproc 中心

  使用 Dataproc 中心实例在单用户 Dataproc 集群上打开 JupyterLab 界面。

• 安装及运行 Jupyter 笔记本

  在 Dataproc 集群上安装、运行和访问 Jupyter 笔记本。

• 在 Dataproc 集群上运行 Vertex AI Workbench 笔记本

  在 Dataproc 集群上运行代管式实例的笔记本文件。

• 在 Dataproc 的 JupyterLab 笔记本中运行基因组分析

  在 Dataproc 集群上托管的 JupyterLab 笔记本上使用 Dask、NVIDIA RAPIDS 和 GPU 运行单细胞基因组分析。

Trino

• 将 Trino 与 Dataproc 搭配使用

  安装 Trino（以前称为 Presto）并搭配 Dataproc 使用。

Workflows

• 使用 Cloud Composer 的工作流

  使用 Cloud Composer 触发工作流模板。

• 使用 Cloud Functions 的工作流

  使用 Cloud Functions 函数触发工作流模板。

• 使用 Cloud Scheduler 的工作流

  触发工作流 Cloud Scheduler。