概念

Dataproc 概览

• 什么是 Dataproc？

  Dataproc 及其功能的简介。

访问集群

• 集群网页界面

  适用于 Dataproc 的开源组件的网页界面，以及如何连接到这些组件。

• 组件网关

  使用组件网关连接到集群组件。

• 员工身份联合

  允许员工访问 Dataproc 组件网关。

• 网络配置

  配置您的集群的网络。

• 使用 SSH 连接到集群

  使用 SSH 连接到集群节点。

组件

• 概览

  集群组件概览

• Anaconda 可选组件

  在集群上安装 Anaconda 组件。

• Docker 可选组件

  在集群上安装 Docker 组件。

• Flink 可选组件

  在集群上安装 Flink 组件。

• HBase 可选组件^{Beta 版}

  在集群上安装 HBase 组件。

• Hive WebHCat 可选组件

  在集群上安装 Hive WebHCat 组件。

• Hudi 可选组件

  在集群上安装 Hudi 组件。

• Jupyter 可选组件

  在集群上安装 Jupyter 组件。

• Presto 可选组件

  在集群上安装 Presto 组件。

• Ranger 可选组件

  在集群上安装 Ranger 组件。

• 将 Ranger 与 Kerberos 搭配使用

  在集群上将 Ranger 组件与 Kerberos 搭配使用。

• 备份和恢复 Ranger 架构

  按照相应步骤备份和恢复 Ranger 架构。

• Solr 可选组件

  在集群上安装 Solr 组件。

• Trino 可选组件

  在集群上安装 Trino 组件。

• Zeppelin 可选组件

  在集群上安装 Zeppelin 组件。

• ZooKeeper 可选组件

  在集群上安装 ZooKeeper 组件。

计算选项

• 支持的机器类型

  借助 Dataproc，您可以为特殊的工作负载指定自定义机器类型。

• GPU 集群

  将图形处理单元 (GPU) 用于您的 Dataproc 集群。

• 本地固态硬盘

  将本地 SSD 连接到 Dataproc 集群。

• 满足最低要求的 CPU 平台

  为您的 Dataproc 集群指定一个满足最低要求的 CPU 平台。

• 永久性固态硬盘 (PD-SSD) 启动磁盘

  使用永久性固态硬盘启动磁盘创建集群。

• 辅助工作器 - 抢占式虚拟机和非抢占式虚拟机

  了解和使用 Dataproc 集群中的抢占式和非抢占式辅助工作器。

配置及运行作业

• 作业生命周期

  了解 Dataproc 作业限制。

• 排查作业延迟问题

  了解并避免导致作业延迟的常见原因。

• Persistent History Server

  了解 Dataproc 的 Persistent History Server。

• 可重启的作业

  创建在失败时重新启动的作业。非常适合长时间运行和流式传输作业。

• 在 Dataproc on GKE 上运行 Spark 作业

  创建 Dataproc on GKE 虚拟集群，然后在虚拟集群上运行 Spark 作业。

• 使用 Docker on YARN 自定义 Spark 作业运行时环境

  使用 Docker 映像自定义 Spark 作业环境。

• 使用 DataprocFileOutputCommitter 运行 Spark 作业

  使用 Dataproc 的增强型可配置开源 FileOutputCommitter 版本运行 Spark 作业。

配置集群

• 自动扩缩集群

  了解如何使用自动扩缩功能自动调整集群大小，以满足用户工作负载的需求。

• 自动选择可用区

  让 Dataproc 为您的集群选择一个地区。

• 集群缓存

  使用集群缓存以提高性能。

• 集群元数据

  了解 Dataproc 的集群元数据以及如何设置您自己的自定义元数据。

• 集群属性

  Dataproc 的开源组件的配置属性以及如何访问它们。

• 增强的灵活模式

  通过更改中间数据的保存位置来保持作业运行。

• 高可用性模式

  增加 HDFS 和 YARN 在服务不可用时的恢复能力

• 初始化操作

  指定安装时在所有或某些集群节点上运行的操作。

• 网络配置

  配置您的集群的网络。

• 扩缩集群

  即使在作业运行时，您也可以增加或减少集群中的工作器节点数。

• 计划删除

  在指定时间段之后或在指定时间删除集群。

• 安全配置

  启用集群安全功能。

• 机密计算

  创建具有机密虚拟机的集群。

• 客户管理的加密密钥 (CMEK)

  管理 Dataproc 集群和作业数据的加密密钥。

• Ranger Cloud Storage 插件

  将 Ranger Cloud Storage 插件与 Dataproc 搭配使用。

• Dataproc 服务帐号

  了解 Dataproc 服务帐号。

• 单节点集群

  创建仅具有一个节点的轻量级沙盒集群。

• 单租户节点集群

  在单租户节点上创建集群。

• 暂存存储分区和临时存储分区

  了解 Dataproc 暂存存储分区和临时存储分区。

连接器

• BigQuery 连接器

  在您的 Dataproc 集群上使用适用于 Apache Hadoop 的 BigQuery。

• BigQuery 连接器代码示例

  查看 BigQuery 代码示例。

• Bigtable 与 Dataproc

  将与 Cloud Bigtable Apache HBase 兼容的 API 用于您的 Dataproc 集群。

• Cloud Storage 连接器

  在集群上使用 Cloud Storage 连接器。

• Pub/Sub Lite 和 Dataproc

  将 Pub/Sub Lite 与 Dataproc 搭配使用。

数据存储

• Hadoop 数据存储

  了解 Dataproc 上的 Hadoop 数据存储。

Identity and Access Management (IAM)

• Dataproc 权限和 IAM 角色

  设置 IAM 角色以便用户和群组访问您的项目的 Dataproc 资源。

• Dataproc 主帐号和角色

  了解在集群上创建、管理和运行任务所需的 Dataproc 主体和角色。

• Dataproc Granular IAM

  设置粒度特定于集群的权限。

• Dataproc 个人集群身份验证

  设置个人集群身份验证。

• 基于 Dataproc 服务帐号的多租户

  设置多租户集群。

• 使用自定义限制条件管理 Dataproc 资源

  设置自定义限制条件以管理 Dataproc 资源。

Dataproc 区域端点

• 区域端点

  将区域端点用于 Dataproc 资源。

服务

• 服务

  了解 Dataproc 服务。

版本控制

• 概览

  了解 Dataproc 集群上使用的软件版本以及如何选择这些版本。

• 2.1.x 发布版本

  Dataproc 映像版本 2.1。

• 2.0.x 发布版本

  Dataproc 映像版本 2.0。

• 1.5.x 发布版本

  Dataproc 映像版本 1.5。

• 1.4.x 发布版本

  Dataproc 映像版本 1.4。

• Dataproc 集群映像版本列表

  Dataproc 集群中当前支持的版本列表。

工作流模板

• 概览

  了解工作流模板。

• 监控和调试工作流

  如何监控和调试工作流。

• 参数化

  了解如何参数化工作流模板。

• 使用 YAML 文件

  了解如何在工作流中使用 YAML 文件。

• 使用集群选择器

  了解如何在工作流中使用集群选择器。

• 使用内嵌工作流

  了解如何创建和运行内嵌工作流。

• 使用工作流

  了解如何设置和运行工作流。

• 工作流安排解决方案

  使用 Cloud Scheduler，Cloud Functions 和 Cloud Composer 运行工作流。