Cloud Data Fusion 简介：Cloud 控制台

本页介绍了 Cloud Data Fusion 控制台，也称为控制平面。它是一组 API 操作和一个 Google Cloud 控制台界面，可让您管理 Cloud Data Fusion 实例。例如，您可以使用控制台创建、删除、重启或更新实例。

准备工作

Cloud Data Fusion：Cloud 控制台概览

以下部分介绍了该控制台的重要方面。

实例

实例是 Cloud Data Fusion 的唯一部署。如需开始使用 Cloud Data Fusion，请在 Google Cloud 控制台中创建实例。您可以在单个Google Cloud 项目中创建多个 Cloud Data Fusion 实例。您可以为每个实例指定 Google Cloud 区域。每个实例都是一个独一无二的独立 Cloud Data Fusion 部署，该部署中包含一组用于处理流水线生命周期管理、编排、协调和元数据管理的服务。这些服务使用租户项目中的长时间运行资源运行。

创建实例时，请考虑以下选项。

版本

您可以在以下任一 Cloud Data Fusion 版本中创建实例：开发者版、基础版或企业版。请根据以下条件选择版本：

  • 费用
  • 流水线执行的并发限制
  • 基于角色的访问权限控制 (RBAC) 的适用范围

这些版本适用于以下用例：

Cloud Data Fusion 版本 使用场景
开发者版 适用于开发、测试或小规模集成
基本版 对于有中等需求的生产环境
企业版 适用于采用 RBAC 的关键任务型大规模数据流水线

公共或私有实例

根据您的要求，确定您需要的是公开实例还是私有实例。Cloud Data Fusion 中的私有实例与公共实例之间的主要区别在于网络连接和安全性：

Cloud Data Fusion 实例类型 行为
公共实例
  • 网络连接：使用公共 IP 地址连接到互联网。
  • 数据访问：直接访问公共互联网上的数据源。
如需了解详情，请参阅创建公共实例。
专用实例
  • 网络连接：使用虚拟私有云 (VPC) 网络中的专用 IP 地址。
  • 数据访问：需要预配置连接才能访问数据源。支持以下连接：
    • 通过 VPN 或 Cloud Interconnect 连接的本地数据源。
    • 在同一 VPC 中以私密方式运行的其他服务。 Google Cloud

授权和服务账号

Cloud Data Fusion 通常有两个服务账号：

设计时服务账号
此 Google 代管式服务账号（称为 Cloud Data Fusion API Service Agent）用于在 Cloud Data Fusion 的租户项目中访问客户项目资源。
执行时服务账号
这是 Cloud Data Fusion 创建的默认 Compute Engine 服务账号，用于部署访问其他Google Cloud 资源的作业。默认情况下，它会挂接到 Dataproc 集群虚拟机，以使 Cloud Data Fusion 在流水线运行期间能够访问 Dataproc 资源。

如需了解详情，请参阅 Cloud Data Fusion 中的服务账号。

日志记录和监控

Cloud Logging 和 Cloud Monitoring 对深入了解 Cloud Data Fusion 流水线的运行状况和性能至关重要。您只能在创建 Cloud Data Fusion 实例时启用日志记录和监控功能。

启用日志记录和监控后，您可以在 Google Cloud 控制台的日志查看器页面中查看 Cloud Data Fusion 流水线日志。

Monitoring 为 Cloud Data Fusion 提供了内置信息中心。您还可以创建自定义信息中心来监控特定指标。

与 Dataplex 通用目录的沿袭集成

Cloud Data Fusion 提供了与 Dataplex Universal Catalog 的集成，以便实现谱系。如需了解详情，请参阅在 Dataplex 通用目录中查看数据沿袭。

加密

借助客户管理的加密密钥 (CMEK)，您可以使用自己能够通过 Cloud Key Management Service 控制的密钥对静态数据进行加密。CMEK 让用户可以控制写入到租户项目中的内部资源的数据以及由 Cloud Data Fusion 流水线写入的数据。 Google Cloud 如需了解详情，请参阅客户管理的数据加密。

使用基于角色的访问权限控制 (RBAC) 管理权限

您可以使用 Identity and Access Management (IAM) 控制 Cloud Data Fusion。

如需针对在 Cloud Data Fusion 中执行的操作（“工作室”操作）授予精细权限，请使用 RBAC。如需了解详情，请参阅 RBAC 概览。

版本升级

Cloud Data Fusion 有多个版本。您可以在 Cloud Data Fusion 控制台中将实例升级到更高版本。如需了解详情，请参阅 Cloud Data Fusion 中的版本控制。

后续步骤