本页面介绍了 Cloud Data Fusion:控制台,也称为 控制平面。它是一组 API 操作和一个 Google Cloud 控制台界面,可让您管理 Cloud Data Fusion 实例。例如,使用 您可以创建、删除、重启或更新实例。
准备工作
- 启用 Cloud Data Fusion API。
- 了解 Cloud Data Fusion 版本的费用。
- 了解 Google Cloud 中的访问权限控制和服务账号 Cloud Data Fusion。
Cloud Data Fusion:控制台概览
以下部分介绍了控制台的一些重要方面。
实例
实例是 Cloud Data Fusion 的唯一部署。要开始使用 Cloud Data Fusion,您可以在 Google Cloud 控制台中创建实例。 您可以在单个文件中创建多个 Cloud Data Fusion 实例 Google Cloud 项目。你可以为每个集群 实例。每个实例都是唯一且独立的 Cloud Data Fusion Deployment,其中包含一组用于处理流水线生命周期的服务 管理、编排、协调和元数据管理。这些服务使用租户项目中的长时间运行资源运行。
创建实例时,请考虑以下选项。
版本
您可以在以下某个 Cloud Data Fusion 版本中创建该实例: 开发者版、基本版或企业版。 请根据以下条件选择版本:
- 费用
- 流水线执行的并发限制
- 基于角色的访问权限控制 (RBAC) 可用性
这些版本适用于以下用例:
Cloud Data Fusion 版本 | 使用场景 |
---|---|
开发者版 | 适用于开发、测试或小规模集成 |
基本版 | 适用于具有中等需求的生产环境 |
企业版 | 使用 RBAC 构建大规模的任务关键型数据流水线 |
公共实例或私有实例
根据您的要求,决定您是需要公开文件还是 实例。专用实例与公共实例在 Cloud Data Fusion 的网络连接和安全性:
Cloud Data Fusion 实例类型 | 行为 |
---|---|
公共实例 |
|
专用实例 |
|
授权和服务账号
Cloud Data Fusion 通常有两个服务账号:
- 设计时服务账号
- 此由 Google 管理的服务账号,名为 Cloud Data Fusion API 服务 代理,用于在 Cloud Data Fusion 的租户项目中访问 客户项目资源。
- 执行时服务账号
- 这是默认 Compute Engine 服务账号, Cloud Data Fusion 为部署可访问其他 Google Cloud 资源。默认情况下,它会连接到 使 Cloud Data Fusion 能够访问 Dataproc 所需的集群虚拟机 管理资源
如需了解详情,请参阅 Cloud Data Fusion 中的服务账号。
日志记录和监控
Cloud Logging 和 Cloud Monitoring 对于深入了解数据的健康状况和 Cloud Data Fusion 流水线的性能。您只能在创建 Cloud Data Fusion 实例时启用日志记录和监控功能。
启用日志记录和监控后 Google Cloud 控制台中的 Cloud Data Fusion 流水线日志 Logging 查看器页面。
Monitoring 提供内置信息中心,供您 Cloud Data Fusion。您还可以创建自定义信息中心 特定指标
Lineage 与 Dataplex 集成
Cloud Data Fusion 可与 Dataplex 集成,以便 沿袭。如需了解详情,请参阅在 Dataplex 中查看沿袭。
加密
借助客户管理的加密密钥 (CMEK),可利用 可通过 Cloud Key Management Service 控制的密钥。CMEK 提供用户控制机制 针对写入租户项目中 Google Cloud 内部资源的数据 和由 Cloud Data Fusion 流水线写入的数据。如需了解详情,请参阅 由客户管理的数据加密。
使用基于角色的访问权限控制 (RBAC) 管理权限
借助 Cloud Data Fusion,您可以使用 Identity and Access Management (IAM) 进行控制。
如需为在 Cloud Data Fusion 中执行的操作设定精细权限:Studio 请使用 RBAC。有关详情,请参阅 RBAC 概览。
版本升级
Cloud Data Fusion 有多个版本。您可以将实例升级到 版本。如需了解详情,请参阅 Cloud Data Fusion 中的版本控制。
后续步骤
- 详细了解 Cloud Data Fusion:Studio。