Cloud Data Fusion 简介:控制台

本页面介绍了 Cloud Data Fusion:控制台,也称为 控制平面。它是一组API 操作和 Google Cloud 控制台界面 可让您管理 Cloud Data Fusion 实例。例如,使用 您可以创建、删除、重启或更新实例。

准备工作

Cloud Data Fusion:Cloud 控制台概览

以下部分介绍了该控制台的重要方面。

实例

实例是 Cloud Data Fusion 的唯一部署。如需开始使用 Cloud Data Fusion,您需要在 Google Cloud 控制台中创建一个实例。您可以在单个文件中创建多个 Cloud Data Fusion 实例 Google Cloud 项目。你可以为每个集群 实例。每个实例都是唯一且独立的 Cloud Data Fusion Deployment,其中包含一组用于处理流水线生命周期的服务 管理、编排、协调和元数据管理。这些服务 租户项目

创建实例时,请考虑以下选项。

版本

您可以在以下某个 Cloud Data Fusion 版本中创建该实例: 开发者版、基本版或企业版。 请根据以下条件选择版本:

  • 费用
  • 流水线执行的并发限制
  • 基于角色的访问权限控制 (RBAC) 可用性

这些版本适用于以下用例:

Cloud Data Fusion 版本 使用场景
开发者版 用于开发、测试或小规模集成
基本版 适用于具有中等需求的生产环境
企业版 使用 RBAC 构建大规模的任务关键型数据流水线

公共实例或私有实例

根据您的要求,决定需要公开还是不公开 实例。专用实例与公共实例在 Cloud Data Fusion 的网络连接和安全性:

Cloud Data Fusion 实例类型 行为
公共实例
  • 网络连接:使用公共 IP 地址 需要连接到互联网。
  • 数据访问:直接访问 公共互联网。
如需了解详情,请参阅创建公共实例
专用实例
  • 网络连接:使用专用 IP 地址 虚拟私有云 (VPC) 网络中。
  • 数据访问:需要预配置连接才能访问数据源。支持以下连接:
    • 通过 VPN 或 Cloud Interconnect。
    • 在同一位置以私密方式运行的其他 Google Cloud 服务 VPC。

授权和服务账号

Cloud Data Fusion 通常有两个服务账号:

设计时服务账号
此由 Google 管理的服务账号,名为 Cloud Data Fusion API 服务 代理,用于在 Cloud Data Fusion 的租户项目中访问 客户项目资源。
执行时服务账号
这是默认 Compute Engine 服务账号, Cloud Data Fusion 为部署可访问其他 Google Cloud 资源。默认情况下,它会连接到 使 Cloud Data Fusion 能够访问 Dataproc 所需的集群虚拟机 管理资源

如需了解详情,请参阅 Cloud Data Fusion 中的服务账号

日志记录和监控

Cloud Logging 和 Cloud Monitoring 对于深入了解数据的健康状况和 Cloud Data Fusion 流水线的性能。您启用 Logging 和 Monitoring。

启用 Logging 和 Monitoring 后,您可以查看 Google Cloud 控制台中的 Cloud Data Fusion 流水线日志 Logging 查看器页面。

Monitoring 提供内置信息中心,供您 Cloud Data Fusion。您还可以创建自定义信息中心 特定指标

Lineage 与 Dataplex 集成

Cloud Data Fusion 提供了与 Dataplex 的集成,以实现沿袭。如需了解详情,请参阅在 Dataplex 中查看沿袭

加密

借助客户管理的加密密钥 (CMEK),您可以使用自己能够通过 Cloud Key Management Service 控制的密钥对静态数据进行加密。CMEK 提供用户控制机制 针对写入租户项目中 Google Cloud 内部资源的数据 和由 Cloud Data Fusion 流水线写入的数据。如需了解详情,请参阅客户管理的数据加密

使用基于角色的访问权限控制 (RBAC) 管理权限

借助 Cloud Data Fusion,您可以使用 Identity and Access Management (IAM) 进行控制。

如需为在 Cloud Data Fusion 中执行的操作设定精细权限:Studio 请使用 RBAC。有关详情,请参阅 RBAC 概览

版本升级

Cloud Data Fusion 有多个版本。您可以将实例升级到 版本。如需了解详情,请参阅 Cloud Data Fusion 中的版本控制

后续步骤