Cloud Data Fusion 提供了一个 Dataplex 接收器插件,用于将数据注入任何支持 Dataplex 的资产。
前期准备
- 如果您没有 Cloud Data Fusion 实例,请创建一个。此插件适用于在 Cloud Data Fusion 6.6 或更高版本中运行的实例。
- 用于提取数据的 BigQuery 数据集或 Cloud Storage 存储桶必须是 Dataplex 数据湖的一部分。
- 如需从 Cloud Storage 实体中读取数据,必须将 Dataproc Metastore 附加到数据湖。
- 不支持 Cloud Storage 实体中的 CSV 数据。
- 在 Dataplex 项目中,对子网启用专用 Google 访问通道(通常设置为
default
),或将internal_ip_only
设置为false
。
所需的角色
如需获取管理角色所需的权限,请让管理员向您授予对 Dataproc 服务帐号和 Google 代管式服务帐号 (service-CUSTOMER_PROJECT_NUMBER@gcp-sa- datafusion.iam.gserviceaccount.com
) 的以下 IAM 角色:
-
Dataplex Developer (
roles/dataplex.developer
) -
Dataplex Data Reader (
roles/dataplex.dataReader
) -
Dataproc Metastore Metadata User (
roles/metastore.metadataUser
) -
Cloud Dataplex Service Agent (
roles/dataplex.serviceAgent
) -
Dataplex Metadata Reader (
roles/dataplex.metadataReader
)
如需详细了解如何授予角色,请参阅管理访问权限。
将插件添加到流水线
在 Google Cloud 控制台中,转到 Cloud Data Fusion 实例页面。
通过此页面,您可以管理自己的实例。
点击查看实例,在 Cloud Data Fusion 界面中打开您的实例。
转到 Studio 页面,展开接收器菜单,然后点击 Dataplex。
配置插件
在 Studio 页面上将此插件添加到流水线后,点击 Dataplex 接收器以配置并保存其属性。
如需详细了解配置,请参阅 Dataplex 接收器参考文档。
可选:通过示例流水线开始使用
可用示例流水线,包括 SAP 来源到 Dataplex 接收器流水线,以及 Dataplex 来源到 BigQuery 接收器流水线。
如需使用示例流水线,请在 Cloud Data Fusion 界面中打开您的实例,点击中心 > 流水线,然后选择一个 Dataplex 流水线。系统会打开一个对话框,帮助您创建流水线。
运行流水线
部署流水线后,在 Cloud Data Fusion Studio 页面上打开流水线。
点击配置 > 资源。
可选:根据总体数据大小和流水线中使用的转换数量更改 Executor CPU 和 Memory。
点击保存。
如需启动数据流水线,请点击运行。
后续步骤
- 使用 Dataplex Source 插件通过 Cloud Data Fusion 处理数据。