条目和条目组是 Data Catalog 中的关键概念。
下图展示了条目和条目组在 Data Catalog 数据模型中的位置。
条目数
Data Catalog 条目表示数据资源:
- Google Cloud 资源,例如 BigQuery 数据集或表、Pub/Sub 主题等。
- 具有自定义数据类型的自定义资源。
您可以创建、搜索和管理您的条目。如需了解详情,请参阅为数据源创建自定义 Data Catalog 条目。
条目组
条目包含在条目组中。条目组是一组逻辑相关的条目以及 Identity and Access Management 政策,用于指定可以在条目组中创建、修改和查看条目的用户。
Data Catalog 会自动为 Google Cloud资源(例如 BigQuery [@bigquery
] 和 Pub/Sub 主题 [@pubsub
])创建条目组。
BigQuery 和 Pub/Sub 条目组是唯一的,因为您无法运行通常适用于自定义条目组的 API 函数。此类函数的一些示例包括检索项目中的条目组列表、检索条目组的基本信息,以及创建或删除代码。
您可以创建自己的条目组,以包含您的 Cloud Storage 文件集条目以及与这些条目关联的 IAM 政策。如需了解详情,请参阅使用文件集条目显示 Cloud Storage 中的文件。
与条目一样,您可以搜索条目组。
将数据资产映射到条目和条目组
请参阅以下表格,了解 Data Catalog 如何映射不同 Google Cloud 产品中的数据资产。
Dataproc Metastore 资源 | Data Catalog 资源 |
---|---|
服务 | 条目和条目组 |
数据库 | 条目 |
表 | 条目 |
Dataplex 资源 | Data Catalog 资源 |
---|---|
湖 | 条目和条目组 |
可用区 | 条目 |
表 | 条目 |
文件集 | 条目 |
Pub/Sub 资源 | Data Catalog 资源 |
---|---|
主题 | Pub/Sub 条目组中的条目 |
Bigtable 资源 | Data Catalog 资源 |
---|---|
实例 | 条目和条目组 |
集群 | 实例条目中的属性 |
表 | 实例条目组中的条目 |
列族 | 表条目中的属性 |
BigQuery 资源 | Data Catalog 资源 |
---|---|
数据集 | BigQuery 条目组中的条目 |
关联的数据集 | BigQuery 条目组中的条目 |
表 | BigQuery 条目组中的条目 |
查看 | BigQuery 条目组中的条目 |
模型 | BigQuery 条目组中的条目 |
例程 | BigQuery 条目组中的条目 |
连接 | BigQuery 条目组中的条目 |
Vertex AI 资源 | Data Catalog 资源 |
---|---|
模型 | Vertex AI 条目组中的条目 |
数据集 | Vertex AI 条目组中的条目 |
FeatureGroup | Vertex AI 条目组中的条目 |
FeatureOnlineStore | Vertex AI 条目组中的条目 |
FeatureView | Vertex AI 条目组中的条目 |