快速入门：创建数据湖

快速入门：创建数据湖

本页面介绍如何在 Google Cloud 控制台中开始使用 Dataplex，包括创建数据湖、添加区域和附加资产。

准备工作

注意 ：对于 Dataplex 用例，请勿创建或使用 ID 为 goog-dataproc-default-lake 的数据湖，ID goog-dataproc-default-lake 充当专用于 Dataproc 工作区的默认数据湖。Dataplex 探索不支持使用预留的数据湖名称。

1. 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手，请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

2. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

3. 确保您的 Google Cloud 项目已启用结算功能。

4. 启用 Dataplex、Dataproc、Dataproc Metastore、Data Catalog、BigQuery 和 Cloud Storage API。

   启用 API

5. 确保您拥有项目的以下一个或多个角色： roles/dataplex.admin, roles/dataplex.editor

   检查角色

   1. 在 Google Cloud 控制台中，前往 IAM 页面。

      转到 IAM
   2. 选择项目。

   3. 在主账号列中，找到您的电子邮件地址所在的行。

      如果您的电子邮件地址不在此列，则表示您没有任何角色。

   4. 在您的电子邮件地址所在的行对应的角色列中，检查角色列表是否包含所需的角色。

   授予角色

   1. 在 Google Cloud 控制台中，前往 IAM 页面。

      转到 IAM
   2. 选择项目。
   3. 点击 授予访问权限。
   4. 在新的主账号字段中，输入您的电子邮件地址。
   5. 在选择角色列表中，选择一个角色。
   6. 如需授予其他角色，请点击 添加其他角色，然后添加其他各个角色。
   7. 点击 Save（保存）。

6. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

7. 确保您的 Google Cloud 项目已启用结算功能。

8. 启用 Dataplex、Dataproc、Dataproc Metastore、Data Catalog、BigQuery 和 Cloud Storage API。

   启用 API

9. 确保您拥有项目的以下一个或多个角色： roles/dataplex.admin, roles/dataplex.editor

   检查角色

   1. 在 Google Cloud 控制台中，前往 IAM 页面。

      转到 IAM
   2. 选择项目。

   3. 在主账号列中，找到您的电子邮件地址所在的行。

      如果您的电子邮件地址不在此列，则表示您没有任何角色。

   4. 在您的电子邮件地址所在的行对应的角色列中，检查角色列表是否包含所需的角色。

   授予角色

   1. 在 Google Cloud 控制台中，前往 IAM 页面。

      转到 IAM
   2. 选择项目。
   3. 点击 授予访问权限。
   4. 在新的主账号字段中，输入您的电子邮件地址。
   5. 在选择角色列表中，选择一个角色。
   6. 如需授予其他角色，请点击 添加其他角色，然后添加其他各个角色。
   7. 点击 Save（保存）。
创建 Cloud Storage 存储桶：
1. 在 Google Cloud 控制台中，进入 Cloud Storage 存储桶页面。

   进入“存储桶”页面

2. 点击创建存储分区。
3. 在创建存储分区页面上，输入您的存储分区信息。要转到下一步，请点击继续。
   • 在指定存储分区的名称中，输入唯一的存储分区名称。请勿在存储分区名称中添加敏感信息，因为存储分区命名空间是全局性的，公开可见。
   • 对于选择数据存储位置，执行以下操作：
     • 选择位置类型选项。
     • 选择位置选项。
   • 对于为数据选择一个默认存储类别，选择以下项： Standard。
   • 对于选择如何控制对象的访问权限，请选择访问权限控制选项。
   • 对于高级设置（可选），请指定加密方法、保留政策或存储分区标签。
4. 点击创建。

创建数据湖

以下步骤介绍了如何使用 Google Cloud 控制台创建数据湖。

1. 前往 Google Cloud 控制台中的 Dataplex。

   进入 Dataplex

2. 进入管理视图。

3. 点击 创建。

4. 输入显示名称。

5. 系统会自动为您生成数据湖 ID。

6. 指定要在其中创建数据湖的区域。

   对于在给定区域（例如 us-central1）中创建的数据湖，可以根据区域设置附加单区域 (us-central1) 数据和多区域 (us multi-region) 数据。

7. 点击创建。

向数据湖添加区域

创建数据湖后，您可以向数据湖添加区域。可用区是非结构化数据和结构化数据的逻辑分组。

1. 在管理视图中，点击您要添加区域的数据湖名称。

2. 点击 添加区域。

3. 输入区域的显示名称。

   注意 ：系统会自动为您生成区域 ID。如果需要，您可以提供自己的 ID。

4. 点击类型下拉菜单。选择原始区域或精选区域。详细了解可用区类型。

5. 在数据位置下，选择区域级或多区域。 选择后便无法更改。单区域数据和多区域数据不能混合到同一可用区。

   注意 ：发现功能默认处于启用状态。点击展开发现设置，然后查看启用元数据发现处于选中状态。详细了解发现。

6. 点击创建。

创建区域可能需要几分钟时间。

附加素材资源

数据可以存储在 Cloud Storage 存储分区或 BigQuery 数据集中，并且可以作为资产附加到 Dataplex 数据湖内的数据可用区。

按照以下步骤将您之前创建的 Cloud Storage 存储桶作为资源附加。

1. 在管理视图中，点击要将 Cloud Storage 存储桶附加到的数据湖的名称。

2. 在区域标签页上，点击要添加资产的区域。

3. 在 Assets 标签页上，点击 Add Assets。

4. 点击添加素材资源。

5. 在类型下，选择存储桶。

6. 在显示名称下，输入素材资源的名称。

   注意 ：系统会自动为您生成资产 ID。如果需要，您可以提供自己的 ID。

7. 在存储分区字段中，点击浏览。如果您有 Cloud Storage 存储桶，请找到该存储桶并点击选择。如果您没有 Cloud Storage 存储桶，可以点击 按钮创建一个。

   1. 为存储桶输入一个唯一的名称。点击继续。

   2. 选择位置类型。点击继续。

   3. 选择数据的默认存储类别。点击继续。

   4. 选择访问权限控制级别。点击继续。

   5. 选择一个数据保护选项或无。点击继续。

   6. 点击创建。

   7. 点击选择

8. 点击完成。

9. 点击继续。

10. 在发现设置下，选择继承以从区域级别继承发现设置。

11. 点击继续。

12. 在添加素材资源下，点击提交。

等待素材资源创建完成。

注意 ：如需使用数据湖，请参阅后续步骤部分。

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用，请按照以下步骤操作。

警告：删除项目会产生以下影响

• 项目中的所有内容都会被删除。如果您将现有项目用于本文档中的任务，则删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算探索多个架构、教程或快速入门，则重复使用项目可以帮助您避免超出项目配额限制。

1. 在 Google Cloud 控制台中，进入管理资源页面。

   转到“管理资源”

2. 如果您打算删除的项目已附加到某个组织，请展开名称列中的组织列表。
3. 在项目列表中，选择要删除的项目，然后点击删除。
4. 在对话框中输入项目 ID，然后点击关闭以删除项目。

或者，您也可以删除本教程中使用的资源。除非删除湖下的所有数据可用区资源，否则无法删除数据湖。同样，除非已删除数据可用区下的所有资产资源，否则无法删除数据可用区：

分离存储桶

以下步骤介绍了如何分离您创建的 Dataplex 资产。

1. 前往 Google Cloud 控制台中的 Dataplex。

   进入 Dataplex

2. 在管理视图中，点击您创建的数据湖的名称。

3. 在区域标签页中，点击您创建的区域的名称。

4. 在资产标签页中，勾选存储桶名称左侧的复选框，以选择要分离的资产。

5. 点击删除资产。

6. 点击删除以确认分离。

删除区域

以下步骤介绍了如何删除您创建的 Dataplex 区域。

1. 前往 Google Cloud 控制台中的 Dataplex。

   进入 Dataplex

2. 在管理视图中，点击您创建的数据湖。

3. 在区域标签页上，通过勾选数据区域名称左侧的复选框，选择要删除的区域。

4. 点击删除区域。

5. 再次点击删除，确认删除该规则。

删除数据湖

以下步骤介绍了如何删除您创建的 Dataplex 数据湖。

1. 前往 Google Cloud 控制台中的 Dataplex。

   进入 Dataplex

2. 在管理视图中，点击您创建的数据湖。

3. 点击页面顶部的删除。

4. 在文本框中输入“delete”以确认删除。

5. 点击删除数据湖以确认删除。

后续步骤

创建数据湖、区域和资产后，您可以：

• 按数据湖和可用区整理数据。
• 保护您的数据湖。
• 使用 Google Cloud 控制台查看发现的元数据。
• 使用 API 查看发现的元数据。