分析 Amazon S3 数据

本页介绍了如何为 Amazon S3 配置敏感数据保护发现功能。

如需详细了解发现服务，请参阅数据配置文件。

只有在企业层级激活了 Security Command Center 的客户才能使用此功能。

准备工作

1. 在 Security Command Center 中，为 Amazon Web Services (AWS) 创建连接器。请勿取消选中为 Sensitive Data Protection 发现服务授予权限复选框。敏感数据保护功能需要这些权限才能分析您的 Amazon S3 数据。

   如果您已有连接器未选择为 Sensitive Data Protection 发现服务授予权限，请参阅向现有 AWS 连接器授予敏感数据发现权限。

2. 确认您拥有在组织级别配置数据剖析文件所需的 IAM 权限。

   如果您没有“Organization Administrator”(roles/resourcemanager.organizationAdmin) 或“Security Admin”(roles/iam.securityAdmin) 角色，仍然可以创建扫描配置。不过，在您创建扫描配置后，必须由拥有任一角色的人员向您的服务代理授予数据分析访问权限。

3. 确认您在 global 区域或您计划存储发现扫描配置和所有生成的数据分析文件的区域中拥有检查模板。

   通过此任务，您可以仅在 global 区域自动创建检查模板。如果组织政策阻止您在 global 区域创建检查模板，那么在执行此任务之前，您必须在计划存储发现扫描配置的区域创建检查模板。

4. 如需在发生特定事件（例如敏感数据保护分析表分析新存储桶时）向某个主题发送 Pub/Sub 通知，请先创建 Pub/Sub 主题，然后再执行此任务。

如需生成数据剖析文件，您需要服务代理容器和服务代理。您可以通过此任务自动创建这些报告。

创建扫描配置

1. 转到创建扫描配置页面。

   转到“创建扫描配置”

2. 前往您的组织。在工具栏上，点击项目选择器，然后选择您的组织。

以下部分详细介绍了创建扫描配置页面中的步骤。在每个部分结束时，点击继续。

选择发现类型

选择 Amazon S3。

选择范围

执行下列其中一项操作：

• 如需扫描 AWS 连接器有权访问的所有 S3 数据，请选择通过连接器扫描所有可用的 AWS 账号。
• 如需扫描单个 AWS 账号中的 S3 数据，请选择扫描所选账号。然后，输入 AWS 账号 ID。
• 如需扫描单个 S3 存储桶，请选择扫描一个存储桶。 输入包含该存储桶的 AWS 账号的 ID，然后输入存储桶名称。

管理时间表

如果默认性能分析频率符合您的需求，您可以跳过创建扫描配置页面的此部分。

配置此部分的原因如下：

• 对所有数据或特定数据子集的性能分析频率进行精细调整。
• 指定您不想分析的令牌桶。
• 指定您不想多次分析的存储分区。

如需对性能分析频率进行精细调整，请按以下步骤操作：

1. 点击添加时间表。

   注意 ：如果您选择单个存储桶作为此配置的范围，则无法添加时间表。您只能修改默认时间表。此外，您无法指定过滤条件。您只能修改分析的频率和条件。

2. 在过滤条件部分中，定义一个或多个过滤条件，指定哪些存储分区在时间表的范围内。

   请至少指定以下其中一项：

   • 账号 ID 或用于指定一个或多个账号 ID 的正则表达式
   • 存储桶名称或用于指定一个或多个存储桶的正则表达式

   正则表达式必须遵循 RE2 语法。

   例如，如果您希望将某个账号中的所有存储分区包含在过滤条件中，请在 Account ID 字段中输入该账号的 ID。

   如需添加更多过滤条件，请点击添加过滤条件，然后重复此步骤。

3. 点击频次。

4. 在频率部分，指定是否要对您选择的分桶进行性能分析，以及分析的频率：

   • 如果您不希望对这些存储分区进行分析，请关闭对此类数据进行分析。

   • 如果您希望至少对这些存储分区进行一次性能分析，请让对此类数据进行性能分析保持启用状态。

     指定是否重新分析数据，以及哪些事件应触发重新分析操作。如需了解详情，请参阅数据配置文件生成频率。

     1. 对于按计划，请指定要对分桶重新分析的频率。无论这些分桶是否发生了任何更改，系统都会重新对其进行性能分析。
     2. 对于检查模板发生更改时，请指定您是否希望在关联的检查模板更新时重新分析数据，如果是，则指定重新分析的频率。
        注意：您可以在本页面的选择检查模板步骤中指定要使用的检查模板。

        当发生以下任一情况时，系统会检测到检查模板更改：

        • 扫描配置中的检查模板名称发生更改。
        • 检查模板的 updateTime 发生更改。

5. 可选：点击条件。

   在条件部分，指定在敏感数据保护对过滤条件中定义的分桶进行分析之前，这些分桶必须满足的任何条件。

   根据需要设置以下内容：

   • 最低条件：如果您希望在存储桶达到特定年龄后再对其进行分析，请启用此选项。然后，输入最短时长。

     注意 ：如果您选择了单个存储桶作为此配置的范围，则无法设置此条件。

   • 对象存储类别条件：默认情况下，Sensitive Data Protection 会扫描存储桶中的所有对象。如果您只想扫描具有特定属性的对象，请选择这些属性。

   示例条件

   假设您采用以下配置：

   • 最低条件

     • 最短时长：24 小时

   • 对象存储类别条件

     • 扫描具有 S3 Standard 对象存储类别的对象
     • 扫描具有 S3 Glacier Instant Retrieval 存储类别的对象

   在这种情况下，敏感数据保护功能仅会考虑至少已存在 24 小时的存储分区。在这些存储分区中，敏感数据保护功能仅会对 Amazon S3 标准存储类别或 Amazon S3 Glacier 即时检索存储类别中的对象进行配置文件分析。

6. 点击完成。

7. 如果您想添加更多时间表，请点击添加时间表，然后重复上述步骤。

8. 如需指定时间表之间的优先级，请使用 向上键和 向下键对其重新排序。

   时间表的顺序指定了如何解决时间表之间的冲突。如果某个分桶与两个不同时间表的过滤条件匹配，则时间表列表中排名更高的那个时间表将决定该分桶的性能分析频率。

   注意 ：如果您的发现功能定价模式为订阅模式，Sensitive Data Protection 分析数据的速率会受到您购买的容量的影响。如需确定您的每日性能分析容量，请参阅监控利用率。如果您预配的容量不足，系统可能不会遵循您在时间表中设置的性能分析频率。如果有待分析的存储分区积压，则敏感数据保护功能不会按照时间表顺序分析积压的存储分区。而是会在队列中为范围内的所有令牌桶分配随机槽位。

   列表中的最后一项时间表始终标记为默认时间表。此默认时间表涵盖您所选范围中与您创建的任何时间表都不匹配的存储分区。此默认时间表遵循系统默认的性能分析频率。

9. 如果您想调整默认时间表，请点击 修改时间表，然后根据需要调整设置。

选择检查模板

根据您希望提供检查配置的方式，选择以下选项之一。无论您选择哪个选项，敏感数据保护功能都会扫描数据存储区域中的数据。也就是说，您的数据不会离开其来源区域。

选项 1：创建检查模板

如果您想在 global 区域创建新的检查模板，请选择此选项。

1. 点击创建新的检查模板。

2. 可选：如需修改 infoType 的默认选择，请点击管理 infoType。

   如需详细了解如何管理内置和自定义 infoType，请参阅通过 Google Cloud 控制台管理 infoType。

   您必须至少选择一种 infoType，才能继续。

3. 可选：通过添加规则集并设置置信度阈值，进一步配置检查模板。如需了解详情，请参阅配置检测。

Sensitive Data Protection 创建扫描配置时，会将此新检查模板存储在 global 区域。

选项 2：使用现有的检查模板

如果您有要使用的现有检查模板，请选择此选项。

1. 点击选择现有的检查模板。
2. 输入您要使用的检查模板的完整资源名称。 Region（区域）字段会自动填充检查模板存储所在区域的名称。

   您输入的检查模板必须与您计划存储此发现扫描配置和所有生成的数据分析文件的区域相同。

   为了遵循数据驻留要求，敏感数据保护不会在存储检查模板的区域之外使用该模板。

   如需查找检查模板的完整资源名称，请按以下步骤操作：

   1. 转到检查模板列表。系统会在另一个标签页中打开此页面。

      前往“检查模板”页面

   2. 切换到包含您要使用的检查模板的项目。
   3. 在模板标签页上，点击要使用的模板的 ID。
   4. 在打开的页面上，复制模板的完整资源名称。完整资源名称采用以下格式：

      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID

   5. 在创建扫描配置页面的模板名称字段中，粘贴模板的完整资源名称。

添加操作

在以下部分中，您可以指定敏感数据保护在生成数据剖析文件后要执行的操作。

如需了解其他 Google Cloud 服务在您配置操作时可能会收取的费用，请参阅导出数据配置文件的价格。

发布到 Google Security Operations

从数据配置文件中收集的指标可以为您的安全操作添加背景信息。添加的背景信息有助于您确定最需要解决的安全问题。

例如，如果您要调查特定服务代理，则可以确定该服务代理访问了哪些资源，以及其中是否有任何资源包含高敏感度数据。

如需将数据分析文件发送到 Security Command Center Enterprise 的 Google Security Operations 组件，请开启发布到 Chronicle。

发布到 Security Command Center

在 Security Command Center 中对漏洞和威胁发现结果进行分类并制定响应计划时，数据配置文件中的发现结果可提供背景信息。

注意 ：您还可以配置 Security Command Center，以便根据资源包含的数据的计算敏感度，自动为攻击路径模拟功能确定资源的优先级。如需了解详情，请参阅自动按数据敏感度设置资源优先级值。

如需将数据分析结果发送到 Security Command Center，请确保发布到 Security Command Center 选项处于开启状态。

如需了解详情，请参阅将数据分析文件发布到 Security Command Center。

将数据配置文件副本保存到 BigQuery

启用将数据剖析文件副本保存到 BigQuery 后，您可以保留所有生成的配置文件的已保存副本或历史记录。这对于创建审核报告和可视化数据配置文件非常有用。您还可以将这些信息加载到其他系统。

此外，使用此选项，您可以在一个视图中查看所有数据剖析文件，而不考虑数据位于哪个区域。如果关闭此选项，您仍然可以在 Google Cloud 控制台中查看数据剖析文件。不过，在 Google Cloud 控制台中，您一次只能选择一个区域，并且只能查看该区域的数据剖析文件。

注意 ：敏感数据保护功能无法对存储桶进行配置文件分析时，会定期重试。为了最大限度地减少导出数据中的噪声，Sensitive Data Protection 仅将成功生成的剖析文件导出到 BigQuery。

如需将数据剖析文件的副本导出到 BigQuery 表，请按以下步骤操作：

1. 启用将数据分析文件副本保存到 BigQuery。

2. 输入要保存数据剖析文件的 BigQuery 表的详细信息：

   • 在项目 ID 中，输入您要将数据配置文件导出到的现有项目的 ID。

   • 在 Dataset ID 中，输入您希望将数据集配置文件导出到的项目中现有数据集的名称。

   • 在表 ID 中，输入要将数据剖析文件导出到的 BigQuery 表的名称。如果您尚未创建此表，Sensitive Data Protection 会使用您提供的名称自动为您创建此表。

从您开启此选项开始，Sensitive Data Protection 就会开始导出配置文件。在您启用导出功能之前生成的配置文件不会保存到 BigQuery。

注意： 您的服务代理必须对输出表具有写入权限。如果您尚未创建服务代理，则可以稍后在 Create scan configuration（创建扫描配置）页面中通过敏感数据保护功能创建一个。

发布到 Pub/Sub

开启发布到 Pub/Sub 后，您可以根据性能分析结果执行程序化操作。您可以使用 Pub/Sub 通知制定工作流，以发现和修复存在重大数据风险或敏感性的发现。

如需向 Pub/Sub 主题发送通知，请按以下步骤操作：

1. 开启发布到 Pub/Sub。

   系统会显示一个选项列表。每个选项都描述了导致敏感数据保护功能向 Pub/Sub 发送通知的事件。

2. 选择应触发 Pub/Sub 通知的事件。

   如果您选择每当更新配置文件时就发送 Pub/Sub 通知，则当配置文件中的敏感度级别、数据风险级别、检测到的 infoType、公开访问权限和其他重要指标发生变化时，敏感数据保护功能会发送通知。

3. 对于您选择的每项事件，请按以下步骤操作：

   1. 输入主题的名称。名称必须采用以下格式：

      projects/PROJECT_ID/topics/TOPIC_ID
      

      替换以下内容：

      • PROJECT_ID：与 Pub/Sub 主题关联的项目的 ID。
      • TOPIC_ID：Pub/Sub 主题的 ID。

   2. 指定是在通知中包含完整的存储桶配置文件，还是仅包含配置文件所涵盖的存储桶的完整资源名称。

   3. 设置敏感数据保护功能必须达到的最低数据风险等级和敏感程度，才能发送通知。

   4. 指定必须同时满足数据风险和敏感性条件，还是只满足其中一个条件即可。例如，如果您选择 AND，则必须同时满足数据风险和敏感性条件，Sensitive Data Protection 才会发送通知。

注意： 您的服务代理必须对 Pub/Sub 主题拥有 发布权限。具有发布权限的角色示例包括 Pub/Sub Publisher 角色 (roles/pubsub.publisher)。如果您还没有服务代理，则可以稍后在创建扫描配置页面中使用敏感数据保护功能创建一个。如果 Pub/Sub 主题存在配置或权限问题，敏感数据保护功能最多会重试两周来发送 Pub/Sub 通知。两周后，系统会舍弃该通知。

管理服务代理容器和结算

在本部分中，您将指定要用作服务代理容器的项目。您可以让敏感数据保护功能自动创建新项目，也可以选择现有项目。

无论您是使用新创建的服务代理还是重复使用现有服务代理，请确保该代理对要分析的数据具有读取权限。

自动创建项目

如果您没有在组织中创建项目所需的权限，则需要改为选择现有项目或获取所需权限。如需了解所需的权限，请参阅在组织或文件夹级层使用数据剖析文件所需的角色。

如需自动创建一个用作服务代理容器的项目，请按以下步骤操作：

1. 在服务代理容器字段中，查看建议的项目 ID，并根据需要进行修改。
2. 点击创建。
3. 可选：更新默认项目名称。

4. 选择要对与此新项目相关的所有可计费操作（包括与发现无关的操作）付费的账号。

   注意： 即使您已经拥有组织级发现广告订阅，仍需要使用此结算账号才能创建项目。不过，对于所有发现操作，系统都会通过与您的订阅关联的项目向您收费。

5. 点击创建。

Sensitive Data Protection 会创建新项目。此项目中的服务代理将用于向 Sensitive Data Protection 和其他 API 进行身份验证。

选择现有项目

如需选择现有项目作为服务代理容器，请点击服务代理容器字段，然后选择相应项目。

设置用于存储配置的位置

点击资源位置列表，然后选择要存储此扫描配置的区域。您日后创建的所有扫描配置也会存储在此位置。

您选择存储扫描配置的位置不会影响要扫描的数据。系统会扫描存储数据的同一个区域中的数据。如需了解详情，请参阅数据驻留注意事项。

注意 ：如果您已有现有扫描配置，则无法更改在此字段中设置的值。所有扫描配置都存储在同一位置。如果您想更改所有扫描配置的位置，则必须删除这些配置，重新创建它们，并将其存储在新位置。

查看并创建配置

1. 如果您想确保在创建扫描配置后系统不会自动开始分析，请选择在暂停模式下创建扫描。

   此选项适用于以下情况：

   • 您的 Google Cloud 管理员仍需要向服务代理授予数据分析访问权限。
   • 您要创建多项扫描配置，并且希望某些配置替换其他配置。
   • 您选择将数据分析文件保存到 BigQuery，并希望确保服务代理对输出表具有写入权限。
   • 您已配置 Pub/Sub 通知，并希望向服务代理授予发布权限。
2. 检查设置，然后点击创建。

   Sensitive Data Protection 会创建扫描配置并将其添加到发现扫描配置列表中。

如需查看或管理扫描配置，请参阅管理扫描配置。

注意：我们会定期改进检测算法。如果我们发现您的组织或项目能够受益于我们实施的新改进，我们可能会自动重新生成您的数据剖析结果，并重新执行您的扫描配置中的操作。这样的操作不会造成 Sensitive Data Protection 计费。但是由于我们重新执行了操作，使用的其他 Google Cloud 服务可能会产生费用。例如，如果您将 Sensitive Data Protection 配置为将数据剖析结果保存到 BigQuery，则可能会产生 BigQuery 费用。

后续步骤

• 如果您没有“Organization Administrator”(roles/resourcemanager.organizationAdmin) 或“Security Admin”(roles/iam.securityAdmin) 角色，则必须由具有其中一个角色的用户向您的服务代理 授予数据分析权限。
• 了解如何管理数据分析文件。
• 了解如何管理扫描配置。
• 了解如何接收和解析数据性能分析器发布的 Pub/Sub 消息。
• 了解如何排查数据分析文件存在的问题。