Feed 管理用户指南

概览和前提条件

借助 Chronicle Feed 管理功能，您可以为 Chronicle 帐号创建和管理数据 Feed。Feed 管理界面是基于 Feed Management API 构建的。如需了解更多信息，请参阅 Feed Management API 文档。

每个数据 Feed 都有自己的一组前提条件，在 Chronicle 中设置 Feed 之前必须完成这些前提条件。Feed Management API 文档的按类型划分的 Feed 配置部分列出了这些前提条件。搜索您需要设置的数据 Feed 类型，然后按照所提供的说明进行操作。

删除源文件

如概览部分所述，不同类型的 Feed 具有不同的前提条件。

对于多种 Feed 类型（包括 Cloud Storage），新增或修改 Feed 工作流中提供了一个名为源删除选项的字段。这是一个包含以下三个选项的下拉菜单：

1. 永不删除文件
2. 删除传输的文件和空目录
3. 删除传输的文件

方法 2 和 3 涉及删除：一个用于删除文件，一个用于文件及任何空目录。如果您选择上述任一选项，则需要添加特定于您的 Feed 类型的权限（具体可参阅 Feed Management API 文档的按类型配置 Feed 配置部分）。

通过此选项，您可以在转移对象后将其从存储系统中删除。Feed 始终会记住它们已传输哪些对象（或文件），且绝不会两次传输同一文件（除非已更新），但如果您希望系统在（成功）传输源对象后将其删除，则必须设置此选项。

Microsoft Azure Blob Storage 不支持删除源文件。以下来源删除选项不得与 Microsoft Azure Blob Storage 来源类型一起使用：

• 删除传输的文件和空目录
• 删除传输的文件

使用 Microsoft Azure Blob Storage 源创建 Feed 时，请仅选择永不删除文件选项。

创建和修改 Feed

如需访问 Feed 管理界面，请按以下步骤操作：

1. 点击导航栏中的设置。

2. 在设置下，点击 Feed。

除了您已配置的 Feed 之外，该页面上列出的数据 Feed 还包含 Google 为您的帐号配置的所有 Feed。

添加 Feed

如需向您的 Chronicle 帐号添加 Feed，请完成以下步骤。在尝试在此处添加新 Feed 之前，请务必满足您要添加的数据 Feed 类型的前提条件。如需了解详情，请参阅概览和前提条件部分。

您最多可以为每种日志类型添加五个 Feed。

1. 点击 Add New（新增）。此时会显示“添加 Feed”窗口。

2. 从设置属性标签页开始，从下拉菜单中选择来源类型。来源类型是您打算用于将数据引入 Chronicle 的机制。您可以从以下 Feed 来源类型中进行选择：

   • Amazon S3
   • Amazon SQS
   • Google Cloud Storage
   • HTTP(S) 文件（非 API）
   • Microsoft Azure Blob Storage
   • 第三方 API
   注意 ：对于 Amazon SQS，请确保启用 Chronicle 的权限，以便能够删除 Amazon SQS 队列消息。

3. 从下拉菜单中选择日志类型。可用的日志因您之前选择的来源类型而异。点击下一步。

   如果选择 Google Cloud Storage 作为来源类型，请使用获取服务帐号选项获取唯一的服务帐号。在本文档中，请参阅 Google Cloud Storage Feed 设置示例。

   

   图 2. 日志类型选择

4. 在输入参数标签页中指定所需的参数。此处显示的选项因在设置属性标签页上选择的来源和日志类型而异。将指针悬停在每个字段的问号图标上，即可详细了解您需要提供的信息。

5. （可选）您可以在此处指定命名空间。如需详细了解命名空间，请参阅资产命名空间文档。

6. 点击下一步。

7. 在敲定标签页中，检查新的 Feed 配置。准备就绪后，点击提交。Chronicle 完成了新 Feed 的验证检查。如果 Feed 通过检查，系统会为该 Feed 生成一个名称，并将其提交到 Chronicle，Chronicle 将开始尝试提取数据。

   

   图 4. 完成 Feed 请求

Google Cloud Storage Feed 设置示例

1. 从 Chronicle 菜单中，选择 Settings（设置），然后点击 Feed（Feed）。
2. 点击 Add New（新增）。
3. 选择 Google Cloud Storage 作为来源类型。
4. 选择日志类型。例如，如需为 Google Kubernetes Engine 审核日志创建 Feed，请选择 Google Kubernetes Engine 审核日志作为日志类型。
5. 点击获取服务帐号。Chronicle 提供了一个唯一的服务帐号，供 Chronicle 用于注入数据。
6. 为服务帐号配置访问 Cloud Storage 对象的权限。 在本文档中，请参阅授予对 Chronicle 服务帐号的访问权限。
7. 点击下一步。
8. 根据您创建的 Cloud Storage 配置，为以下字段指定值：
   • 存储桶 URI
   • URI 是一种
   • 源删除选项
9. 点击下一步，然后点击提交。

授予对 Chronicle 服务帐号访问权限

1. 在 Google Cloud 控制台中，进入 Cloud Storage 存储桶页面。
   

   进入“存储桶”

2. 向服务帐号授予相关 Cloud Storage 对象的访问权限。

   • 如需授予对特定文件的读取权限，请完成以下步骤：

     1. 选择相应文件，然后点击编辑权限。
     2. 点击添加主账号。
     3. 在新的主账号字段中，输入 Chronicle 服务帐号的名称。
     4. 为 Chronicle 服务帐号分配包含读取权限的角色。例如，Storage Object Viewer (roles/storage.objectViewer)。只有在未启用统一存储桶级访问权限的情况下，才能执行此操作。
     5. 点击保存。

   • 如需授予对多个文件的读取权限，您必须授予存储桶级别的访问权限。您必须将 Chronicle 服务帐号作为主帐号添加到存储桶中，并向其授予 IAM Storage Object Viewer (roles/storage.objectViewer) 角色。

     如果您将 Feed 配置为删除源文件，则必须在存储桶上将 Chronicle 服务帐号添加为主帐号，并向其授予 IAM Storage Object Admin (roles/storage.objectAdmin) 角色。

配置 VPC Service Controls

如果启用了 VPC Service Controls，则需要使用入站规则，才能提供对 Cloud Storage 存储桶的访问权限。

入站流量规则中必须允许使用以下 Cloud Storage 方法：

• google.storage.objects.list。对单个文件 Feed 而言是必需的。
• google.storage.objects.get。对于需要目录或子目录访问权限的 Feed 是必需的。
• google.storage.objects.delete。对于需要删除源文件的 Feed 而言是必需的。

示例入站流量规则

- ingressFrom:
  identities:
    - serviceAccount:[e-mail]
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

Feed 状态

您可以在初始 Feed 页面中监控 Feed 的状态。Feed 可能具有以下状态：

• 有效 - Feed 已配置完毕，随时可以将数据注入到您的 Chronicle 账号中。
• 处理中 - Chronicle 现在正尝试从已配置的第三方提取数据。
• 已完成 - 此 Feed 已成功检索到数据。
• 已归档 - 已停用的 Feed。
• 失败 - Feed 未能成功提取数据。这可能是由于配置问题造成的。点击相应题目以显示配置错误。更正错误并重新提交 Feed 后，请返回 Feed 页面以确定 Feed 现在是否正常运行。

修改 Feed

在 Feed 页面中，您可以修改现有 Feed：

1. 将指针悬停在现有 Feed 上，然后点击右列中的三点状菜单。

2. 点击修改 Feed。您现在可以更改 Feed 的输入参数，并将其重新提交给 Chronicle。Chronicle 将尝试使用修改后的 Feed。

启用和停用 Feed

在状态列中，已启用的 Feed 会标记为有效、进行中、已完成或失败。已停用的字段会被标记为已归档。如需了解相关说明，请参阅 Feed 状态。

在 Feed 页面中，您可以启用或停用任何现有 Feed：

1. 将指针悬停在现有 Feed 上，然后点击右列中的三点状菜单。

2. 要启用 Feed，请点击启用 Feed 切换开关。

3. 要停用 Feed，请点击停用 Feed 切换开关。该 Feed 现在会被标记为已归档。

   注意 ：停用 Feed 后，系统便无法将新数据添加到提取队列中。现有转移（活跃或受限）会一直持续到完成为止。如需立即停止数据注入，请删除 Feed。

删除 Feed

此外，您还可以从 Feed 页面删除现有 Feed：

1. 将指针悬停在现有 Feed 上，然后点击右列中的三点状菜单。

2. 点击删除 Feed。此时将打开“删除 Feed”窗口。要永久删除此 Feed，请点击是，删除。

   注意 ：删除 Feed 后，系统将不再提取任何新数据。队列中可能有数据将继续得到处理。

控制注入速率

当租户的数据注入速率达到特定阈值时，Chronicle 会限制新数据 Feed 的注入速率，以防止注入速率较高的来源影响其他数据源的注入速率。

以高于阈值注入数据的 Feed 会受到限制，从而导致注入延迟。当 Feed 提取速率受到限制时，过多的数据会排队等待提取，因此会出现延迟，但不会丢失任何数据。

此阈值取决于提取量和租户的使用记录。如果注入速率没有太大偏离，则对注入速率没有影响。