请参阅 Application Integration 支持的连接器。

Apache Kafka 触发器

预览 — Apache Kafka trigger

此功能须遵守服务专用条款的“通用服务条款”部分中的“非正式版产品条款”。 非正式版功能“按原样”提供，可能只能获得有限的支持。 如需了解详情，请参阅发布阶段说明。

Apache Kafka 触发器是一种连接器事件触发器，可让您根据您在 Apache Kafka 连接中订阅的 Apache Kafka 事件调用集成。

重要提示：Integration Connectors 是 Google Cloud 的收费组件。如需了解使用 Integration Connectors 的费用和费用，请参阅集成连接器价格。

准备工作

如果您计划为 Apache Kafka 触发器创建或配置新连接，请确保您拥有项目的以下 Identity and Access Management (IAM) 角色：

• 连接器管理员 (roles/connectors.admin)

如需了解如何授予角色，请参阅管理访问权限。

将以下 IAM 角色授予要用于 Apache Kafka 触发器的服务账号：

• Application Integration Invoker (roles/integrations.integrationInvoker)

如需了解如何向服务账号授予角色，请参阅管理对服务账号的访问权限。

限制

Apache Kafka 触发器存在以下限制：

• 支持适用于事件订阅的 SASL_SSL 安全协议。
• 不支持将 mTLS 用于活动订阅。

添加 Apache Kafka 触发器

如需向集成添加 Apache Kafka 触发器，请执行以下步骤：

1. 在 Google Cloud 控制台中，前往 Application Integration 页面。

   转到 Application Integration

2. 在导航菜单中，点击集成

   系统会显示集成列表页面，其中列出了 Google Cloud 项目中可用的所有集成。

3. 选择现有集成，或点击创建集成以创建新的集成。

   要创建新的集成，请执行以下操作：

   1. 在创建集成窗格中输入名称和说明。
   2. 为集成选择一个区域。
      注意：区域下拉列表仅列出您的 Google Cloud 项目中预配的区域。如需预配新区域，请点击 Enable Region。如需了解详情，请参阅启用新区域。
   3. 为集成选择服务账号。您随时可以在集成工具栏的 集成摘要窗格中更改或更新集成的服务账号详细信息。
      注意：仅当您为所选区域启用了集成治理后，系统才会显示用于选择服务账号的选项。
   4. 点击创建。

   系统随即会在集成编辑器中打开该集成。

4. 在集成编辑器导航栏中，点击触发器查看可用触发器的列表。
5. 点击 Apache Kafka 触发器元素，并将其放入集成编辑器中。

如需配置 Apache Kafka 触发器，您可以使用 Integration Connectors 中提供的现有 Apache Kafka 连接，也可以使用内嵌连接创建选项创建新的 Apache Kafka 连接。

使用现有连接配置 Apache Kafka 触发器

您可以使用 Integration Connectors 中的现有 Apache Kafka 连接来配置 Apache Kafka 触发器。请注意，Apache Kafka 触发器是一个连接器事件触发器，因此，您只能使用已启用事件订阅的 Apache Kafka 连接来配置触发器。

如需了解如何使用新的 Apache Kafka 连接配置 Apache Kafka 触发器，请参阅使用新连接配置 Apache Kafka 触发器

如需使用现有 Apache Kafka 连接配置 Apache Kafka 触发器，请执行以下步骤：

1. 点击集成编辑器中的 Apache Kafka 触发器元素以打开触发器配置窗格。
2. 点击配置触发器。
3. 在 Connector Event Trigger Editor 页面中，提供以下配置详细信息：
   1. 区域：选择您的 Apache Kafka 连接所在的区域。
   2. 连接：选择要使用的 Apache Kafka 连接。

      “应用集成”仅显示处于活动状态且已启用事件订阅的 Apache Kafka 连接。

   3. 主题名称：输入主题名称。
   4. 使用方群组 ID：（可选）输入使用方群组 ID，以指定 Kafka 使用方所属的使用方群组的名称。
   5. Partition：如果您要订阅特定分区，请输入相应分区。分区是一种将主题拆分为多个部分并将每个部分存储在集群中的不同节点上的方法。
   6. 初始偏移值：选择偏移值重置策略：
      • 如果您选择 earliest（最早），则连接会使用未使用的所有消息，包括在使用方群组生命周期之前生成的所有消息。
      • 如果您选择 latest，您的连接将使用在创建使用方群组后生成的消息。
   7. 服务账号：选择具有 Apache Kafka 触发器所需 IAM 角色的服务账号。
4. 点击完成。

使用新连接配置 Apache Kafka 触发器

如需使用新的 Apache Kafka 连接配置 Apache Kafka 触发器，请执行以下步骤：

1. 点击集成编辑器中的 Apache Kafka 触发器元素，打开触发器配置窗格。
2. 点击配置 Apache Kafka 触发器。
3. 跳过区域字段。
4. 点击连接，然后从列表中选择创建连接选项。系统随即会显示创建连接窗格。
5. 在位置步骤中，选择新的 Apache Kafka 连接的位置：
   1. 区域：从列表中选择一个区域。
   2. 点击下一步。
6. 在连接详情步骤中，提供有关新 Apache Kafka 连接的详细信息：
   1. 连接器版本：从列表中选择 Apache Kafka 连接器的可用版本。
   2. 连接名称：输入 Apache Kafka 连接的名称。
      注意：连接名称必须符合以下条件：

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头，以字母或数字结尾。
      • 连接名称不能超过 49 个字符。
      • 对于支持事件订阅的连接器，连接名称不能以“goog”开头前缀。
   3. （可选）说明：输入连接的说明。
   4. （可选）启用 Cloud Logging：选中此复选框可存储连接的所有日志数据。
   5. 服务账号：选择具有 Apache Kafka 连接所需 IAM 角色的服务账号。
   6. 默认情况下，系统会为 Apache Kafka 连接选择启用事件订阅、实体和操作选项。
      注意：此连接器不支持 Enable only event subscription 选项。
   7. 类型检测方案 ：选择 MessageOnly。
   8. 注册表服务：用于处理主题架构的架构注册表服务。
   9. 注册表类型：为特定主题指定的架构类型。
   10. 注册表版本：从 RegistryUrl 中读取的指定主题的架构版本。
   11. Registry User（注册表用户）：通过 RegistryUrl 中指定的服务器授权的用户名或访问密钥值。
   12. 注册表密码：Secret Manager Secret，其中包含要在 RegistryUrl 中指定的服务器授权的密码/Secret 键值对。
   13. （可选）配置连接节点设置：
       • 节点数下限：输入连接节点数下限。
       • 节点数上限：输入连接节点数上限。

       节点是处理事务的连接单元（或副本）。 连接处理越多事务就需要越多节点，相反，处理越少事务需要越少节点。 如需了解节点如何影响连接器价格，请参阅连接节点的价格。如果未输入任何值，则默认情况下，节点数下限设置为 2（以便提高可用性），节点数上限设置为 50。

   注意：仅当您是随用随付客户时，才能自定义连接节点值。
   14. （可选）点击 + 添加标签，以键值对的形式向连接添加标签。
   15. 启用 SSL：此字段用于设置是否启用 SSL。
   16. 点击下一步。
7. 在目标位置部分，输入您要连接的远程主机（后端系统）的详细信息。
   1. 目标类型：选择目标类型。
      • 从列表中选择主机地址，以指定目的地的主机名或 IP 地址。
      • 如果要与后端系统建立专用连接，请从列表中选择端点连接，然后从端点连接列表中选择所需的端点连接。
        注意 ：如需了解如何创建端点连接，请参阅 PSC 服务连接 以及端点连接。在您之后 端点连接已创建完毕，它将显示在端点连接列表中。

      如果要与后端系统建立公共连接以提高安全性，您可以考虑为连接配置静态出站 IP 地址，然后将防火墙规则配置为仅将特定静态 IP 地址列入许可名单。

      要输入其他目标，请点击 + 添加目标。

   2. 点击下一步。
8. 在身份验证部分中，输入身份验证详细信息。
   1. 选择身份验证类型，然后输入相关详情。

      Apache Kafka 连接支持以下身份验证类型：

      • 用户名和密码
        • 用户名：用于连接的 Apache Kafka 用户名。
        • 密码：包含与 Apache Kafka 用户名关联的 Secret Manager Secret。
        • 身份验证方案：用于身份验证的方案。

          Apache Kafka 连接支持以下身份验证方案：

          • 普通
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • 不可用

        如果您要使用匿名登录，请选择不可用。

   2. 点击下一步。
9. 输入死信配置。如果您配置了死信，则连接会写入 将未处理的事件发送到指定的 Pub/Sub 主题。输入以下详细信息：
   1. 死信项目 ID ：您在其中配置了死信 Pub/Sub 主题的 Google Cloud 项目的 ID。
   2. 死信主题：您要将未处理事件的详细信息写入的 Pub/Sub 主题。
10. 点击下一步。
11. 查看：查看您的连接和身份验证详细信息。
12. 点击创建。

触发器输出

Apache Kafka 触发器需要几分钟才能完成事件订阅配置。您可以查看 事件订阅详情下的触发器配置窗格中查看事件订阅的详细信息。

Apache Kafka 触发器使用以下状态指示事件订阅的状态：

• Creating：表示触发器正在订阅事件订阅。
• Active：表示触发器已成功订阅事件订阅。
• Error：表示已配置的事件订阅存在问题。

除了事件订阅状态之外，事件订阅详情部分还会显示其他详细信息，例如连接区域、连接名称和事件订阅名称。

触发器输出变量

对于每个事件，Apache Kafka 触发器会生成一个 ConnectorEventPayload 输出变量（采用 JSON 格式），您可以在下游任务中使用该变量。输出 变量将包含来自 Apache Kafka 事件的载荷。例如：

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

查看事件订阅

要查看和管理与 Integration Connectors 中的连接关联的所有事件订阅，请执行以下操作：

1. 转到集成连接器 >连接页面。

   转到“连接”页面

2. 点击要查看其订阅的连接。
3. 点击事件订阅标签页。

   这会显示该连接的所有事件订阅。

修改 Apache Kafka 触发器

您可以修改 Apache Kafka 触发器，以更改或更新连接配置和事件订阅详细信息。

重要提示：修改或修改 Apache Kafka 触发器时，您可以保留之前配置并附加到该触发器的事件订阅，也可以将其删除。删除事件订阅将影响使用该事件订阅发布的所有集成。

如需修改 Apache Kafka 触发器，请执行以下步骤：

1. 点击集成编辑器中的 Apache Kafka 触发器元素以打开触发器配置窗格。
2. 点击配置 Apache Kafka 触发器。
3. 在连接器事件触发器编辑器页面中执行以下操作：
   1. 如需保留之前配置的事件订阅，请点击保留；否则，请点击删除。
      警告：删除事件订阅将影响使用该事件订阅的所有已发布的集成。此任务无法撤消。
   2. 根据需要更新连接配置和事件订阅详情。
   3. 点击完成。

您可以在事件订阅详情下的触发器配置窗格中查看更新后的连接和事件订阅详细信息。

配额和限制

如需了解配额和限制，请参阅配额和限制。

后续步骤

• 了解所有任务和触发器。
• 了解如何测试和发布集成。
• 了解错误处理。
• 了解集成执行日志。