请参阅 Application Integration 支持的连接器。

Apache Kafka 触发器

预览 — Apache Kafka trigger

此功能须遵守服务专用条款的“通用服务条款”部分中的“非正式版产品条款”。 非正式版功能“按原样”提供，可能只能获得有限的支持。 如需了解详情，请参阅发布阶段说明。

Apache Kafka 触发器是一种连接器事件触发器，可让您根据您在 Apache Kafka 连接中订阅的 Apache Kafka 事件调用集成。

重要提示：Integration Connectors 是 Google Cloud 的收费组件。如需了解使用 Integration Connectors 的费用和费用，请参阅集成连接器价格。

准备工作

如果您打算为 Apache Kafka 触发器创建或配置新连接，请确保您拥有项目的以下 Identity and Access Management (IAM) 角色：

• 连接器管理员 (roles/connectors.admin)

如需了解如何授予角色，请参阅管理访问权限。

向要用于 Apache Kafka 触发器的服务帐号授予以下 IAM 角色：

• Application Integration 调用方 (roles/integrations.integrationInvoker)

如需了解如何向服务账号授予角色，请参阅管理对服务账号的访问权限。

限制

Apache Kafka 触发器存在以下限制：

• 支持针对事件订阅使用 SASL_SSL 安全协议。
• 事件订阅不支持 mTLS。

添加 Apache Kafka 触发器

如需将 Apache Kafka 触发器添加到您的集成，请执行以下步骤：

1. 在 Google Cloud 控制台中，前往 Application Integration 页面。

   转到 Application Integration

2. 在导航菜单中，点击 Integrations（集成）

   此时将显示集成列表页面，其中列出了 Google Cloud 项目中提供的所有集成。

3. 选择现有集成，或点击创建集成以创建新集成。

   要创建新的集成，请执行以下操作：

   1. 在 Create Integration（创建集成）窗格中输入名称和说明。
   2. 选择集成区域。
      注意：区域下拉列表仅列出您的 Google Cloud 项目中预配的区域。如需预配新区域，请点击 Enable Region。如需了解详情，请参阅启用新区域。
   3. 为集成选择服务帐号。您随时可以在集成工具栏的 集成摘要窗格中更改或更新集成的服务帐号详细信息。
      注意：仅当您为所选区域启用了集成治理时，系统才会显示用于选择服务帐号的选项。
   4. 点击创建。

   系统会在集成编辑器中打开集成。

4. 在集成编辑器导航栏中，点击触发器以查看可用触发器的列表。
5. 点击 Apache Kafka 触发器元素，并将其放入集成编辑器中。

如需配置 Apache Kafka 触发器，您可以使用 Integration Connectors 中提供的现有 Apache Kafka 连接，也可以使用内嵌连接创建选项创建新的 Apache Kafka 连接。

使用现有连接配置 Apache Kafka 触发器

您可以使用 Integration Connectors 中的现有 Apache Kafka 连接配置 Apache Kafka 触发器。请注意，Apache Kafka 触发器是一种连接器事件触发器，因此您只能使用已启用事件订阅的 Apache Kafka 连接来配置触发器。

如需了解如何使用新的 Apache Kafka 连接配置 Apache Kafka 触发器，请参阅使用新连接配置 Apache Kafka 触发器

如需使用现有 Apache Kafka 连接配置 Apache Kafka 触发器，请执行以下步骤：

1. 点击集成编辑器中的 Apache Kafka 触发器元素，以打开触发器配置窗格。
2. 点击配置触发器。
3. 在连接器事件触发器编辑器页面提供以下配置详细信息：
   1. 区域：选择您的 Apache Kafka 连接所在的区域。
   2. 连接：选择要使用的 Apache Kafka 连接。

      Application Integration 仅显示这些处于活跃状态并且已启用事件订阅的 Apache Kafka 连接。

   3. 主题名称：输入主题名称。
   4. 使用方群组 ID：（可选）输入使用方群组 ID，该 ID 用于指定 Kafka 使用方所属的使用方群组的名称。
   5. 分区：如果您要订阅特定分区，请输入该分区。分区是一种将主题分解成多个部分并将每个部分存储在集群中的不同节点上的方式。
   6. Initial Offset：选择 offset reset strategy：
      • 如果选择最早，您的连接将消耗未被使用的消息，包括在使用方群组的生命周期之前生成的任何消息。
      • 如果选择 latest，您的连接将使用创建使用方群组后生成的消息。
   7. 服务帐号：选择具有 Apache Kafka 触发器所需 IAM 角色的服务帐号。
4. 点击完成。

使用新连接配置 Apache Kafka 触发器

如需使用新的 Apache Kafka 连接配置 Apache Kafka 触发器，请执行以下步骤：

1. 点击集成编辑器中的 Apache Kafka 触发器元素，以打开触发器配置窗格。
2. 点击配置 Apache Kafka 触发器。
3. 跳过区域字段。
4. 点击连接，然后从列表中选择创建连接选项。系统随即会显示创建连接窗格。
5. 在位置步骤中，选择新的 Apache Kafka 连接的位置：
   1. 区域：从列表中选择一个区域。
   2. 点击下一步。
6. 在连接详情步骤中，提供新 Apache Kafka 连接的详细信息：
   1. 连接器版本：从列表中选择可用的 Apache Kafka 连接器版本。
   2. 连接名称：输入 Apache Kafka 连接的名称。
      注意：连接名称必须符合以下条件：

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头，以字母或数字结尾。
      • 连接名称不能超过 63 个字符。
   3. （可选）说明 ：输入连接说明。
   4. （可选）启用 Cloud Logging：选中此复选框可存储连接的所有日志数据。
   5. 服务帐号：选择具有 Apache Kafka 连接所需 IAM 角色的服务帐号。
   6. 默认情况下，系统会为 Apache Kafka 连接选择启用事件订阅、实体和操作选项。
      注意 ：此连接器不支持 Enable only event subscription 选项。
   7. 类型检测方案 ：选择 MessageOnly。
   8. 注册表服务：用于处理主题架构的架构注册表服务。
   9. 注册表类型：为特定主题指定的架构类型。
   10. 注册表版本：从 RegistryUrl 中读取的指定主题的架构版本。
   11. 注册表用户：使用 RegistryUrl 中指定的服务器授权的用户名或访问密钥值。
   12. 注册表密码：包含要向 RegistryUrl 中指定的服务器授权的密码/密钥值的 Secret Manager Secret。
   13. （可选）配置连接节点设置：
       • 节点数下限：输入连接节点数下限。
       • 节点数上限：输入连接节点数上限。

       节点是处理事务的连接单元（或副本）。 连接处理越多事务就需要越多节点，相反，处理越少事务需要越少节点。 如需了解节点如何影响连接器价格，请参阅连接节点的价格。如果未输入任何值，则默认情况下，节点数下限设置为 2（以便提高可用性），节点数上限设置为 50。

   注意：只有随用随付客户才能自定义连接节点值。
   14. （可选）点击 + 添加标签，以键值对的形式为连接添加标签。
   15. 启用 SSL：此字段用于设置是否启用 SSL。
   16. 点击下一步。
7. 在目标部分中，输入您要连接的远程主机（后端系统）的详细信息。
   1. Destination Type：选择 Destination Type。
      1. 在主机地址字段中，指定目标的主机名或 IP 地址。
         1. 如果要与后端系统建立专用连接，请按以下步骤操作：
            1. 创建 PSC 服务连接。
            2. 创建端点连接然后在主机地址字段中输入端点连接的详细信息。
         2. 如果要与后端系统建立公共连接并提高安全性，可以考虑为连接配置静态出站 IP 地址，然后将防火墙规则配置为仅将特定的静态 IP 地址列入许可名单。

      要输入其他目标，请点击 + 添加目标。

   2. 点击下一步。
8. 在 Authentication（身份验证）部分，输入身份验证详细信息。
   1. 选择一种身份验证类型，然后输入相关详细信息。

      Apache Kafka 连接支持以下身份验证类型：

      • 用户名和密码
        • 用户名：用于连接的 Apache Kafka 用户名。
        • 密码：包含与 Apache Kafka 用户名关联的 Secret Manager Secret。
        • 身份验证方案：用于身份验证的方案。

          Apache Kafka 连接支持以下身份验证方案：

          • 普通
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • 不可用

        如果您要使用匿名登录，请选择不可用。

   2. 点击下一步。
9. 输入死信配置。如果您配置了死信，连接会将未处理的事件写入指定的 Pub/Sub 主题。输入以下详细信息：
   1. 死信项目 ID ：您配置了死信 Pub/Sub 主题的 Google Cloud 项目的 ID。
   2. 死信主题 ：您要在其中写入未处理事件详细信息的 Pub/Sub 主题。
10. 点击下一步。
11. 查看：查看您的连接和身份验证详细信息。
12. 点击创建。

触发器输出

Apache Kafka 触发器需要几分钟才能完成事件订阅配置。您可以在事件订阅详情下的触发器配置窗格中查看事件订阅的状态。

Apache Kafka 触发器使用以下状态指示事件订阅的状态：

• Creating：表示触发器正在订阅事件订阅。
• Active：表示触发器已成功订阅事件订阅。
• Error：表示所配置的事件订阅存在问题。

除了事件订阅状态之外，事件订阅详情部分还会显示其他详细信息，例如连接区域、连接名称和事件订阅名称。

触发器输出变量

对于每个事件，Apache Kafka 触发器都会生成一个 ConnectorEventPayload 输出变量（采用 JSON 格式），供您在下游任务中使用。输出变量将包含 Apache Kafka 事件中的载荷。例如：

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

查看活动订阅

如需在 Integration Connectors 中查看和管理与连接关联的所有事件订阅，请执行以下操作：

1. 转到集成连接器 > 连接页面。

   转到“连接”页面

2. 点击要查看其订阅的连接。
3. 点击活动订阅标签页。

   执行此操作后，系统会显示连接的所有事件订阅。

修改 Apache Kafka 触发器

您可以修改 Apache Kafka 触发器，以更改或更新连接配置和事件订阅详情。

重要提示：修改或修改 Apache Kafka 触发器时，您可以保留附加到触发器的先前配置的事件订阅，也可以将其删除。删除事件订阅将影响使用该事件订阅的所有已发布集成。

如需修改 Apache Kafka 触发器，请执行以下步骤：

1. 点击集成编辑器中的 Apache Kafka 触发器元素，以打开触发器配置窗格。
2. 点击配置 Apache Kafka 触发器。
3. 在连接器事件触发器编辑器页面中，执行以下操作：
   1. 如需保留先前配置的事件订阅，请点击保留，否则请点击删除。
      警告：删除事件订阅将影响使用该事件订阅的所有已发布的集成。此任务无法撤消。
   2. 根据需要更新连接配置和事件订阅详情。
   3. 点击完成。

您可以在事件订阅详情下的触发器配置窗格中查看更新后的连接和事件订阅详情。