查看 Application Integration 支持的连接器。

Apache Kafka 触发器

Preview — Apache Kafka trigger

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions.

Apache Kafka 触发器是一种连接器事件触发器，可让您根据在 Apache Kafka 连接中订阅的 Apache Kafka 事件调用集成。

重要提示：Integration Connectors 是 Google Cloud 的收费组件。如需了解使用 Integration Connectors 的费用，请参阅 Integration Connectors 价格。

准备工作

如果您打算为 Apache Kafka 触发器创建或配置新的连接，请确保您在项目中拥有以下 Identity and Access Management (IAM) 角色：

• Connector Admin (roles/connectors.admin)

如需了解如何授予角色，请参阅管理访问权限。

将以下 IAM 角色授予您要用其来使用 Apache Kafka 触发器的服务账号：

• Application Integration Invoker (roles/integrations.integrationInvoker)

如需了解如何向服务账号授予角色，请参阅管理对服务账号的访问权限。

限制

Apache Kafka 触发器存在以下限制：

• 支持事件订阅的 SASL_SSL 安全协议。
• 不支持为事件订阅使用 mTLS。

添加 Apache Kafka 触发器

如需向集成添加 Apache Kafka 触发器，请执行以下步骤：

1. 在 Google Cloud 控制台中，前往 Application Integration 页面。

   转到 Application Integration

2. 在导航菜单中，点击集成

   系统随即会显示 Integrations List（集成列表）页面，其中列出了 Google Cloud 项目中可用的所有集成。

3. 选择现有集成，或点击创建集成以创建新的集成。

   要创建新的集成，请执行以下操作：

   1. 在创建集成窗格中输入名称和说明。
   2. 选择集成的区域。
      注意：区域下拉列表仅列出您的 Google Cloud 项目中预配的区域。如需预配新区域，请点击 Enable Region。如需了解详情，请参阅启用新区域。
   3. 选择用于集成的服务账号。您可以随时在集成工具栏的 Integration summary（集成摘要）窗格中更改或更新集成的服务账号详细信息。
      注意：只有当您为所选区域启用了集成治理功能时，系统才会显示用于选择服务账号的选项。
   4. 点击创建。

   这将在集成编辑器中打开集成。

4. 在集成编辑器导航栏中，点击触发器以查看可用触发器列表。
5. 点击 Apache Kafka 触发器元素，并将其放入集成编辑器中。

如需配置 Apache Kafka 触发器，您可以使用集成连接器中提供的现有 Apache Kafka 连接，也可以使用内嵌连接创建选项创建新的 Apache Kafka 连接。

使用现有连接配置 Apache Kafka 触发器

您可以在集成连接器中使用现有的 Apache Kafka 连接配置 Apache Kafka 触发器。请注意，Apache Kafka 触发器是一种连接器事件触发器，因此您只能使用启用了事件订阅的 Apache Kafka 连接来配置触发器。

如需了解如何使用新的 Apache Kafka 连接配置 Apache Kafka 触发器，请参阅使用新连接配置 Apache Kafka 触发器

如需使用现有 Apache Kafka 连接配置 Apache Kafka 触发器，请执行以下步骤：

1. 点击集成编辑器中的 Apache Kafka 触发器元素以打开触发器配置窗格。
2. 点击配置触发器。
3. 在连接器事件触发器编辑器页面中，提供以下配置详细信息：
   1. 区域：选择 Apache Kafka 连接所在的区域。
   2. 连接：选择要使用的 Apache Kafka 连接。

      “应用集成”仅显示处于活动状态且已启用事件订阅的 Apache Kafka 连接。

   3. 主题名称：输入主题名称。
   4. 使用方群组 ID：可选，输入使用方群组 ID，用于指定 Kafka 消费者所属的使用方群组的名称。
   5. 分区：如果您想订阅特定分区，请输入相应分区。分区是一种将主题拆分为多个部分并将每个部分存储在集群中的不同节点上的方法。
   6. 初始偏移：选择偏移重置策略：
      • 如果您选择 earliest（最早），则连接会使用未使用的所有消息，包括在使用方群组生命周期之前生成的所有消息。
      • 如果您选择 latest，您的连接将使用在创建使用方群组后生成的消息。
   7. 服务账号：为 Apache Kafka 触发器选择具有所需 IAM 角色的服务账号。
4. 点击完成。

使用新连接配置 Apache Kafka 触发器

如需使用新的 Apache Kafka 连接配置 Apache Kafka 触发器，请执行以下步骤：

1. 点击集成编辑器中的 Apache Kafka 触发器元素以打开触发器配置窗格。
2. 点击配置 Apache Kafka 触发器。
3. 跳过区域字段。
4. 点击连接，然后从列表中选择创建连接选项。系统随即会显示创建连接窗格。
5. 在位置步骤中，选择新的 Apache Kafka 连接的位置：
   1. 区域：从列表中选择一个区域。
   2. 点击下一步。
6. 在连接详情步骤中，提供有关新的 Apache Kafka 连接的详细信息：
   1. 连接器版本：从列表中选择 Apache Kafka 连接器的可用版本。
   2. 连接名称：输入 Apache Kafka 连接的名称。
      注意：连接名称必须符合以下条件：

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头，以字母或数字结尾。
      • 连接名称不能超过 49 个字符。
      • 对于支持事件订阅的连接器，连接名称不得以“goog”前缀开头。
   3. （可选）说明 ：输入关联的说明。
   4. （可选）启用 Cloud Logging：选中此复选框可存储连接的所有日志数据。
   5. 服务账号：选择具有 Apache Kafka 连接所需 IAM 角色的服务账号。
   6. 默认情况下，系统会为 Apache Kafka 连接选择启用事件订阅、实体和操作选项。
      注意 ：此连接器不支持 Enable only event subscription 选项。
   7. 类型检测方案 ：选择 MessageOnly。
   8. 注册表服务：用于处理主题架构的 Schema Registry 服务。
   9. 注册表类型：为特定主题指定的架构类型。
   10. 注册表版本：从指定主题的 RegistryUrl 中读取的架构版本。
   11. 注册表用户：要在 RegistryUrl 中指定的服务器进行授权的用户名或访问权限键值对。
   12. 注册表密码：Secret Manager Secret，其中包含要在 RegistryUrl 中指定的服务器授权的密码/Secret 键值对。
   13. （可选）配置连接节点设置：
       • 节点数下限：输入连接节点数下限。
       • 节点数上限：输入连接节点数上限。

       节点是处理事务的连接单元（或副本）。 连接处理越多事务就需要越多节点，相反，处理越少事务需要越少节点。 如需了解节点如何影响连接器价格，请参阅连接节点的价格。如果未输入任何值，则默认情况下，节点数下限设置为 2（以便提高可用性），节点数上限设置为 50。

   注意：仅当您是随用随付客户时，才能自定义连接节点值。
   14. （可选）点击 + 添加标签，以键值对的形式向连接添加标签。
   15. 启用 SSL：此字段用于设置是否已启用 SSL。
   16. 点击下一步。
7. 在目标部分中，输入要连接到的 Kafka 引导服务器的详细信息。
   1. 目标类型：选择目标类型。
      • 从列表中选择主机地址，以指定目标的主机名或 IP 地址。
      • 如果要与后端系统建立专用连接，请从列表中选择端点连接，然后从端点连接列表中选择所需的端点连接。
        注意： 如需了解如何创建端点连接，请参阅 PSC 服务连接和端点连接。创建端点连接后，它将显示在端点连接列表中。

      如果要与后端系统建立公共连接以提高安全性，您可以考虑为连接配置静态出站 IP 地址，然后将防火墙规则配置为仅将特定静态 IP 地址列入许可名单。

      如需指定其他 Kafka 引导服务器，请点击 + 添加目标。

   2. 点击下一步。
8. 在身份验证部分中，输入身份验证详细信息。
   1. 选择身份验证类型，然后输入相关详细信息。

      Apache Kafka 连接支持以下身份验证类型：

      • 用户名和密码
        • 用户名：用于连接的 Apache Kafka 用户名。
        • 密码：包含与 Apache Kafka 用户名关联的 Secret Manager Secret。
        • 身份验证方案：用于身份验证的方案。

          Apache Kafka 连接支持以下身份验证方案：

          • Plain（普通）
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • 不可用

        如果您要使用匿名登录，请选择不可用。

   2. 点击下一步。
9. 输入死信配置。如果您配置了死信，连接会将未处理的事件写入指定的 Pub/Sub 主题。输入以下详细信息：
   1. 退信项目 ID ：您配置退信 Pub/Sub 主题的 Google Cloud 项目 ID。
   2. 死信主题 ：您要将未处理事件的详细信息写入的 Pub/Sub 主题。
10. 点击下一步。
11. 查看：查看您的连接和身份验证详细信息。
12. 点击创建。

触发器输出

Apache Kafka 触发器需要几分钟才能完成事件订阅配置。您可以在触发器配置窗格中的事件订阅详情下查看事件订阅的状态。

Apache Kafka 触发器使用以下状态指示事件订阅的状态：

• Creating：表示触发器正在订阅事件订阅。
• Active：表示触发器已成功订阅事件订阅。
• Error：表示配置的事件订阅存在问题。

除了事件订阅状态之外，事件订阅详情部分还会显示其他详细信息，例如连接区域、连接名称和事件订阅名称。

触发器输出变量

对于每个事件，Apache Kafka 触发器会生成一个 ConnectorEventPayload 输出变量（采用 JSON 格式），您可以在下游任务中使用该变量。输出变量将包含 Apache Kafka 事件中的载荷。例如：

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

查看事件订阅

如需在集成连接器中查看和管理与连接关联的所有事件订阅，请执行以下操作：

1. 前往 Integration Connectors > 连接页面。

   转到“连接”页面

2. 点击您要查看其订阅的连接。
3. 点击事件订阅标签页。

   此时会显示该连接的所有事件订阅。

修改 Apache Kafka 触发器

您可以修改 Apache Kafka 触发器，以更改或更新连接配置和事件订阅详细信息。

重要提示：修改 Apache Kafka 触发器时，您可以保留之前配置的事件订阅（已附加到触发器），也可以将其删除。删除事件订阅会影响使用该事件订阅的所有已发布集成。

如需修改 Apache Kafka 触发器，请执行以下步骤：

1. 点击集成编辑器中的 Apache Kafka 触发器元素以打开触发器配置窗格。
2. 点击配置 Apache Kafka 触发器。
3. 在连接器事件触发器编辑器页面中，执行以下操作：
   1. 如需保留之前配置的事件订阅，请点击保留；否则，请点击删除。
      警告：删除事件订阅将影响使用该事件订阅的所有已发布集成。此任务无法撤消。
   2. 根据需要更新连接配置和事件订阅详细信息。
   3. 点击完成。

您可以在触发器配置窗格中的事件订阅详情下方查看更新后的连接和事件订阅详情。

配额和限制

如需了解配额和限制，请参阅配额和限制。

后续步骤

• 了解所有任务和触发器。
• 了解如何测试和发布集成。
• 了解 错误处理。
• 了解集成执行日志。