Consulta los conectores compatibles con Application Integration.

Activador de Apache Kafka

Vista previa — Apache Kafka trigger

Esta función está sujeta a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

El activador de Apache Kafka es un activador de eventos de conector que te permite invocar una integración basada en los eventos de Apache Kafka a los que te suscribiste en tu conexión de Apache Kafka.

Importante: Integration Connectors es un componente facturable de Google Cloud. Para obtener información sobre los costos y cargos por el uso de Integration Connectors, consulta Precios de Integration Connectors.

Antes de comenzar

Si planeas crear o configurar una nueva conexión para el activador de Apache Kafka, asegúrate de tener el siguiente rol de Identity and Access Management (IAM) en el proyecto:

• Administrador de conectores (roles/connectors.admin)

Para obtener información sobre cómo otorgar roles, consulta Administra el acceso.

Otorga los siguientes roles de IAM a la cuenta de servicio que quieres usar para el activador de Apache Kafka:

• Invocador de Application Integration (roles/integrations.integrationInvoker)

Para obtener información sobre cómo otorgar roles a una cuenta de servicio, consulta Administra el acceso a las cuentas de servicio.

Limitación

El activador de Apache Kafka está sujeto a las siguientes limitaciones:

• Admite el protocolo de seguridad SASL_SSL para suscripciones a eventos.
• No es compatible con mTLS para suscripciones a eventos.

Agrega el activador de Apache Kafka

Para agregar un activador de Apache Kafka a tu integración, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página Application Integration.

   Ir a Application Integration

2. En el menú de navegación, haz clic en Integraciones.

   Aparecerá la página Integrations List, en la que se enumeran todas las integraciones disponibles en el proyecto de Google Cloud.

3. Selecciona una integración existente o haz clic en Crear integración para crear una nueva.

   Si creas una integración nueva, haz lo siguiente:

   1. Ingresa un nombre y una descripción en el panel Create Integration.
   2. Selecciona una región para la integración.
      Nota: En el menú desplegable Regiones, solo se enumeran las regiones aprovisionadas en el proyecto de Google Cloud. Para aprovisionar una región nueva, haz clic en Habilitar región. Consulta Habilita una región nueva para obtener más información.
   3. Selecciona una cuenta de servicio para la integración. Puedes cambiar o actualizar los detalles de la cuenta de servicio de una integración en cualquier momento desde el panel Integration summary de la barra de herramientas de integración.
      Nota: La opción para seleccionar una cuenta de servicio solo se muestra si habilitaste la administración de integración para la región seleccionada.
   4. Haz clic en Crear.

   Esto abrirá la integración en la página del editor de integración.

4. En la barra de navegación del editor de integración, haz clic en Activadores para ver la lista de activadores disponibles.
5. Haz clic y coloca el elemento activador de Apache Kafka en el editor de integración.

Para configurar el activador de Apache Kafka, puedes usar una conexión existente de Apache Kafka disponible en Integration Connectors o crear una nueva conexión con Apache Kafka con la opción de creación de conexión intercalada.

Configura el activador de Apache Kafka con una conexión existente

Puedes configurar el activador de Apache Kafka con una conexión de Apache Kafka existente en Integration Connectors. Ten en cuenta que el activador de Apache Kafka es un activador de evento de conector, por lo que solo puedes usar una conexión de Apache Kafka con la suscripción al evento habilitada para configurar el activador.

Si necesitas información para configurar un activador de Apache Kafka con una conexión nueva de Apache Kafka, consulta Configura el activador de Apache Kafka con una conexión nueva.

Para configurar un activador de Apache Kafka con una conexión de Apache Kafka existente, sigue estos pasos:

1. Haz clic en el elemento activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
2. Haz clic en Configurar activador.
3. Proporciona los siguientes detalles de configuración en la página Editor de activadores de eventos de conector:
   1. Región: Selecciona la región de tu conexión de Apache Kafka.
   2. Conexión: Selecciona la conexión de Apache Kafka que deseas usar.

      Application Integration solo muestra las conexiones de Apache Kafka que están activas y tienen habilitada una suscripción a eventos.

   3. Nombre del tema: Ingresa el nombre del tema.
   4. ID del grupo de consumidores: De forma opcional, ingresa el ID del grupo de consumidores que especifica el nombre del grupo de consumidores al que pertenece el consumidor de Kafka.
   5. Partition: Ingresa la partición si quieres suscribirte a una partición en particular. Las particiones son una forma de dividir un tema en varias partes y almacenar cada una en un nodo diferente del clúster.
   6. Desfase inicial: Selecciona la estrategia de restablecimiento de desplazamiento:
      • Si seleccionas Más temprano, tu conexión consumirá mensajes no consumidos, incluidos los mensajes producidos antes del ciclo de vida del grupo de consumidores.
      • Si seleccionas más reciente, tu conexión consumirá mensajes que se producen después de que se crea el grupo de consumidores.
   7. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para el activador de Apache Kafka.
4. Haz clic en Listo.

Configura el activador de Apache Kafka con una conexión nueva

Para configurar el activador de Apache Kafka con una nueva conexión de Apache Kafka, sigue estos pasos:

1. Haz clic en el elemento activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
2. Haz clic en Configure Apache Kafka trigger.
3. Omite el campo Región.
4. Haz clic en Connection y selecciona la opción Create Connection de la lista. Aparecerá el panel Crear conexión.
5. En el paso Ubicación, elige la ubicación de la nueva conexión de Apache Kafka:
   1. Region: Selecciona una región de la lista.
   2. Haz clic en Siguiente.
6. En el paso Detalles de la conexión, proporciona detalles sobre la nueva conexión de Apache Kafka:
   1. Versión del conector: Elige una versión disponible del conector de Apache Kafka de la lista.
   2. Nombre de la conexión: ingresa un nombre para la conexión de Apache Kafka.
      Nota: Los nombres de las conexiones deben cumplir con los siguientes criterios:

      • Los nombres de las conexiones pueden usar letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
      • Los nombres de las conexiones no pueden superar los 63 caracteres.
   3. Descripción : Ingresa una descripción para la conexión (opcional).
   4. Habilitar Cloud Logging (opcional): Selecciona esta casilla de verificación para almacenar todos los datos de registro de la conexión.
   5. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para la conexión de Apache Kafka.
   6. La opción Habilitar suscripción a eventos, entidad y acciones está seleccionada de forma predeterminada para la conexión de Apache Kafka.
      Nota: Este conector no admite la opción Enable only event subscription.
   7. Esquema de detección de tipos: Selecciona MessageOnly.
   8. Servicio de registro: El servicio de Registro de esquemas que se usa para trabajar con esquemas de temas.
   9. Registry Type: Es el tipo de esquema especificado para un tema específico.
   10. Versión del registro: Es la versión del esquema que se lee desde RegistryUrl para el tema especificado.
   11. Usuario del registro: Es el nombre de usuario o el valor de la clave de acceso que se debe autorizar con el servidor especificado en el archivo RegistryUrl.
   12. Contraseña del registro: Secreto del administrador de secretos que contiene la contraseña o el valor de la clave secreta que se autorizará con el servidor especificado en RegistryUrl.
   13. De manera opcional, configura los parámetros de nodo de conexión:
       • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
       • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

       Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

   Nota: Puedes personalizar los valores de los nodos de conexión solo si eres un cliente de pago por uso.
   14. De manera opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de un par clave-valor.
   15. Habilitar SSL: este campo establece si SSL está habilitada.
   16. Haz clic en Siguiente.
7. En la sección Destinos, ingresa los detalles del host remoto (sistema de backend) al que deseas conectarte.
   1. Tipo de destino: Selecciona un Tipo de destino.
      • Selecciona Dirección de host en la lista para especificar el nombre de host o la dirección IP del destino.
      • Si deseas establecer una conexión privada con tus sistemas de backend, selecciona Adjunto de extremo en la lista y, luego, selecciona el adjunto de extremo requerido en la lista Adjunto de extremo.
        Nota: Para comprender cómo crear un adjunto de extremo, consulta Adjunto de servicio de PSC y adjunto de extremo. Después de crear el adjunto de extremo, será visible en la lista Adjunto de extremo.

      Si deseas establecer una conexión pública a tus sistemas de backend con seguridad adicional, puedes considerar configurar direcciones IP de salida estáticas para tus conexiones y, luego, configurar tus reglas de firewall para incluir en la lista de entidades permitidas solo las direcciones IP estáticas específicas.

      Para ingresar destinos adicionales, haz clic en +AGREGAR DESTINO.

   2. Haz clic en Siguiente.
8. En la sección Autenticación, ingresa los detalles de autenticación.
   1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.

      La conexión de Apache Kafka admite los siguientes tipos de autenticación:

      • Nombre de usuario y contraseña
        • Nombre de usuario: El nombre de usuario de Apache Kafka que se usará para la conexión.
        • Contraseña: El Secret de Secret Manager que contiene la contraseña asociada con el nombre de usuario de Apache Kafka.
        • Esquema de autenticación: El esquema utilizado para la autenticación

          La conexión de Apache Kafka admite el siguiente esquema de autenticación:

          • Llanura
          • SCRAM‐SHA‐1
          • SCRAM-SHA-256
      • No disponible

        Si deseas usar un acceso anónimo, selecciona No disponible.

   2. Haz clic en Siguiente.
9. Ingresa la configuración de mensajes no entregados. Si configuras los mensajes no entregados, la conexión escribe los eventos sin procesar en el tema de Pub/Sub especificado. Ingresa los siguientes detalles:
   1. ID del proyecto de mensajes no entregados: Es el ID del proyecto de Google Cloud en el que configuraste el tema de mensajes no entregados de Pub/Sub.
   2. Tema de mensajes no entregados: es el tema de Pub/Sub en el que deseas escribir los detalles del evento sin procesar.
10. Haz clic en Siguiente.
11. Revisa: Revisa tus detalles de conexión y autenticación.
12. Haz clic en Crear.

Resultado del activador

El activador de Apache Kafka tarda unos minutos en completar la configuración de la suscripción al evento. Puedes ver el estado de tu suscripción al evento en el panel de configuración del activador en Detalles de suscripción a eventos.

El activador de Apache Kafka indica el estado de una suscripción a eventos con los siguientes estados:

• Creating: Indica que el activador se suscribe a la suscripción del evento.
• Active: Indica que el activador se suscribió correctamente a una suscripción de evento.
• Error: Indica que hay un problema con la suscripción al evento configurada.

Además del estado de la suscripción al evento, la sección Detalles de la suscripción al evento también muestra otros detalles, como la región y el nombre de la conexión, y el nombre de la suscripción del evento.

Variable de salida del activador

Para cada evento, el activador de Apache Kafka genera una variable de salida ConnectorEventPayload (en formato JSON) que puedes usar en tus tareas descendentes. La variable de salida tendrá la carga útil de tu evento de Apache Kafka. Por ejemplo:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ver suscripciones a eventos

Para ver y administrar todas las suscripciones a eventos asociadas con una conexión en Integration Connectors, haz lo siguiente:

1. Ve a la página Integration Connectors > Connections.

   Ir a la página Conexiones

2. Haz clic en la conexión para la que deseas ver las suscripciones.
3. Haz clic en la pestaña Suscripciones a eventos.

   Se mostrarán todas las suscripciones a eventos de la conexión.

Edita el activador de Apache Kafka

Puedes editar un activador de Apache Kafka para cambiar o actualizar la configuración de la conexión y los detalles de la suscripción al evento.

Importante: Cuando editas o modificas un activador de Apache Kafka, puedes conservar la suscripción al evento configurada previamente que se adjunta al activador, o bien puedes borrarlo. Si borras una suscripción a un evento, se verán afectadas todas las integraciones publicadas que usen esa suscripción al evento.

Para editar un activador de Apache Kafka, sigue estos pasos:

1. Haz clic en el elemento activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
2. Haz clic en Configure Apache Kafka trigger.
3. Haz lo siguiente en la página Editor de activadores de eventos de conector:
   1. Para conservar la suscripción al evento configurada anteriormente, haz clic en Conservar o, de lo contrario, haz clic en Borrar.
      Advertencia: Si borras una suscripción a un evento, se verán afectadas todas las integraciones publicadas que usen la suscripción al evento. Esta tarea no se puede deshacer.
   2. Actualiza la configuración de conexión y los detalles de la suscripción a eventos según lo desees.
   3. Haz clic en Listo.

Puedes ver la conexión actualizada y los detalles de la suscripción a eventos en el panel de configuración del activador en Detalles de suscripción a eventos.