Consulta los conectores compatibles para Application Integration.

Activador de Apache Kafka

Vista previa — Apache Kafka trigger

Esta función está sujeta a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

El activador de Apache Kafka es un activador de eventos del conector que te permite invocar una integración en función de los eventos de Apache Kafka a los que te suscribiste en tu conexión de Apache Kafka.

Importante: Integration Connectors son un componente facturable de Google Cloud. Para obtener información sobre los costos y cargos de usar Integration Connectors, consulta Precios de Integration Connectors.

Antes de comenzar

Si planeas crear o configurar una conexión nueva para el activador de Apache Kafka, asegúrate de tener el siguiente rol de Identity and Access Management (IAM) en el proyecto:

• Administrador de conectores (roles/connectors.admin)

Para obtener información sobre cómo otorgar roles, consulta Administra el acceso.

Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el activador de Apache Kafka:

• Invocador de Application Integration (roles/integrations.integrationInvoker)

Para obtener información sobre cómo otorgar roles a una cuenta de servicio, consulta Administra el acceso a las cuentas de servicio.

Limitación

El activador de Apache Kafka está sujeto a las siguientes limitaciones:

• Admite el protocolo de seguridad SASL_SSL para las suscripciones a eventos.
• No admite mTLS para suscripciones a eventos.

Agrega el activador de Apache Kafka

Para agregar un activador de Apache Kafka a tu integración, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página Application Integration.

   Ir a Application Integration

2. En el menú de navegación, haz clic en Integraciones.

   Aparecerá la página Lista de integraciones, en la que se enumeran todas las integraciones disponibles en el proyecto de Google Cloud.

3. Selecciona una integración existente o haz clic en Crear integración para crear una nueva.

   Si creas una integración nueva, haz lo siguiente:

   1. Ingresa un nombre y una descripción en el panel Crear integración.
   2. Selecciona una región para la integración.
      Nota: En el menú desplegable Regiones, solo se enumeran las regiones aprovisionadas en el proyecto de Google Cloud. Para aprovisionar una región nueva, haz clic en Habilitar región. Consulta Habilita una región nueva para obtener más información.
   3. Selecciona una cuenta de servicio para la integración. Puedes cambiar o actualizar los detalles de la cuenta de servicio de una integración en cualquier momento desde el panel Resumen de la integración en la barra de herramientas de la integración.
      Nota: La opción para seleccionar una cuenta de servicio solo se muestra si habilitaste la gobernanza de integración para la región seleccionada.
   4. Haz clic en Crear.

   Esto abrirá la integración en la página del editor de integración.

4. En la barra de navegación del editor de integración, haz clic en Activadores para ver la lista de los activadores disponibles.
5. Haz clic y coloca el elemento activador de Apache Kafka en el editor de integración.

Para configurar el activador de Apache Kafka, puedes usar una conexión de Apache Kafka existente disponible en Integration Connectors o crear una nueva conexión de Apache Kafka con la opción de creación de conexión intercalada.

Configura el activador de Apache Kafka con una conexión existente

Puedes configurar el activador de Apache Kafka con una conexión de Apache Kafka existente en Integration Connectors. Ten en cuenta que el activador de Apache Kafka es un activador de eventos de conector, por lo que solo puedes usar una conexión de Apache Kafka con la suscripción a eventos habilitada para configurar el activador.

Para obtener información sobre cómo configurar un activador de Apache Kafka con una nueva conexión de Apache Kafka, consulta Cómo configurar un activador de Apache Kafka con una conexión nueva.

Para configurar un activador de Apache Kafka con una conexión de Apache Kafka existente, sigue estos pasos:

1. Haz clic en el elemento Activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
2. Haz clic en Configurar activador.
3. Proporciona los siguientes detalles de configuración en la página Editor de activadores de eventos de Connectors:
   1. Región: Selecciona la región de tu conexión de Apache Kafka.
   2. Conexión: Selecciona la conexión de Apache Kafka que deseas usar.

      Application Integration solo muestra las conexiones de Apache Kafka que están activas y tienen habilitada una suscripción a eventos.

   3. Nombre del tema: Ingresa el nombre del tema.
   4. ID del grupo de consumidores: De manera opcional, ingresa el ID del grupo de consumidores que especifica el nombre del grupo de consumidores al que pertenece el consumidor de Kafka.
   5. Partición: Ingresa la partición si quieres suscribirte a una partición en particular. Las particiones son una forma de dividir un tema en varias partes y almacenar cada una en un nodo diferente del clúster.
   6. Desplazamiento inicial: Selecciona la estrategia de restablecimiento del desplazamiento:
      • Si seleccionas más reciente, tu conexión consumirá los mensajes no consumidos, incluidos los mensajes producidos antes del ciclo de vida del grupo de consumidores.
      • Si seleccionas más reciente, tu conexión consumirá los mensajes que se produzcan después de que se cree el grupo de consumidores.
   7. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para el activador de Apache Kafka.
4. Haz clic en Listo.

Configura el activador de Apache Kafka con una conexión nueva

Para configurar el activador de Apache Kafka con una nueva conexión de Apache Kafka, sigue estos pasos:

1. Haz clic en el elemento Activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
2. Haz clic en Configurar activador de Apache Kafka.
3. Omite el campo Región.
4. Haz clic en Conexión y selecciona la opción Crear conexión en la lista. Aparecerá el panel Create Connection.
5. En el paso Ubicación, elige la ubicación para la nueva conexión de Apache Kafka:
   1. Región: Selecciona una región de la lista.
   2. Haz clic en Siguiente.
6. En el paso Detalles de la conexión, proporciona los detalles sobre la nueva conexión de Apache Kafka:
   1. Versión del conector: Elige una versión disponible del conector de Apache Kafka de la lista.
   2. Nombre de la conexión: Ingresa un nombre para la conexión de Apache Kafka.
      Nota: Los nombres de las conexiones deben cumplir con los siguientes criterios:

      • Los nombres de las conexiones pueden usar letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
      • Los nombres de las conexiones no pueden superar los 49 caracteres.
      • En el caso de los conectores que admiten la suscripción a eventos, los nombres de las conexiones no pueden comenzar con el prefijo "goog".
   3. Descripción: Ingresa una descripción para la conexión (opcional).
   4. Habilitar Cloud Logging: Selecciona esta casilla de verificación para almacenar todos los datos de registro de la conexión (opcional).
   5. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para la conexión de Apache Kafka.
   6. La opción Habilitar acciones, entidad y suscripción al evento está seleccionada de forma predeterminada para la conexión de Apache Kafka.
      Nota: Este conector no admite la opción Enable only event subscription.
   7. Esquema de detección de tipos: Selecciona MessageOnly.
   8. Servicio de registro: El servicio de Registro de esquemas que se usa para trabajar con esquemas de temas.
   9. Tipo de registro: Es el tipo de esquema especificado para un tema específico.
   10. Versión del registro: Es la versión del esquema leído de RegistryUrl para el tema especificado.
   11. Usuario de registro: Es el valor de nombre de usuario o clave de acceso que se autorizará con el servidor que se especifica en RegistryUrl.
   12. Contraseña del registro: El Secret de Secret Manager que contiene la contraseña o el valor de la clave secreta para autorizar con el servidor especificado en RegistryUrl.
   13. De manera opcional, configura los parámetros de nodo de conexión:
       • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
       • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

       Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

   Nota: Puedes personalizar los valores de los nodos de conexión solo si eres un cliente de pago por uso.
   14. De forma opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de un par clave-valor.
   15. Habilitar SSL: Este campo configura si SSL está habilitado.
   16. Haz clic en Siguiente.
7. En la sección Destinos, ingresa los detalles del servidor de arranque de Kafka al que deseas conectarte.
   1. Tipo de destino: Selecciona un Tipo de destino.
      • Selecciona Dirección de host en la lista para especificar el nombre de host o la dirección IP del destino.
      • Si deseas establecer una conexión privada a tus sistemas de backend, selecciona Adjunto de extremo en la lista y, luego, selecciona el archivo adjunto de extremo requerido en la lista Adjunto de extremo.
        Nota: Para comprender cómo crear un adjunto de extremo, consulta Adjunto de servicio de PSC y Adjunto de extremo. Después de crear el archivo adjunto del extremo, este aparecerá en la lista Adjunto de extremo.

      Si deseas establecer una conexión pública a tus sistemas de backend con seguridad adicional, puedes configurar direcciones IP salientes estáticas para tus conexiones y, luego, configurar tus reglas de firewall para incluir en la lista de entidades permitidas solo las direcciones IP estáticas específicas.

      Para especificar servidores de arranque de Kafka adicionales, haz clic en +AGREGAR DESTINO.

   2. Haz clic en Siguiente.
8. En la sección Autenticación, ingresa los detalles de autenticación.
   1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.

      La conexión de Apache Kafka admite los siguientes tipos de autenticación:

      • Nombre de usuario y contraseña
        • Nombre de usuario: El nombre de usuario de Apache Kafka que se usará para la conexión.
        • Contraseña: El Secret de Secret Manager que contiene la contraseña asociada con el nombre de usuario de Apache Kafka.
        • Esquema de autenticación: Es el esquema que se usa para la autenticación.

          La conexión de Apache Kafka admite los siguientes esquemas de autenticación:

          • Sin relleno
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • No disponible

        Si deseas usar un acceso anónimo, selecciona No disponible.

   2. Haz clic en Siguiente.
9. Ingresa la configuración de mensajes no entregados. Si configuras el buzón de mensajes no entregados, la conexión escribirá los eventos sin procesar en el tema de Pub/Sub especificado. Ingresa los siguientes detalles:
   1. ID del proyecto de buzón de destino: Es el ID del proyecto de Google Cloud en el que configuraste el tema de buzón de destino de Pub/Sub.
   2. Tema de mensajes no entregados: Es el tema de Pub/Sub en el que deseas escribir los detalles del evento no procesado.
10. Haz clic en Siguiente.
11. Revisa: Revisa tus detalles de conexión y autenticación.
12. Haz clic en Crear.

Resultado del activador

El activador de Apache Kafka tarda unos minutos en completar la configuración de la suscripción a eventos. Puedes ver el estado de tu suscripción a eventos en el panel de configuración del activador, en Detalles de la suscripción a eventos.

El activador de Apache Kafka indica el estado de una suscripción a eventos con los siguientes estados:

• Creating: Indica que el activador se suscribe a la suscripción del evento.
• Active: Indica que el activador se suscribió correctamente a una suscripción a un evento.
• Error: Indica que hay un problema con la suscripción al evento configurada.

Además del estado de la suscripción al evento, la sección Detalles de la suscripción al evento también muestra otros detalles, como la región de conexión, el nombre de la conexión y el nombre de la suscripción al evento.

Variable de salida del activador

Para cada evento, el activador de Apache Kafka genera una variable de salida ConnectorEventPayload (en formato JSON) que puedes usar en tus tareas descendentes. La variable de salida tendrá la carga útil de tu evento de Apache Kafka. Por ejemplo:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Cómo ver las suscripciones a eventos

Para ver y administrar todas las suscripciones a eventos asociadas con una conexión en Integration Connectors, haz lo siguiente:

1. Ve a la página Conectores de Integration > Conexiones.

   Ir a la página Conexiones

2. Haz clic en la conexión para la que deseas ver las suscripciones.
3. Haz clic en la pestaña Suscripciones a eventos.

   Se mostrarán todas las suscripciones de eventos para la conexión.

Edita el activador de Apache Kafka

Puedes editar un activador de Apache Kafka para cambiar o actualizar la configuración de la conexión y los detalles de la suscripción al evento.

Importante: Cuando editas o modificas un activador de Apache Kafka, puedes conservar la suscripción a eventos configurada anteriormente que está adjunta al activador o puedes borrarla. Si borras una suscripción a un evento, se verán afectadas todas las integraciones publicadas que usen esa suscripción.

Para editar un activador de Apache Kafka, sigue estos pasos:

1. Haz clic en el elemento Activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
2. Haz clic en Configurar activador de Apache Kafka.
3. Haz lo siguiente en la página Editor de activadores de eventos de conectores:
   1. Para conservar la suscripción al evento configurada anteriormente, haz clic en Retener. De lo contrario, haz clic en Borrar.
      Advertencia: Si borras una suscripción a un evento, se verá afectada toda la integración publicada que la use. No se puede deshacer esta tarea.
   2. Actualiza la configuración de la conexión y los detalles de la suscripción al evento según sea necesario.
   3. Haz clic en Listo.

Puedes ver los detalles actualizados de la conexión y la suscripción al evento en el panel de configuración del activador, en Detalles de la suscripción al evento.

Cuotas y límites

Para obtener más información sobre las cuotas y los límites, consulta Cuotas y límites.

¿Qué sigue?

• Obtén información sobre todas las tareas y los activadores.
• Obtén información para probar y publicar una integración.
• Obtén información sobre la manejo de errores.
• Obtén información sobre los registros de ejecución de integración.