Consulta los conectores compatibles con Application Integration.

Activador de Apache Kafka

Vista previa — Apache Kafka trigger

Esta función está sujetas a los "Términos de las Ofertas de Acceso Previo a la Disponibilidad General" de la sección Términos Generales de los Servicios de los Términos Específicos de los Servicios. Las funciones previas a la disponibilidad general están disponibles tal cual y pueden tener una compatibilidad y asistencia limitadas. Para obtener más información, consulta las descripciones de las fases de lanzamiento.

El activador de Apache Kafka es un activador de eventos de conector que te permite invocar una integración en función de los eventos de Apache Kafka a los que te hayas suscrito en tu conexión de Apache Kafka.

Importante: Integration Connectors es un componente facturable de Google Cloud. Para obtener información sobre los costes y los cargos por usar Integration Connectors, consulta los precios de Integration Connectors.

Antes de empezar

Si tienes previsto crear o configurar una conexión para el activador de Apache Kafka, asegúrate de que tienes el siguiente rol de Gestión de Identidades y Accesos (IAM) en el proyecto:

• Administrador del conector (roles/connectors.admin)

Para obtener información sobre cómo conceder roles, consulta el artículo sobre cómo gestionar el acceso.

Concede los siguientes roles de gestión de identidades y accesos a la cuenta de servicio que quieras usar para el activador de Apache Kafka:

• Invocador de integración de aplicaciones (roles/integrations.integrationInvoker)

Para obtener información sobre cómo conceder roles a una cuenta de servicio, consulta el artículo sobre cómo gestionar el acceso a cuentas de servicio.

Limitación

El activador de Apache Kafka está sujeto a las siguientes limitaciones:

• No admite el protocolo de seguridad SASL_SSL para suscripciones a eventos con almacén de confianza privado.
• No admite mTLS para las suscripciones a eventos.

Añadir el activador de Apache Kafka

Para añadir un activador de Apache Kafka a tu integración, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Integración de aplicaciones.

   Ir a Application Integration

2. En el menú de navegación, haga clic en Integraciones.

   Aparecerá la página Lista de integraciones, donde se muestran todas las integraciones disponibles en el proyecto de Google Cloud.

3. Seleccione una integración o haga clic en Crear integración para crear una.

   Si vas a crear una integración:

   1. Escribe un nombre y una descripción en el panel Crear integración.
   2. Selecciona una región para la integración.
      Nota: En el menú desplegable Regiones solo se muestran las regiones aprovisionadas en tu proyecto de Google Cloud. Para aprovisionar una región, haz clic en Habilitar región. Para obtener más información, consulta Habilitar una región nueva.
   3. Selecciona una cuenta de servicio para la integración. Puede cambiar o actualizar los detalles de la cuenta de servicio de una integración en cualquier momento desde el panel Resumen de la integración de la barra de herramientas de integración.
      Nota: La opción de seleccionar una cuenta de servicio solo se muestra si ha habilitado la gestión de la integración en la región seleccionada.
   4. Haz clic en Crear.

   La integración que acabas de crear se abre en el editor de integraciones.

4. En la barra de navegación del editor de integraciones, haga clic en Activadores para ver la lista de activadores disponibles.
5. Haz clic en el elemento Activador de Apache Kafka y colócalo en el editor de integraciones.

Para configurar el activador de Apache Kafka, puedes usar una conexión de Apache Kafka disponible en Integration Connectors o crear una con la opción de creación de conexiones insertada.

Configurar un activador de Apache Kafka con una conexión ya creada

Puedes configurar el activador de Apache Kafka mediante una conexión de Apache Kafka en Integration Connectors. Ten en cuenta que el activador de Apache Kafka es un activador de evento de conector, por lo que solo puedes usar una conexión de Apache Kafka con la suscripción a eventos habilitada para configurar el activador.

Para obtener información sobre cómo configurar un desencadenador de Apache Kafka mediante una nueva conexión de Apache Kafka, consulta Configurar un desencadenador de Apache Kafka mediante una nueva conexión.

Para configurar un desencadenador de Apache Kafka con una conexión de Apache Kafka, sigue estos pasos:

1. En el editor de integraciones, haz clic en el elemento Activador de Apache Kafka para abrir el panel de configuración del activador.
2. Haz clic en Configurar activador.
3. En la página Editor de activadores de eventos de conector, proporcione los siguientes detalles de configuración:
   1. Región: selecciona la región de tu conexión de Apache Kafka.
   2. Conexión: selecciona la conexión de Apache Kafka que quieras usar.

      Integración de aplicaciones solo muestra las conexiones de Apache Kafka que están activas y tienen habilitada una suscripción a eventos.

   3. Nombre del tema: escribe el nombre del tema.
   4. ID de grupo de consumidores: introduce el ID de grupo de consumidores que especifica el nombre del grupo de consumidores al que pertenece el consumidor de Kafka.
   5. Partición: introduce la partición si quieres suscribirte a una partición concreta. Las particiones son una forma de dividir un tema en varias partes y almacenar cada parte en un nodo diferente del clúster.
   6. Desplazamiento inicial: selecciona la estrategia de restablecimiento del desplazamiento:
      • Si seleccionas Más antiguo, tu conexión consumirá los mensajes no consumidos, incluidos los que se hayan producido antes del tiempo de vida del grupo de consumidores.
      • Si seleccionas latest, tu conexión consumirá los mensajes que se produzcan después de crear el grupo de consumidores.
   7. Cuenta de servicio: selecciona una cuenta de servicio con los roles de gestión de identidades y accesos necesarios para el activador de Apache Kafka.
4. Haz clic en Listo.

Configurar un activador de Apache Kafka con una conexión nueva

Para configurar el activador de Apache Kafka con una nueva conexión de Apache Kafka, sigue estos pasos:

1. En el editor de integraciones, haz clic en el elemento Activador de Apache Kafka para abrir el panel de configuración del activador.
2. Haz clic en Configurar activador de Apache Kafka.
3. Omite el campo Región.
4. Haz clic en Conexión y selecciona la opción Crear conexión de la lista. Aparecerá el panel Crear conexión.
5. En el paso Ubicación, elige la ubicación de la nueva conexión de Apache Kafka:
   1. Región: selecciona una región de la lista.
   2. Haz clic en Siguiente.
6. En el paso Detalles de la conexión, proporcione información sobre la nueva conexión de Apache Kafka:
   1. Versión del conector: elige una versión disponible del conector de Apache Kafka de la lista.
   2. Nombre de la conexión: introduce un nombre para la conexión de Apache Kafka.
      Nota: Los nombres de las conexiones deben cumplir los siguientes criterios:

      • Los nombres de conexión pueden contener letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de conexión deben empezar por una letra y terminar por una letra o un número.
      • Los nombres de conexión no pueden tener más de 49 caracteres.
      • En el caso de los conectores que admiten la suscripción a eventos, los nombres de conexión no pueden empezar por el prefijo "goog".
   3. (Opcional) Descripción: escribe una descripción de la conexión.
   4. (Opcional) Habilita Cloud Logging: marca esta casilla para almacenar todos los datos de registro de la conexión.
   5. Cuenta de servicio: selecciona una cuenta de servicio con los roles de gestión de identidades y accesos necesarios para la conexión de Apache Kafka.
   6. La opción Habilitar suscripción a eventos, entidades y acciones está seleccionada de forma predeterminada para la conexión de Apache Kafka.
      Nota: Este conector no admite la opción Enable only event subscription.
   7. Tipo de esquema de detección: selecciona MessageOnly.
   8. Servicio de registro: servicio de registro de esquemas que se usa para trabajar con esquemas de temas.
   9. Tipo de registro: tipo de esquema especificado para un tema concreto.
   10. Versión del registro: versión del esquema leído de RegistryUrl para el tema especificado.
   11. Usuario del registro: nombre de usuario o valor de la clave de acceso para autorizar el acceso al servidor especificado en RegistryUrl.
   12. Contraseña de registro: secreto de Secret Manager que contiene el valor de la clave de contraseña o secreto para autorizar el acceso al servidor especificado en RegistryUrl.
   13. Si quieres, configura los ajustes del nodo de conexión:
       • Número mínimo de nodos: introduce el número mínimo de nodos de conexión.
       • Número máximo de nodos: introduce el número máximo de nodos de conexión.

       Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se necesitan más nodos para procesar más transacciones en una conexión y, a la inversa, se necesitan menos nodos para procesar menos transacciones. Para saber cómo influyen los nodos en el precio de tu conector, consulta la sección Precios de los nodos de conexión. Si no introduces ningún valor, de forma predeterminada, el número mínimo de nodos se establece en 2 (para mejorar la disponibilidad) y el máximo en 50.

   Nota: Solo puedes personalizar los valores de los nodos de conexión si tienes una suscripción de pago por uso.
   14. También puedes hacer clic en + AÑADIR ETIQUETA para añadir una etiqueta a la conexión en forma de par clave-valor.
   15. Habilitar SSL: este campo determina si SSL está habilitado.
   16. Haz clic en Siguiente.
7. En la sección Destinations (Destinos), introduce los detalles del servidor de arranque de Kafka al que quieras conectarte.
   1. Tipo de destino: selecciona un Tipo de destino.
      • Para especificar el nombre de host o la dirección IP de destino, selecciona Dirección de host y introduce la dirección en el campo Host 1.
      • Para establecer una conexión privada, selecciona Endpoint attachment (Endpoint adjunto) y elige el adjunto que quieras de la lista Endpoint Attachment (Endpoint adjunto).
        Nota: Para saber cómo crear una vinculación de endpoint, consulta Vinculación de servicio de PSC y Vinculación de endpoint. Una vez que haya creado el adjunto de endpoint, se mostrará en la lista Adjunto de endpoint.

      Si quieres establecer una conexión pública con tus sistemas backend con seguridad adicional, puedes configurar direcciones IP de salida estáticas para tus conexiones y, a continuación, configurar las reglas de tu cortafuegos para que solo se permitan las direcciones IP estáticas específicas.

      Para especificar servidores de arranque de Kafka adicionales, haga clic en + AÑADIR DESTINO.

   2. Haz clic en Siguiente.
8. En la sección Autenticación, introduce los detalles de autenticación.
   1. Seleccione un Tipo de autenticación e introduzca los detalles pertinentes.

      La conexión de Apache Kafka admite los siguientes tipos de autenticación:

      • Nombre de usuario y contraseña
        • Nombre de usuario: el nombre de usuario de Apache Kafka que se usará para la conexión.
        • Contraseña: secreto de Secret Manager que contiene la contraseña asociada al nombre de usuario de Apache Kafka.
        • Esquema de autenticación: el esquema usado para la autenticación.

          La conexión de Apache Kafka admite los siguientes esquemas de autenticación:

          • Normal
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • No disponible

        Si quieres usar el inicio de sesión anónimo, selecciona No disponible.

   2. Haz clic en Siguiente.
9. Introduce la configuración de la cola de mensajes fallidos. Si configura mensajes fallidos, la conexión escribe los eventos no procesados en el tema de Pub/Sub especificado. Introduzca los siguientes detalles:
   1. ID de proyecto de mensajes fallidos: el ID del proyecto de Google Cloud en el que has configurado el tema de mensajes fallidos de Pub/Sub.
   2. Tema de mensajes fallidos: el tema de Pub/Sub en el que quieres escribir los detalles del evento no procesado.
10. Haz clic en Siguiente.
11. Revisar: revisa los detalles de la conexión y la autenticación.
12. Haz clic en Crear.

Salida del activador

El activador de Apache Kafka tarda un par de minutos en completar la configuración de la suscripción a eventos. Puedes ver el estado de tu suscripción a eventos en el panel de configuración del activador, en Detalles de la suscripción a eventos.

El activador de Apache Kafka indica el estado de una suscripción a eventos mediante los siguientes estados:

• Creating: indica que el activador se está suscribiendo a la suscripción al evento.
• Active: indica que el activador se ha suscrito correctamente a una suscripción de evento.
• Error: indica que hay un problema con la suscripción a eventos configurada.

Además del estado de la suscripción a eventos, la sección Detalles de la suscripción a eventos también muestra otros detalles, como la región de la conexión, el nombre de la conexión y el nombre de la suscripción a eventos.

Variable de salida del activador

Por cada evento, el activador de Apache Kafka genera una variable de salida ConnectorEventPayload (en formato JSON) que puedes usar en las tareas posteriores. La variable tendrá la carga útil de tu evento de Apache Kafka. Por ejemplo:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ver suscripciones a eventos

Para ver y gestionar todas las suscripciones a eventos asociadas a una conexión en Integration Connectors, sigue estos pasos:

1. Ve a la página Integration Connectors > Connections (Conectores de integración > Conexiones).

   Ve a la página Conexiones

2. Haz clic en la conexión de la que quieras ver las suscripciones.
3. Haz clic en la pestaña Suscripciones a eventos.

   Se muestran todas las suscripciones a eventos de la conexión.

Editar un activador de Apache Kafka

Puedes editar un desencadenador de Apache Kafka para cambiar o actualizar la configuración de la conexión y los detalles de la suscripción a eventos.

Importante: Cuando editas o modificas un activador de Apache Kafka, puedes conservar la suscripción a eventos configurada anteriormente que esté asociada al activador o eliminarla. Si eliminas una suscripción a eventos, se verán afectadas todas las integraciones publicadas que la usen.

Para editar un activador de Apache Kafka, sigue estos pasos:

1. En el editor de integraciones, haz clic en el elemento Activador de Apache Kafka para abrir el panel de configuración del activador.
2. Haz clic en Configurar activador de Apache Kafka.
3. En la página Editor de activadores de eventos de conector, haz lo siguiente:
   1. Para conservar la suscripción al evento configurada anteriormente, haga clic en Conservar. De lo contrario, haga clic en Eliminar.
      Advertencia: Si elimina una suscripción a un evento, afectará a todas las integraciones publicadas que la usen. Esta tarea no se puede deshacer.
   2. Actualiza la configuración de la conexión y los detalles de la suscripción a eventos como quieras.
   3. Haz clic en Listo.

Puedes ver los detalles actualizados de la conexión y de la suscripción a eventos en el panel de configuración del activador, en Detalles de la suscripción a eventos.

Cuotas y límites

Para obtener información sobre las cuotas y los límites, consulta Cuotas y límites.

Siguientes pasos

• Consulta información sobre todas las tareas y los activadores.
• Consulta cómo probar y publicar una integración.
• Consulta información sobre el tratamiento de errores.
• Consulta información sobre los registros de ejecución de integraciones.