Apache Kafka

El conector de Apache Kafka te permite realizar operaciones de inserción, eliminación, actualización y lectura en la base de datos de Apache Kafka.

Versiones compatibles

El conector de Apache Kafka aprovecha las bibliotecas cliente nativas para establecer una conexión con un clúster de Kafka determinado, y funciona con la versión 3.3.1 del cliente. Sin embargo, el conector puede establecer conectividad con clústeres de Kafka desde las versiones 3.0 a 3.3.1.

Antes de comenzar

Antes de usar el conector de Apache Kafka, realiza las siguientes tareas:

• En tu proyecto de Google Cloud, haz lo siguiente:
  • Otorga el rol de IAM roles/connectors.admin al usuario que configure el conector.
  • Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Una cuenta de servicio es un tipo de Cuenta de Google especial que representa a un usuario no humano que debe autenticarse y tener autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crear una. Para obtener más información, consulta Crea una cuenta de servicio.

  • Habilita los siguientes servicios:
    • secretmanager.googleapis.com (API de Secret Manager)
    • connectors.googleapis.com (API de conectores)

    Para comprender cómo habilitar servicios, consulta Habilita servicios.

  Si estos servicios o permisos no se habilitaron antes para tu proyecto, se te solicitará que los habilites cuando configures el conector.

Configura el conector

Para configurar el conector, debes crear una conexión a tu fuente de datos (sistema de backend). Una conexión es específica de una fuente de datos. Significa que, si tienes muchas fuentes de datos, debes crear una conexión independiente para cada fuente. Para crear una conexión, sigue estos pasos:

1. En la consola de Cloud, ve a la página Conectores de Integration > Conexiones y, luego, selecciona o crea un proyecto de Google Cloud.

   Ir a la página Conexiones

2. Haz clic en + CREAR NUEVO para abrir la página Crear conexión.
3. En el paso Ubicación, elige la ubicación para la nueva conexión de Apache Kafka:
   1. Región: Selecciona una región de la lista.
   2. Haz clic en Siguiente.
4. En el paso Detalles de la conexión, proporciona detalles sobre la nueva conexión de Apache Kafka:
   1. Versión del conector: Elige una versión disponible del conector de Apache Kafka de la lista.
   2. Nombre de la conexión: Ingresa un nombre para la conexión de Apache Kafka.
      Nota: Los nombres de las conexiones deben cumplir con los siguientes criterios:

      • Los nombres de las conexiones pueden usar letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
      • Los nombres de conexión no pueden superar los 49 caracteres.
      • En el caso de los conectores que admiten la suscripción a eventos, los nombres de las conexiones no pueden comenzar con el prefijo "goog".
   3. Descripción: Ingresa una descripción para la conexión (opcional).
   4. Habilitar Cloud Logging: Selecciona esta casilla de verificación para almacenar todos los datos de registro de la conexión (opcional).
   5. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para la conexión de Apache Kafka.
   6. La opción Habilitar suscripción a eventos, entidad y acciones está seleccionada de forma predeterminada para la conexión de Apache Kafka.
      Nota: Este conector no es compatible con Enable only event subscription opción.
   7. Esquema de detección de tipos: Selecciona MessageOnly.
   8. Servicio de registro: El servicio de Registro de esquemas que se usa para trabajar con esquemas de temas.
   9. Registry Type: Es el tipo de esquema especificado para un tema específico.
   10. Versión del registro: Es la versión del esquema leído de RegistryUrl para el tema especificado.
   11. Usuario del registro: Es el nombre de usuario o el valor de la clave de acceso que se debe autorizar con el servidor especificado en el archivo RegistryUrl.
   12. Contraseña del registro: Secreto del administrador de secretos que contiene la contraseña o el valor de la clave secreta que se autorizará con el servidor especificado en RegistryUrl.
   13. De manera opcional, configura los parámetros de nodo de conexión:
       • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
       • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

       Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

   Nota: Puedes personalizar los valores de los nodos de conexión solo si eres un cliente de pago por uso.
   14. De forma opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de un par clave-valor.
   15. Enable SSL: Este campo configura si SSL está habilitado.
   16. Haz clic en Siguiente.
5. En la sección Destinos, ingresa los detalles del host remoto (sistema de backend) al que deseas conectarte.
   1. Tipo de destino: Selecciona un Tipo de destino.
      • Selecciona Dirección de host en la lista para especificar el nombre de host o la dirección IP del destino.
      • Si deseas establecer una conexión privada con tus sistemas de backend, Selecciona Adjunto de extremo de la lista y, luego, selecciona el adjunto de extremo requerido. de la lista Adjunto de extremo.
        Nota: Para comprender cómo crear un adjunto de extremo, consulta Adjunto de servicio de PDC y un adjunto de extremos. Después de crear el archivo adjunto del extremo, este aparecerá en la lista Adjunto de extremo.

      Si deseas establecer una conexión pública a tus sistemas de backend con seguridad adicional, puedes configurar direcciones IP salientes estáticas para tus conexiones y, luego, configurar tus reglas de firewall para incluir en la lista de entidades permitidas solo las direcciones IP estáticas específicas.

      Para ingresar destinos adicionales, haz clic en +AGREGAR DESTINO.

   2. Haz clic en Siguiente.
6. En la sección Autenticación, ingresa los detalles de autenticación.
   1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.

      La conexión de Apache Kafka admite los siguientes tipos de autenticación:

      • Nombre de usuario y contraseña
        • Nombre de usuario: El nombre de usuario de Apache Kafka que se usará para la conexión.
        • Contraseña: El Secret de Secret Manager que contiene la contraseña asociada con el nombre de usuario de Apache Kafka.
        • Esquema de autenticación: El esquema utilizado para la autenticación

          La conexión de Apache Kafka admite el siguiente esquema de autenticación:

          • Llanura
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • No disponible

        Si deseas usar un acceso anónimo, selecciona No disponible.

   2. Haz clic en Siguiente.
7. Ingresa la configuración de mensajes no entregados. Si configuras el buzón de mensajes no entregados, la conexión escribirá los eventos sin procesar en el tema de Pub/Sub especificado. Ingresa los siguientes detalles:
   1. ID del proyecto de buzón de destino: Es el ID del proyecto de Google Cloud en el que configuraste el tema de buzón de destino de Pub/Sub.
   2. Tema de mensajes no entregados: es el tema de Pub/Sub en el que deseas escribir los detalles del evento sin procesar.
8. Haz clic en Siguiente.
9. Revisa: Revisa tus detalles de conexión y autenticación.
10. Haz clic en Crear.

Entidades, operaciones y acciones

Todos los Integration Connectors proporcionan una capa de abstracción para los objetos de la aplicación conectada. Solo puedes acceder a los objetos de una aplicación a través de esta abstracción. La abstracción se expone como entidades, operaciones y acciones.

Nota: Puedes ver las entidades, operaciones y acciones de un conector en la tarea de conectores.

• Entidades: Una entidad puede considerarse como un objeto o una colección de propiedades en la aplicación o servicio conectados. La definición de una entidad difiere de conector a conector. Por ejemplo, en un conector de bases de datos, las tablas son las entidades; en un conector de servidor de archivos, las carpetas son las entidades; en un conector de sistema de mensajería, las colas son las entidades.

  Sin embargo, es posible que un conector no admita o tenga ninguna entidad, en cuyo caso la lista Entities estará vacía.

• Operaciones: Una operación es la actividad que puedes realizar en una entidad. Puedes realizar cualquiera de las siguientes operaciones en una entidad:
  • Lista
  • Obtén
  • Crear
  • Actualizar
  • Borrar

  Cuando se selecciona una entidad de la lista disponible, se genera una lista de operaciones disponibles para esa entidad. Para obtener una descripción detallada de las operaciones, consulta las operaciones de entidades de la tarea de conectores. Sin embargo, si un conector no admite ninguna de las operaciones de entidad, tales operaciones operaciones no aparecen en la lista Operations.

• Acción: Una acción es una función de primera clase que está disponible para la integración mediante la interfaz de Conectores. Una acción te permite realizar cambios en una entidad o entidades y variar de un conector a otro. Por lo general, una acción tendrá algunos parámetros de entrada y un parámetro de salida. Sin embargo, es posible que un conector no admita ninguna acción, en cuyo caso la lista Actions estará vacía.

Nota: Todas las entidades y acciones tendrán un esquema asociado. Por ejemplo, un esquema de acción tendrá los detalles de los parámetros, como los nombres de los parámetros y su tipo de datos correspondiente. El esquema (metadatos) para entidades y acciones se recupera a través de la conexión en entorno de ejecución desde tu backend. Si hay actualizaciones en el esquema, estas no se se reflejan automáticamente en tus conexiones existentes; debes actualizar el esquema de forma manual. Para actualizar el esquema de una conexión, abre la página Detalles de la conexión de la conexión y, luego, haz clic en Actualiza el esquema de conexión.

Limitaciones del sistema

El conector de Apache Kafka puede procesar un máximo de 50 transacciones por segundo por nodo y limita las transacciones que superen este límite. De forma predeterminada, Integration Connectors asigna 2 nodos (para una mejor disponibilidad) por una conexión.

Para obtener información sobre los límites aplicables a Integration Connectors, consulta Límites.

Nota: La cantidad de nodos de Integration Connectors ajustará la escala de forma automática y dinámica según tu uso. Sin embargo, si deseas reservar capacidad para volúmenes grandes sin esperar al ajuste de escala automático, puedes ajustar el valor de nodo mínimo para una conexión. Se requieren más nodos para procesar más transacciones para una conexión. Por el contrario, se requieren menos nodos si una conexión procesa menos transacciones. Para configurar los valores del nodo, haz lo siguiente:

• Si eres cliente de pago por uso, configura el valor mínimo y máximo de los nodos en la página de edición de la conexión.
• Si eres un cliente basado en suscripciones, comunícate con el equipo de asistencia.

La cantidad máxima de transacciones que un nodo puede controlar dependen de varios factores. Por lo tanto, antes de ajustar los nodos mínimos para obtener una mejor capacidad de procesamiento, te recomendamos que verifiques si tus sistemas de backend están configurados de manera óptima para controlar el tráfico requerido.

Acciones

Acción PublishMessage

Esta acción publica un mensaje en un tema de Apache Kafka. En las siguientes tablas, se describen los parámetros de entrada y salida de la acción PublishMessage.

Parámetros de entrada

Nombre del parámetro	Obligatorio	Tipo de dato	Descripción
Tema	Sí	Cadena	Nombre del tema al que deseas publicar el mensaje.
Partición	No	String	Es la partición a la que se asigna el mensaje. El valor debe ser válido para sobre el tema dado. Si no estableces este valor, el cliente nativo lo establecerá automáticamente.
Clave	No	String	Es la clave del mensaje.
Mensaje	Sí	Cadena	El mensaje que quieres publicar. El mensaje debe ser un JSON en cadena y el tamaño máximo del mensaje es de 10 MB.
HasBytes	No	Booleano	Especifica si el mensaje está en formato binario.
MessageBytes	No	String	Es el mensaje en forma de una cadena codificada en Base64.
Validar	No	Booleano	Especifica si el mensaje que se publicará se debe validar según el esquema del mensaje. que se definió en Schema Registry del tema. Si especificaste el registro de esquemas cuando creaste una conexión, se usará la definición de esquema del tema del registro para la validación. El valor predeterminado de este campo es false

Los parámetros de resultado

Nombre del parámetro	Tipo de dato	Descripción
PartitionWritten	Número entero	La partición en la que se escribió el mensaje
OffsetWritten	Largo	La posición en la partición en la que se escribió el mensaje.
TimestampWritten	Largo	Es la hora (marca de tiempo de Unix) en la que se confirmó el mensaje en la partición.
KeyWritten	String	Es el valor de la clave de mensaje que se escribió. El valor es NULL si no se proporcionó una clave de mensaje. al escribir el mensaje.
Listo	Booleano	Especifica si se publicó el mensaje.

Nota: Los resultados de todas las operaciones y acciones de entidades estarán disponibles como una respuesta JSON en el parámetro de respuesta connectorOutputPayload de la tarea de conectores después de ejecutar la integración.

A continuación, se muestra un ejemplo de respuesta de la acción PublishMessage:

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Configuración de Confluent Cloud

La configuración de Confluent Cloud difiere un poco de los pasos documentados con anterioridad para Apache Kafka. Ten en cuenta los siguientes puntos: cuando crees una conexión para Confluent Cloud:

• La clave de API de clúster de Confluent Cloud se usa como nombre de usuario y el Secret de Secret Manager de la clave se usa como contraseña para conectarse a los servidores de arranque. Si aún no tienes una, debes crear una clave de API en Confluent Cloud.
• Selecciona Usar SSL en la sección Connection Details.
• Si usas el registro de esquemas, configura los siguientes valores:
  • En la sección Connection Details:
    • Versión del registro: Ingresa el número de versión del registro. Si quieres usar la versión más reciente, ingresa latest.
    • Usuario del registro: Ingresa la clave de API del registro de esquemas. Debes crear un registro de esquema. La clave de API, si aún no la tienes.
    • Contraseña del registro: Ingresa el Secret de Secret Manager de la contraseña de registro.
    • Versión del secreto: Selecciona el número de versión del secreto.
    • Tipo de registro: Selecciona Confluent.
    • Esquema de detección de tipos: Selecciona MessageOnly.
  • En la sección Destinations, ingresa la URL del registro en el campo de nombre de host.

  Usar Terraform para crear conexiones

  Puedes usar Terraform resource para crear una conexión nueva.

  Si deseas obtener más información para aplicar o quitar una configuración de Terraform, consulta los comandos básicos de Terraform.

  Para ver una plantilla de Terraform de ejemplo para la creación de conexiones, consulta la plantilla de ejemplo.

  Cuando creas esta conexión con Terraform, debes configurar las siguientes variables en tu archivo de configuración de Terraform:

  Nombre del parámetro	Tipo de datos	Obligatorio	Descripción
  type_detection_scheme	ENUM	Verdadero	Es el esquema que se usa para la autenticación con el agente de Apache Kafka. Los valores admitidos son MessageOnly:
  registry_service	ENUM	Falso	El servicio de Schema Registry que se usa para trabajar con esquemas de temas. Los valores admitidos son: Confluent
  registry_type	ENUM	Falso	Es el tipo de esquema especificado para un tema específico. Los valores admitidos son: AVRO y JSON.
  registry_version	STRING	Falso	Es la versión del esquema leído de RegistryUrl para el tema especificado. Los valores válidos para la versión del registro están entre [1,2^31-1] o la cadena "latest", que muestra el último esquema registrado.
  registry_user	STRING	Falso	Es el nombre de usuario que se autorizará con el servidor que se especifica en RegistryUrl.
  registry_password	SECRET	Falso	El Secret de Secret Manager que contiene la contraseña o el valor de la clave secreta para autorizar con el servidor especificado en RegistryUrl.
  usessl	BOOLEAN	Falso	Este campo establece si SSL está habilitada.

  Usa la conexión de Apache Kafka en una integración

  Después de crear la conexión, estará disponible en la integración de Apigee y en la integración de aplicaciones. Puedes usar la conexión en una integración a través de la tarea Connectors.

  • Para comprender cómo crear y usar la tarea Conectores en la integración de Apigee, consulta Tarea Conectores.
  • Para comprender cómo crear y usar la tarea Connectors en la integración de aplicaciones, consulta Tarea Connectors.

  Obtén ayuda de la Comunidad de Google Cloud

  Puedes publicar tus preguntas y debatir sobre este conector en la comunidad de Google Cloud en Cloud Forums.

  ¿Qué sigue?

  • Obtén información sobre cómo suspender y reanudar una conexión.
  • Obtén información para supervisar el uso de los conectores.
  • Aprende a ver los registros del conector.