Apache Kafka

El conector de Apache Kafka te permite realizar operaciones de inserción, eliminación, actualización y lectura en la base de datos de Apache Kafka.

Versiones compatibles

El conector de Apache Kafka aprovecha las bibliotecas cliente nativas para establecer una conexión a un clúster de Kafka determinado, y el conector funciona con la versión del cliente 3.3.1. Sin embargo, el conector puede establecer conectividad con los clústeres de Kafka de las versiones 3.0 a 3.3.1.

Antes de comenzar

Antes de usar el conector de Apache Kafka, realiza las siguientes tareas:

  • En tu proyecto de Google Cloud, haz lo siguiente:
    • Otorga el rol de IAM roles/connectors.admin al usuario que configura el conector.
    • Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el conector:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Una cuenta de servicio es un tipo de Cuenta de Google especial que representa a un usuario no humano que debe autenticarse y tener autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crear una. Para obtener más información, consulta Crea una cuenta de servicio.

    • Habilita los siguientes servicios:
      • secretmanager.googleapis.com (API de Secret Manager)
      • connectors.googleapis.com (API de conectores)

      Para comprender cómo habilitar servicios, consulta Habilita servicios.

    Si estos servicios o permisos no se habilitaron antes para tu proyecto, se te solicitará que los habilites cuando configures el conector.

Configura el conector

Para configurar el conector, debes crear una conexión a tu fuente de datos (sistema de backend). Una conexión es específica de una fuente de datos. Significa que, si tienes muchas fuentes de datos, debes crear una conexión independiente para cada fuente. Para crear una conexión, sigue estos pasos:

  1. En la consola de Cloud, ve a la página Conectores de Integration > Conexiones y, luego, selecciona o crea un proyecto de Google Cloud.

    Ir a la página Conexiones

  2. Haz clic en + CREAR NUEVO para abrir la página Crear conexión.
  3. En el paso Ubicación, elige la ubicación para la nueva conexión de Apache Kafka:
    1. Region: Selecciona una región de la lista.
    2. Haz clic en Siguiente.
  4. En el paso Detalles de la conexión, proporciona detalles sobre la nueva conexión de Apache Kafka:
    1. Versión del conector: Elige una versión disponible del conector de Apache Kafka de la lista.
    2. Connection Name: Ingresa un nombre para la conexión de Apache Kafka.
    3. Descripción (opcional): Ingresa una descripción para la conexión.
    4. (Opcional) Habilitar Cloud Logging: Selecciona esta casilla de verificación para almacenar todos los datos de registro de la conexión.
    5. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para la conexión de Apache Kafka.
    6. La opción Habilitar la suscripción al evento, la entidad y las acciones está seleccionada de forma predeterminada para la conexión de Apache Kafka.
    7. Type Detection Scheme: Selecciona MessageOnly.
    8. Servicio de registro: El servicio de Registro de esquemas que se usa para trabajar con esquemas de temas.
    9. Registry Type: Es el tipo de esquema especificado para un tema específico.
    10. Versión del registro: Es la versión del esquema que se lee desde RegistryUrl para el tema especificado.
    11. Usuario del registro: Es el valor de nombre de usuario o clave de acceso que se autorizará con el servidor especificado en RegistryUrl.
    12. Contraseña del registro: Secreto de Secret Manager que contiene el valor de la clave o la contraseña que se autorizará con el servidor especificado en RegistryUrl.
    13. De manera opcional, configura los parámetros de nodo de conexión:

      • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
      • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

      Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

    14. De manera opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de par clave-valor.
    15. Habilitar SSL: Este campo establece si SSL está habilitado.
    16. Haz clic en Siguiente.
  5. En la sección Destinos, ingresa los detalles del host remoto (sistema de backend) al que deseas conectarte.
    1. Tipo de destino: Selecciona un Tipo de destino.
      1. En el campo Dirección de host, especifica el nombre de host o la dirección IP del destino.
        1. Si deseas establecer una conexión privada a tus sistemas de backend, sigue estos pasos:
          1. Crea un adjunto de servicio de PSC.
          2. Crea un adjunto de extremo y, luego, ingresa los detalles del adjunto del extremo en el campo Dirección del host.
        2. Si quieres establecer una conexión pública con tus sistemas de backend con seguridad adicional, puedes configurar direcciones IP salientes estáticas para tus conexiones y, luego, configurar las reglas de firewall para incluir solo las direcciones IP estáticas específicas en la lista de entidades permitidas.

      Para ingresar destinos adicionales, haz clic en +AGREGAR DESTINO.

    2. Haz clic en Siguiente.
  6. En la sección Autenticación, ingresa los detalles de autenticación.
    1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.

      La conexión de Apache Kafka admite los siguientes tipos de autenticación:

      • Nombre de usuario y contraseña
        • Nombre de usuario: El nombre de usuario de Apache Kafka que se usará para la conexión.
        • Contraseña: El Secret de Secret Manager que contiene la contraseña asociada con el nombre de usuario de Apache Kafka.
        • Esquema de autenticación: Es el esquema utilizado para la autenticación.

          La conexión de Apache Kafka admite el siguiente esquema de autenticación:

          • Simple
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • No disponible

        Si deseas usar un acceso anónimo, selecciona No disponible.

    2. Haz clic en Siguiente.
  7. Ingresa la configuración de mensajes no entregados. Si configuras los mensajes no entregados, la conexión escribe los eventos no procesados en el tema de Pub/Sub especificado. Ingresa los siguientes detalles:
    1. ID del proyecto de mensajes no entregados: Es el ID del proyecto de Google Cloud en el que configuraste el tema de mensajes no entregados de Pub/Sub.
    2. Tema de mensajes no entregados: es el tema de Pub/Sub en el que deseas escribir los detalles del evento sin procesar.
  8. Haz clic en Siguiente.
  9. Revisa: Revisa tus detalles de conexión y autenticación.
  10. Haz clic en Crear.

Entidades, operaciones y acciones

Todos los Integration Connectors proporcionan una capa de abstracción para los objetos de la aplicación conectada. Solo puedes acceder a los objetos de una aplicación a través de esta abstracción. La abstracción se expone como entidades, operaciones y acciones.

  • Entidades: Una entidad puede considerarse como un objeto o una colección de propiedades en la aplicación o servicio conectados. La definición de una entidad difiere de conector a conector. Por ejemplo, en un conector de bases de datos, las tablas son las entidades; en un conector de servidor de archivos, las carpetas son las entidades; en un conector de sistema de mensajería, las colas son las entidades.

    Sin embargo, es posible que un conector no admita o tenga ninguna entidad, en cuyo caso la lista Entities estará vacía.

  • Operaciones: Una operación es la actividad que puedes realizar en una entidad. Puedes realizar cualquiera de las siguientes operaciones en una entidad:

    Cuando se selecciona una entidad de la lista disponible, se genera una lista de operaciones disponibles para esa entidad. Para obtener una descripción detallada de las operaciones, consulta las operaciones de entidades de la tarea de conectores. Sin embargo, si un conector no admite ninguna de las operaciones de entidad, tales operaciones no compatibles no aparecerán en la lista Operations.

  • Acción: Una acción es una función de primera clase que está disponible para la integración mediante la interfaz de Conectores. Una acción te permite realizar cambios en una entidad o entidades y variar de un conector a otro. Sin embargo, es posible que un conector no admita ninguna acción, en cuyo caso la lista Actions estará vacía.

Limitaciones del sistema

El conector de Apache Kafka puede procesar un máximo de 50 transacciones por segundo y por nodo, y limita cualquier transacción que supere este límite. De forma predeterminada, Integration Connectors asigna 2 nodos (para una mejor disponibilidad) a una conexión.

Para obtener más información sobre los límites aplicables a Integration Connectors, consulta Límites.

Acciones

Acción PublishMessage

Con esta acción, se publica un mensaje en un tema de Apache Kafka. En las siguientes tablas, se describen los parámetros de entrada y salida de la acción PublishMessage.

Parámetros de entrada

Nombre del parámetro Requeridos Tipo de dato Descripción
Tema Sí String Nombre del tema al que deseas publicar el mensaje.
Partition No String La partición a la que se asigna el mensaje. El valor debe ser válido para el tema determinado. Si no estableces este valor, el cliente nativo lo configurará automáticamente.
Clave No String La tecla de mensaje
Mensaje Sí String El mensaje que quieres publicar. El mensaje debe ser un JSON en cadena y el tamaño máximo del mensaje es de 10 MB.
HasBytes No Booleano Especifica si el mensaje está en formato binario.
MessageBytes No String El mensaje con el formato de una string codificada en Base64.
Validación No Booleano Especifica si el mensaje que se publicará debe validarse con el esquema del mensaje definido en el registro de esquema para el tema. Si especificaste el registro de esquemas cuando creaste una conexión, la definición de esquema del tema del registro se usará para la validación. El valor predeterminado de este campo es false

Los parámetros de resultado

Nombre del parámetro Tipo de dato Descripción
PartitionWritten Integer La partición en la que se escribió el mensaje.
OffsetWritten Largo La posición en la partición en la que se escribió el mensaje.
TimestampWritten Largo La hora (marca de tiempo Unix) en la que el mensaje se confirmó en la partición.
KeyWritten String El valor de la clave de mensaje que se escribió. El valor es NULL si no se proporcionó una clave de mensaje cuando se escribió el mensaje.
Se completó correctamente Booleano Especifica si el mensaje se publicó.

A continuación, se muestra una respuesta de ejemplo de la acción PublishMessage:

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Configuración de Confluent Cloud

La configuración de Confluent Cloud difiere un poco de los pasos documentados con anterioridad para Apache Kafka. Ten en cuenta los siguientes puntos cuando crees una conexión para Confluent Cloud:

  • La clave de API de clúster de Confluent Cloud se usa como nombre de usuario y el Secret de Secret Manager de la clave se usa como contraseña para conectarse a los servidores de arranque. Debes crear una clave de API en Confluent Cloud si aún no la tienes.
  • Selecciona Usar SSL en la sección Connection Details.
  • Si usas el registro de esquemas, configura los siguientes valores:
    • En la sección Connection Details, haz lo siguiente:
      • Versión del registro: Ingresa el número de versión del registro. Si quieres usar la última versión, ingresa latest.
      • Registry User: Ingresa la clave de API del registro de esquema. Debes crear una clave de API de registro de esquema si aún no la tienes.
      • Contraseña del registro: Ingresa el Secret de Secret Manager de la contraseña de registro.
      • Versión del secreto: Selecciona el número de versión del secreto.
      • Tipo de registro: Selecciona Confluent.
      • Esquema de detección de tipos: Selecciona MessageOnly
    • En la sección Destinations, ingresa la URL de registro en el campo de nombre de host.

    Usa Terraform para crear conexiones

    Puedes usar el recurso de Terraform para crear una conexión nueva.

    Si deseas obtener más información para aplicar o quitar una configuración de Terraform, consulta los comandos básicos de Terraform.

    Si quieres ver una plantilla de muestra de Terraform para crear conexiones, consulta la plantilla de muestra.

    Cuando creas esta conexión en Terraform, debes establecer las siguientes variables en tu archivo de configuración de Terraform:

    Nombre del parámetro Tipo de datos Requeridos Descripción
    type_detection_scheme ENUM Verdadero El esquema que se usa para la autenticación con el agente de Apache Kafka. Los valores admitidos son: MessageOnly
    registry_service ENUM Falso El servicio de Registro de esquemas que se usa para trabajar con esquemas de temas. Los valores admitidos son: Confluent
    registry_type ENUM Falso Es el tipo de esquema especificado para un tema específico. Los valores admitidos son AVRO y JSON.
    registry_version STRING Falso Es la versión del esquema leído desde RegistryUrl para el tema especificado. Los valores válidos para la versión del registro están entre [1,2^31-1] o la string “latest”, que muestra el último esquema registrado.
    registry_user STRING Falso Nombre de usuario que se autorizará con el servidor especificado en RegistryUrl .
    registry_password SECRET Falso Secret de Secret Manager que contiene el valor de la clave secreta o de la contraseña que se autorizará con el servidor especificado en RegistryUrl.
    usessl BOOLEAN Falso Este campo establece si SSL está habilitado.

    Usa la conexión de Apache Kafka en una integración

    Después de crear la conexión, estará disponible en Apigee Integration y en Application Integration. Puedes usar la conexión en una integración mediante la tarea Conectores.

    • Para comprender cómo crear y usar la tarea Conectores en la integración de Apigee, consulta la Tarea Conectores.
    • Para comprender cómo crear y usar la tarea Conectores en Application Integration, consulta la tarea Conectores.

    Obtén ayuda de la Comunidad de Google Cloud

    Puedes publicar tus preguntas y debatir sobre este conector en la comunidad de Google Cloud en Cloud Forums.

    ¿Qué sigue?