Apache Kafka

El conector de Apache Kafka te permite realizar operaciones de inserción, eliminación, actualización y lectura en la base de datos de Apache Kafka.

Versiones compatibles

El conector de Apache Kafka aprovecha las bibliotecas cliente nativas para establecer una conexión con un clúster de Kafka determinado y funciona con la versión 3.3.1 del cliente. Sin embargo, el conector puede establecer la conectividad con los clústeres de Kafka de las versiones 3.0 a 3.3.1.

Antes de comenzar

Antes de usar el conector de Apache Kafka, realiza las siguientes tareas:

• En tu proyecto de Google Cloud, haz lo siguiente:
  • Otorga el rol de IAM roles/connectors.admin al usuario que configura el conector.
  • Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Una cuenta de servicio es un tipo de Cuenta de Google especial que representa a un usuario no humano que debe autenticarse y tener autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crear una. Para obtener más información, consulta Crea una cuenta de servicio.

  • Habilita los siguientes servicios:
    • secretmanager.googleapis.com (API de Secret Manager)
    • connectors.googleapis.com (API de conectores)

    Para comprender cómo habilitar servicios, consulta Habilita servicios.

  Si estos servicios o permisos no se habilitaron antes para tu proyecto, se te solicitará que los habilites cuando configures el conector.

Configura el conector

Para configurar el conector, debes crear una conexión a tu fuente de datos (sistema de backend). Una conexión es específica de una fuente de datos. Significa que, si tienes muchas fuentes de datos, debes crear una conexión independiente para cada fuente. Para crear una conexión, sigue estos pasos:

1. En la consola de Cloud, ve a la página Conectores de Integration > Conexiones y, luego, selecciona o crea un proyecto de Google Cloud.

   Ir a la página Conexiones

2. Haz clic en + CREAR NUEVO para abrir la página Crear conexión.
3. En el paso Ubicación, elige la ubicación de la nueva conexión de Apache Kafka:
   1. Region: Selecciona una región de la lista.
   2. Haz clic en Siguiente.
4. En el paso Detalles de la conexión, proporciona detalles sobre la nueva conexión de Apache Kafka:
   1. Versión del conector: Elige una versión disponible del conector de Apache Kafka de la lista.
   2. Nombre de la conexión: ingresa un nombre para la conexión de Apache Kafka.
      Nota: Los nombres de las conexiones deben cumplir con los siguientes criterios:

      • Los nombres de las conexiones pueden usar letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
      • Los nombres de las conexiones no pueden superar los 63 caracteres.
   3. Descripción : Ingresa una descripción para la conexión (opcional).
   4. Habilitar Cloud Logging (opcional): Selecciona esta casilla de verificación para almacenar todos los datos de registro de la conexión.
   5. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para la conexión de Apache Kafka.
   6. La opción Habilitar suscripción a eventos, entidad y acciones está seleccionada de forma predeterminada para la conexión de Apache Kafka.
      Nota: Este conector no admite la opción Enable only event subscription.
   7. Esquema de detección de tipos: Selecciona MessageOnly.
   8. Servicio de registro: El servicio de Registro de esquemas que se usa para trabajar con esquemas de temas.
   9. Registry Type: Es el tipo de esquema especificado para un tema específico.
   10. Versión del registro: Es la versión del esquema que se lee desde RegistryUrl para el tema especificado.
   11. Usuario del registro: Es el nombre de usuario o el valor de la clave de acceso que se debe autorizar con el servidor especificado en el archivo RegistryUrl.
   12. Contraseña del registro: Secreto del administrador de secretos que contiene la contraseña o el valor de la clave secreta que se autorizará con el servidor especificado en RegistryUrl.
   13. De manera opcional, configura los parámetros de nodo de conexión:
       • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
       • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

       Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

   Nota: Puedes personalizar los valores de los nodos de conexión solo si eres un cliente de pago por uso.
   14. De manera opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de un par clave-valor.
   15. Habilitar SSL: este campo establece si SSL está habilitada.
   16. Haz clic en Siguiente.
5. En la sección Destinos, ingresa los detalles del host remoto (sistema de backend) al que deseas conectarte.
   1. Tipo de destino: Selecciona un Tipo de destino.
      • Selecciona Dirección de host en la lista para especificar el nombre de host o la dirección IP del destino.
      • Si deseas establecer una conexión privada con tus sistemas de backend, selecciona Adjunto de extremo en la lista y, luego, selecciona el adjunto de extremo requerido en la lista Adjunto de extremo.
        Nota: Para comprender cómo crear un adjunto de extremo, consulta Adjunto de servicio de PSC y adjunto de extremo. Después de crear el adjunto de extremo, será visible en la lista Adjunto de extremo.

      Si deseas establecer una conexión pública a tus sistemas de backend con seguridad adicional, puedes considerar configurar direcciones IP de salida estáticas para tus conexiones y, luego, configurar tus reglas de firewall para incluir en la lista de entidades permitidas solo las direcciones IP estáticas específicas.

      Para ingresar destinos adicionales, haz clic en +AGREGAR DESTINO.

   2. Haz clic en Siguiente.
6. En la sección Autenticación, ingresa los detalles de autenticación.
   1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.

      La conexión de Apache Kafka admite los siguientes tipos de autenticación:

      • Nombre de usuario y contraseña
        • Nombre de usuario: El nombre de usuario de Apache Kafka que se usará para la conexión.
        • Contraseña: El Secret de Secret Manager que contiene la contraseña asociada con el nombre de usuario de Apache Kafka.
        • Esquema de autenticación: El esquema utilizado para la autenticación

          La conexión de Apache Kafka admite el siguiente esquema de autenticación:

          • Llanura
          • SCRAM‐SHA‐1
          • SCRAM-SHA-256
      • No disponible

        Si deseas usar un acceso anónimo, selecciona No disponible.

   2. Haz clic en Siguiente.
7. Ingresa la configuración de mensajes no entregados. Si configuras los mensajes no entregados, la conexión escribe los eventos sin procesar en el tema de Pub/Sub especificado. Ingresa los siguientes detalles:
   1. ID del proyecto de mensajes no entregados: Es el ID del proyecto de Google Cloud en el que configuraste el tema de mensajes no entregados de Pub/Sub.
   2. Tema de mensajes no entregados: es el tema de Pub/Sub en el que deseas escribir los detalles del evento sin procesar.
8. Haz clic en Siguiente.
9. Revisa: Revisa tus detalles de conexión y autenticación.
10. Haz clic en Crear.

Entidades, operaciones y acciones

Todos los Integration Connectors proporcionan una capa de abstracción para los objetos de la aplicación conectada. Solo puedes acceder a los objetos de una aplicación a través de esta abstracción. La abstracción se expone como entidades, operaciones y acciones.

Nota: Puedes ver las entidades, operaciones y acciones de un conector en la tarea de conectores.

• Entidades: Una entidad puede considerarse como un objeto o una colección de propiedades en la aplicación o servicio conectados. La definición de una entidad difiere de conector a conector. Por ejemplo, en un conector de bases de datos, las tablas son las entidades; en un conector de servidor de archivos, las carpetas son las entidades; en un conector de sistema de mensajería, las colas son las entidades.

  Sin embargo, es posible que un conector no admita o tenga ninguna entidad, en cuyo caso la lista Entities estará vacía.

• Operaciones: Una operación es la actividad que puedes realizar en una entidad. Puedes realizar cualquiera de las siguientes operaciones en una entidad:
  • Lista
  • Obtener
  • Crear
  • Actualizar
  • Borrar

  Cuando se selecciona una entidad de la lista disponible, se genera una lista de operaciones disponibles para esa entidad. Para obtener una descripción detallada de las operaciones, consulta las operaciones de entidades de la tarea de conectores. Sin embargo, si un conector no admite ninguna de las operaciones de entidad, esas operaciones no admitidas no se enumeran en la lista Operations.

• Acción: Una acción es una función de primera clase que está disponible para la integración mediante la interfaz de Conectores. Una acción te permite realizar cambios en una entidad o entidades y variar de un conector a otro. Por lo general, una acción tendrá algunos parámetros de entrada y un parámetro de salida. Sin embargo, es posible que un conector no admita ninguna acción, en cuyo caso la lista Actions estará vacía.

Nota: Todas las entidades y acciones tendrán un esquema asociado. Por ejemplo, un esquema de acción tendrá los detalles de los parámetros, como los nombres de los parámetros y su tipo de datos correspondiente. El esquema (metadatos) para entidades y acciones se recupera mediante la conexión en el entorno de ejecución desde tu backend. Si hay actualizaciones en el esquema, esas actualizaciones no se reflejarán automáticamente en tus conexiones existentes. Debes actualizar el esquema de forma manual. Para actualizar el esquema de una conexión, abre la página Detalles de la conexión de la conexión y, luego, haz clic en Actualizar esquema de conexión.

Limitaciones del sistema

El conector de Apache Kafka puede procesar un máximo de 50 transacciones por segundo, por nodo, y limita cualquier transacción que supere este límite. De forma predeterminada, Integration Connectors asigna 2 nodos (para una mejor disponibilidad) por una conexión.

Para obtener información sobre los límites aplicables a Integration Connectors, consulta Límites.

Nota: La cantidad de nodos de Integration Connectors ajustará la escala de forma automática y dinámica según tu uso. Sin embargo, si deseas reservar capacidad para grandes volúmenes sin esperar el ajuste de escala automático, puedes ajustar el valor mínimo de nodo para una conexión. Se requieren más nodos a fin de procesar más transacciones para una conexión. Por el contrario, se requieren menos nodos si una conexión procesa menos transacciones. Para configurar los valores del nodo, haz lo siguiente:

• Si eres un cliente de pago por uso, configura el valor mínimo y máximo de nodos en la página de edición de conexiones.
• Si eres un cliente basado en una suscripción, comunícate con el equipo de asistencia.

La cantidad máxima de transacciones que un nodo puede controlar dependen de varios factores. Por lo tanto, antes de ajustar la cantidad mínima de nodos para mejorar la capacidad de procesamiento, te recomendamos que verifiques si los sistemas de backend están configurados de manera óptima para manejar el tráfico requerido.

Acciones

Acción PublishMessage

Esta acción publica un mensaje en un tema de Apache Kafka. En las siguientes tablas, se describen los parámetros de entrada y salida de la acción PublishMessage.

Parámetros de entrada

Nombre del parámetro	Obligatorio	Tipo de dato	Descripción
Tema	Sí	String	Nombre del tema al que deseas publicar el mensaje.
Partition	No	String	La partición a la que se asigna el mensaje. El valor debe ser válido para el tema en cuestión. Si no estableces este valor, el cliente nativo lo configurará automáticamente.
Clave	No	String	La tecla de mensaje.
Mensaje	Sí	String	El mensaje que quieres publicar. El mensaje debe ser un JSON en cadena y el tamaño máximo del mensaje es de 10 MB.
HasBytes	No	Booleano	Especifica si el mensaje está en formato binario.
MessageBytes	No	String	Es el mensaje en forma de una cadena codificada en Base64.
Validación	No	Booleano	Especifica si el mensaje que se publicará debe validarse con el esquema de mensajes definido en el registro de esquemas del tema. Si especificaste el registro de esquemas cuando creaste una conexión, la definición de esquema del tema del registro se usa para la validación. El valor predeterminado de este campo es false

Los parámetros de resultado

Nombre del parámetro	Tipo de dato	Descripción
PartitionWritten	Integer	La partición en la que se escribió el mensaje.
OffsetWritten	Largo	La posición en la partición en la que se escribió el mensaje.
TimestampWritten	Largo	La hora (marca de tiempo Unix) a la que se confirmó el mensaje en la partición.
KeyWritten	String	Es el valor de la clave del mensaje que se escribió. El valor es NULL si no se proporcionó una clave de mensaje durante la escritura.
Correcto	Booleano	Especifica si el mensaje se publicó.

Nota: Los resultados de todas las operaciones y acciones de entidades estarán disponibles como una respuesta JSON en el parámetro de respuesta connectorOutputPayload de la tarea de conectores después de ejecutar la integración.

A continuación, se muestra un ejemplo de respuesta de la acción PublishMessage:

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Configuración de Confluent Cloud

La configuración de Confluent Cloud difiere un poco de los pasos documentados con anterioridad para Apache Kafka. Ten en cuenta los siguientes puntos cuando crees una conexión para Confluent Cloud:

• La clave de API de clúster de Confluent Cloud se usa como nombre de usuario y el Secret de Secret Manager de la clave se usa como contraseña para conectarse a los servidores de arranque. Debes crear una clave de API en Confluent Cloud si aún no la tienes.
• Selecciona Usar SSL en la sección Connection Details.
• Si usas el registro de esquemas, configura los siguientes valores:
  • En la sección Connection Details, haz lo siguiente:
    • Versión del registro: Ingresa el número de versión del registro. Si deseas usar la versión más reciente, ingresa latest.
    • Usuario del registro : Ingresa la clave de API de Schema Registry. Debes crear una clave de API de Schema Registry si aún no la tienes.
    • Contraseña del registro: Ingresa el Secret de Secret Manager de la contraseña de registro.
    • Versión del secreto: Selecciona el número de versión del secreto.
    • Tipo de registro: Selecciona Confluent.
    • Esquema de detección de tipos: Selecciona MessageOnly
  • En la sección Destinations, ingresa la URL del registro en el campo del nombre de host.

  Usar Terraform para crear conexiones

  Puedes usar el recurso de Terraform para crear una conexión nueva.

  Si deseas obtener más información para aplicar o quitar una configuración de Terraform, consulta los comandos básicos de Terraform.

  Si quieres ver una plantilla de Terraform de muestra para crear conexiones, consulta la plantilla de muestra.

  Cuando creas esta conexión con Terraform, debes configurar las siguientes variables en tu archivo de configuración de Terraform:

  Nombre del parámetro	Tipo de datos	Obligatorio	Descripción
  type_detection_scheme	ENUM	Verdadero	El esquema que se usa para la autenticación con el agente de Apache Kafka. Los valores admitidos son MessageOnly:
  registry_service	ENUM	Falso	El servicio de Schema Registry que se usa para trabajar con esquemas de temas. Los valores admitidos son: Confluent
  registry_type	ENUM	Falso	Tipo de esquema especificado para un tema específico. Los valores admitidos son AVRO y JSON.
  registry_version	STRING	Falso	Es la versión del esquema leída de RegistryUrl para el tema especificado. Los valores válidos para la versión del registro están entre [1,2^31-1] o la cadena “más reciente”, que muestra el último esquema registrado.
  registry_user	STRING	Falso	Es el nombre de usuario que se autorizará con el servidor especificado en RegistryUrl .
  registry_password	SECRET	Falso	El Secret de Secret Manager que contiene la contraseña o el valor de la clave secreta que se autorizará con el servidor especificado en RegistryUrl.
  usessl	BOOLEAN	Falso	Este campo establece si SSL está habilitada.

  Usar la conexión de Apache Kafka en una integración

  Después de crear la conexión, estará disponible en Apigee Integration y Application Integration. Puedes usar la conexión en una integración a través de la tarea Conectores.

  • Para comprender cómo crear y usar la tarea Conectores en la integración de Apigee, consulta Tarea Conectores.
  • Para comprender cómo crear y usar la tarea Conectores en Application Integration, consulta la Tarea Conectores.

  Obtén ayuda de la Comunidad de Google Cloud

  Puedes publicar tus preguntas y debatir sobre este conector en la comunidad de Google Cloud en Cloud Forums.

  ¿Qué sigue?

  • Obtén información sobre cómo suspender y reanudar una conexión.
  • Aprende a supervisar el uso del conector.
  • Aprende a ver los registros del conector.