Consultez la liste des connecteurs compatibles avec Application Integration.

Déclencheur Apache Kafka

Le déclencheur Apache Kafka est un déclencheur d'événement de connecteur qui vous permet d'appeler une intégration basée sur les événements Apache Kafka auxquels vous êtes abonné dans votre connexion Apache Kafka.

Avant de commencer

Si vous envisagez de créer ou de configurer une nouvelle connexion pour le déclencheur Apache Kafka, assurez-vous de disposer du rôle IAM (Identity and Access Management) suivant sur le projet:

  • Administrateur des connecteurs (roles/connectors.admin)

    • Pour en savoir plus sur l'attribution de rôles, consultez Gérer les accès.

Attribuez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le déclencheur Apache Kafka:

  • Demandeur Application Integration (roles/integrations.integrationInvoker)

    • Pour en savoir plus sur l'attribution d'un rôle à un compte de service, consultez la page Gérer l'accès aux comptes de service.

Limite

Le déclencheur Apache Kafka est soumis aux limites suivantes:

  • Il est compatible avec le protocole de sécurité SASL_SSL pour les abonnements à des événements.
  • mTLS n'est pas compatible avec les abonnements à des événements.

Ajouter le déclencheur Apache Kafka

Pour ajouter un déclencheur Apache Kafka à votre intégration, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Application Integration.

    Accéder à Application Integration

  2. Dans le menu de navigation, cliquez sur Integrations (Intégrations).

    La page Liste des intégrations s'affiche. Elle répertorie toutes les intégrations disponibles dans le projet Google Cloud.

  3. Sélectionnez une intégration existante ou cliquez sur Créer une intégration pour en créer une.

    Si vous créez une intégration:

    1. Saisissez un nom et une description dans le volet Créer une intégration.
    2. Sélectionnez une région pour l'intégration.
    3. Sélectionnez un compte de service pour l'intégration. Vous pouvez modifier ou mettre à jour les détails du compte de service d'une intégration à tout moment depuis le volet Résumé de l'intégration de dans la barre d'outils d'intégration.
    4. Cliquez sur Créer.

    La page de l'éditeur d'intégration s'affiche.

  4. Dans la barre de navigation de l'éditeur d'intégration, cliquez sur Déclencheurs pour afficher la liste des déclencheurs disponibles.
  5. Cliquez sur l'élément de déclencheur Apache Kafka et placez-le dans l'éditeur d'intégration.

    6. Pour configurer le déclencheur Apache Kafka, vous pouvez soit utiliser une connexion Apache Kafka existante disponible dans les Integration Connectors, soit créer une connexion Apache Kafka à l'aide de l'option de création de connexion intégrée.

Configurer un déclencheur Apache Kafka à l'aide d'une connexion existante

Vous pouvez configurer le déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante dans les Integration Connectors. Notez que le déclencheur Apache Kafka est un déclencheur d'événement de connecteur. Par conséquent, vous ne pouvez utiliser qu'une connexion Apache Kafka avec un abonnement aux événements activé pour configurer le déclencheur.

Pour savoir comment configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, consultez Configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion.

Pour configurer un déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante, procédez comme suit:

  1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
  2. Cliquez sur Configurer un déclencheur.
  3. Fournissez les informations de configuration suivantes sur la page Éditeur de déclencheur d'événements de connecteur :
    1. Region (Région) : sélectionnez la région de votre connexion Apache Kafka.
    2. Connection (Connexion) : sélectionnez la connexion Apache Kafka que vous souhaitez utiliser.

      Application Integration n'affiche que les connexions Apache Kafka qui sont actives et pour lesquelles un abonnement à un événement est activé.

    3. Nom du sujet: saisissez le nom du sujet.
    4. Consumer group ID (ID du groupe de consommateurs) : vous pouvez éventuellement saisir l'ID du groupe de consommateurs qui spécifie le nom du groupe de consommateurs auquel appartient le consommateur Kafka.
    5. Partition: saisissez la partition si vous souhaitez vous abonner à une partition particulière. Les partitions sont un moyen de diviser un sujet en plusieurs parties et de stocker chaque partie sur un nœud différent du cluster.
    6. Initial Offset (Décalage initial) : sélectionnez la stratégie de réinitialisation du décalage :
      • Si vous sélectionnez le plus tôt, votre connexion consomme les messages non consommés, y compris tous les messages produits avant la fin de la durée de vie du groupe de consommateurs.
      • Si vous sélectionnez latest, votre connexion consomme les messages générés après la création du groupe de consommateurs.
    7. Compte de service: sélectionnez un compte de service avec les rôles IAM requis pour le déclencheur Apache Kafka.
  4. Cliquez sur OK.

Configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion

Pour configurer le déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, procédez comme suit:

  1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
  2. Cliquez sur Configurer un déclencheur Apache Kafka.
  3. Ignorez le champ Région.
  4. Cliquez sur Connexion, puis sélectionnez l'option Créer une connexion dans la liste. Le volet Créer une connexion s'affiche.
  5. À l'étape Emplacement, choisissez l'emplacement de la nouvelle connexion Apache Kafka :
    1. Région:sélectionnez une région dans la liste.
    2. Cliquez sur Suivant.
  6. À l'étape Connection Details (Détails de la connexion), fournissez les détails de la nouvelle connexion Apache Kafka :
    1. Version du connecteur:choisissez une version disponible du connecteur Apache Kafka dans la liste.
    2. Connection Name (Nom de connexion) : saisissez un nom pour la connexion Apache Kafka.
    3. (Facultatif) Description : saisissez une description de la connexion.
    4. (Facultatif) Activer Cloud Logging:cochez cette case pour stocker toutes les données de journaux de la connexion.
    5. Compte de service: sélectionnez un compte de service avec les rôles IAM requis pour la connexion Apache Kafka.
    6. L'option Activer l'abonnement aux événements, l'entité et les actions est sélectionnée par défaut pour la connexion Apache Kafka.
    7. Type de détection Scheme (Schéma de détection de type) : sélectionnez MessageOnly.
    8. Service de registre : service de registre de schéma utilisé pour travailler avec des schémas de sujet.
    9. Type de registre : type de schéma spécifié pour un sujet spécifique.
    10. Version du registre: version du schéma lue à partir du fichier RegistryUrl pour le sujet spécifié.
    11. Utilisateur du registre: valeur du nom d'utilisateur ou de la clé d'accès à autoriser avec le serveur spécifié dans RegistryUrl.
    12. Mot de passe du registre: code secret Secret Manager contenant le mot de passe ou la valeur de la clé secrète à autoriser avec le serveur spécifié dans RegistryUrl.
    13. Vous pouvez également configurer les paramètres du nœud de connexion :

      • Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
      • Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.

      Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Un plus grand nombre de nœuds est nécessaire afin de traiter plus de transactions pour une connexion. À l'inverse, moins de nœuds sont nécessaires pour traiter moins de transactions. Pour comprendre l'impact des nœuds sur la tarification de votre connecteur, consultez la section Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour une meilleure disponibilité) et le nombre maximal sur 50.

    14. Vous pouvez également cliquer sur + AJOUTER UNE ÉTIQUETTE pour ajouter une étiquette à la connexion sous la forme d'une paire clé/valeur.
    15. Activer SSL: ce champ détermine si la technologie SSL est activée.
    16. Cliquez sur Suivant.
  7. Dans la section Destinations, saisissez les informations concernant l'hôte distant (système backend) auquel vous souhaitez vous connecter.
    1. Type de destination : sélectionnez un type de destination.
      1. Dans le champ Host address (Adresse de l'hôte), spécifiez le nom d'hôte ou l'adresse IP de la destination.
        1. Si vous souhaitez établir une connexion privée à vos systèmes backend, procédez comme suit :
          1. Créez un rattachement de service PSC.
          2. Créez un rattachement de point de terminaison, puis saisissez les détails du rattachement de point de terminaison dans le champ Adresse de l'hôte.
        2. Si vous souhaitez établir une connexion publique à vos systèmes backend avec une sécurité renforcée, vous pouvez configurer des adresses IP sortantes statiques pour vos connexions, puis configurer vos règles de pare-feu pour n'ajouter à la liste d'autorisation que les adresses IP statiques spécifiques.

      Pour saisir d'autres destinations, cliquez sur + AJOUTER UNE DESTINATION.

    2. Cliquez sur Suivant.
  8. Dans la section Authentification, saisissez les informations d'authentification.
    1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.

      Les types d'authentification suivants sont compatibles avec la connexion Apache Kafka :

      • Nom d'utilisateur et mot de passe
        • Nom d'utilisateur : nom d'utilisateur Apache Kafka à utiliser pour la connexion.
        • Mot de passe : secret Secret Manager contenant le mot de passe associé au nom d'utilisateur Apache Kafka.
        • Auth Scheme (Schéma d'authentification) : schéma utilisé pour l'authentification.

          Les schémas d'authentification suivants sont compatibles avec la connexion Apache Kafka:

          • Plaine
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Non disponible

        Si vous souhaitez utiliser la connexion anonyme, sélectionnez Non disponible.

    2. Cliquez sur Suivant.
  9. Saisissez la configuration de lettre morte. Si vous configurez des lettres mortes, la connexion écrit les événements non traités dans le sujet Pub/Sub spécifié. Saisissez les informations suivantes :
    1. ID du projet de lettre morte : ID du projet Google Cloud dans lequel vous avez configuré le sujet Pub/Sub de lettre morte.
    2. Sujet de lettre morte : le sujet Pub/Sub dans lequel vous souhaitez écrire les détails de l'événement non traité.
  10. Cliquez sur Suivant.
  11. Vérifiez vos informations de connexion et d'authentification.
  12. Cliquez sur Créer.

Sortie du déclencheur

Le déclencheur Apache Kafka prend quelques minutes pour terminer la configuration de l'abonnement aux événements. Vous pouvez afficher l'état de votre abonnement à un événement dans le volet de configuration du déclencheur sous Détails de l'abonnement à un événement.

Le déclencheur Apache Kafka indique l'état d'un abonnement à un événement selon les états suivants:

  • Creating: indique que le déclencheur s'abonne à l'abonnement à l'événement.
  • Active: indique que le déclencheur a bien été abonné à un abonnement à un événement.
  • Error: indique qu'il y a un problème avec l'abonnement à un événement configuré.

En plus de l'état de l'abonnement à l'événement, la section Détails de l'abonnement à l'événement affiche également d'autres informations, telles que la région, le nom de la connexion et le nom de l'abonnement à l'événement.

Variable de sortie du déclencheur

Pour chaque événement, le déclencheur Apache Kafka génère une variable de sortie ConnectorEventPayload (au format JSON) que vous pouvez utiliser dans vos tâches en aval. La variable de sortie contiendra la charge utile de votre événement Apache Kafka. Exemple : 

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Afficher les abonnements à des événements

Pour afficher et gérer tous les abonnements à des événements associés à une connexion dans Integration Connectors, procédez comme suit:

  1. Accédez à la page Integration Connectors > Connections (Connecteurs d'intégration > Connexions).

    Accéder à la page "Connexions"

  2. Cliquez sur la connexion pour laquelle vous souhaitez afficher les abonnements.
  3. Cliquez sur l'onglet Abonnements aux événements.

    Tous les abonnements aux événements pour la connexion s'affichent.

Modifier le déclencheur Apache Kafka

Vous pouvez modifier un déclencheur Apache Kafka pour modifier ou mettre à jour la configuration de connexion et les détails de l'abonnement aux événements.

Pour modifier un déclencheur Apache Kafka, procédez comme suit:

  1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
  2. Cliquez sur Configurer un déclencheur Apache Kafka.
  3. Procédez comme suit sur la page Éditeur de déclencheur d'événements de connecteur :
    1. Pour conserver l'abonnement à un événement configuré précédemment, cliquez sur Conserver, sinon cliquez sur Supprimer.
    2. Mettez à jour la configuration de la connexion et les détails de l'abonnement à l'événement, comme vous le souhaitez.
    3. Cliquez sur OK.

    4. Vous pouvez afficher les détails de la connexion et de l'abonnement aux événements mis à jour dans le volet de configuration du déclencheur, sous Détails de l'abonnement aux événements.