<ph type="x-smartling-placeholder"></ph> Consultez la liste des connecteurs compatibles avec Application Integration.

Déclencheur Apache Kafka

Preview — Apache Kafka trigger

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Le déclencheur Apache Kafka est un déclencheur d'événement de connecteur qui vous permet d'appeler une intégration en fonction des événements Apache Kafka auxquels vous êtes abonné dans votre connexion Apache Kafka.

Important:Integration Connectors est un composant facturable de Google Cloud. Pour en savoir plus sur les coûts d'utilisation d'Integration Connectors, consultez les tarifs d'Integration Connectors.

Avant de commencer

Si vous envisagez de créer ou de configurer une nouvelle connexion pour le déclencheur Apache Kafka, assurez-vous de disposer du rôle Identity and Access Management (IAM) suivant sur le projet:

• Administrateur de connecteurs (roles/connectors.admin)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès.

Accordez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le déclencheur Apache Kafka:

• Demandeur Application Integration (roles/integrations.integrationInvoker)

Pour en savoir plus sur l'attribution d'un rôle à un compte de service, consultez la page Gérer l'accès aux comptes de service.

Limite

Le déclencheur Apache Kafka est soumis aux limites suivantes:

• Compatible avec le protocole de sécurité SASL_SSL pour les abonnements à des événements.
• mTLS n'est pas compatible avec les abonnements à des événements.

Ajouter le déclencheur Apache Kafka

Pour ajouter un déclencheur Apache Kafka à votre intégration, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Application Integration.

   Accéder à Application Integration

2. Dans le menu de navigation, cliquez sur Integrations (Intégrations).

   La page Liste des intégrations s'affiche et répertorie toutes les intégrations disponibles dans le projet Google Cloud.

3. Sélectionnez une intégration existante ou cliquez sur Créer une intégration pour en créer une.

   Si vous créez une intégration :

   1. Saisissez un nom et une description dans le volet Create Integration (Créer une intégration).
   2. Sélectionnez une région pour l'intégration.
      Remarque : Le menu déroulant Régions ne répertorie que les régions provisionnées dans votre projet Google Cloud. Pour provisionner une nouvelle région, cliquez sur Activer la région. Pour en savoir plus, consultez la section Activer une nouvelle région.
   3. Sélectionnez un compte de service pour l'intégration. Vous pouvez modifier ou mettre à jour les détails du compte de service d'une intégration à tout moment à partir du volet Integration summary (Résumé de l'intégration) dans la barre d'outils de l'intégration.
      Remarque:L'option permettant de sélectionner un compte de service ne s'affiche que si vous avez activé la gouvernance de l'intégration pour la région sélectionnée.
   4. Cliquez sur Créer.

   Cela entraîne son ouverture dans l'éditeur d'intégrations.

4. Dans la barre de navigation de l'éditeur d'intégration, cliquez sur Déclencheurs pour afficher la liste des déclencheurs disponibles.
5. Cliquez sur l'élément déclencheur Apache Kafka et placez-le dans l'éditeur d'intégration.

Pour configurer le déclencheur Apache Kafka, vous pouvez soit utiliser une connexion Apache Kafka existante disponible dans les Integration Connectors, soit créer une connexion Apache Kafka à l'aide de l'option de création de connexion intégrée.

Configurer le déclencheur Apache Kafka à l'aide d'une connexion existante

Vous pouvez configurer le déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante dans Integration Connectors. Notez que le déclencheur Apache Kafka est un déclencheur d'événement de connecteur. Par conséquent, vous ne pouvez utiliser qu'une connexion Apache Kafka avec l'abonnement aux événements activé pour configurer le déclencheur.

Pour savoir comment configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, consultez Configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion.

Pour configurer un déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante, procédez comme suit:

1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégration pour ouvrir le volet de configuration du déclencheur.
2. Cliquez sur Configurer un déclencheur.
3. Indiquez les informations de configuration suivantes sur la page Éditeur de déclencheurs d'événements de connecteur: <ph type="x-smartling-placeholder">
   </ph>
   1. Région:sélectionnez la région de votre connexion à Apache Kafka.
   2. Connection (Connexion) : sélectionnez la connexion Apache Kafka que vous souhaitez utiliser.

      Application Integration n'affiche que les connexions Apache Kafka actives et pour lesquelles un abonnement aux événements est activé.

   3. Nom du thème: saisissez le nom du thème.
   4. Consumer group ID (ID du groupe de consommateurs) : vous pouvez éventuellement saisir l'ID du groupe de consommateurs qui spécifie le nom du groupe de consommateurs auquel le consommateur Kafka appartient.
   5. Partition: saisissez la partition si vous souhaitez vous abonner à une partition particulière. Les partitions sont un moyen de diviser un sujet en plusieurs parties et de stocker chacune d'entre elles sur un nœud différent du cluster.
   6. Initial Offset: sélectionnez la stratégie de réinitialisation du décalage:
      • Si vous sélectionnez le plus tôt, votre connexion consommera les messages non consommés, y compris ceux produits avant la durée de vie du groupe de consommateurs.
      • Si vous sélectionnez latest, votre connexion consomme les messages générés après la création du groupe de consommateurs.
   7. Compte de service: sélectionnez un compte de service disposant des rôles IAM requis pour le déclencheur Apache Kafka.
4. Cliquez sur OK.

Configurer le déclencheur Apache Kafka à l'aide d'une nouvelle connexion

Pour configurer le déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, procédez comme suit:

1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégration pour ouvrir le volet de configuration du déclencheur.
2. Cliquez sur Configurer le déclencheur Apache Kafka.
3. Ignorez le champ Région.
4. Cliquez sur Connexion, puis sélectionnez l'option Créer une connexion dans la liste. Le volet Créer une connexion s'affiche.
5. À l'étape Emplacement, choisissez l'emplacement de la nouvelle connexion Apache Kafka: <ph type="x-smartling-placeholder">
   </ph>
   1. Région:sélectionnez une région dans la liste.
   2. Cliquez sur Suivant.
6. À l'étape Détails de la connexion, fournissez les détails de la nouvelle connexion Apache Kafka: <ph type="x-smartling-placeholder">
   </ph>
   1. Version du connecteur:choisissez une version disponible du connecteur Apache Kafka dans la liste.
   2. Connection Name (Nom de la connexion) : saisissez un nom pour la connexion Apache Kafka.
      Remarque : Les noms de connexion doivent répondre aux critères suivants :

      • Les noms de connexion peuvent contenir des lettres, des chiffres ou des traits d'union.
      • Les lettres doivent être en minuscules.
      • Les noms de connexion doivent commencer par une lettre et se terminer par une lettre ou un chiffre.
      • Les noms de connexion ne peuvent pas dépasser 63 caractères.
   3. (Facultatif) Description : saisissez une description de la connexion.
   4. (Facultatif) Activer Cloud Logging:cochez cette case pour stocker toutes les données de journal de la connexion.
   5. Compte de service: sélectionnez un compte de service disposant des rôles IAM requis pour la connexion à Apache Kafka.
   6. L'option Activer l'abonnement aux événements, les entités et les actions est sélectionnée par défaut pour la connexion Apache Kafka.
      Remarque : Ce connecteur n'est pas compatible avec le Enable only event subscription.
   7. Type de détection du schéma : sélectionnez MessageOnly.
   8. Service de registre : service de registre de schéma utilisé pour travailler avec des schémas de sujet.
   9. Type de registre : type de schéma spécifié pour un sujet spécifique.
   10. Version du registre: version du schéma lue à partir de RegistryUrl pour le sujet spécifié.
   11. Utilisateur du registre: nom d'utilisateur ou clé d'accès à autoriser avec le serveur spécifié dans RegistryUrl.
   12. Mot de passe du registre: code secret du gestionnaire de secrets contenant la valeur du mot de passe/clé secrète à autoriser auprès du serveur spécifié dans RegistryUrl.
   13. Vous pouvez également configurer les paramètres du nœud de connexion :
       • Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
       • Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.

       Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter plus de transactions pour une connexion, plus de nœuds sont nécessaires. À l'inverse, moins de nœuds sont nécessaires pour traiter moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez la section Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour une meilleure disponibilité) et le nombre maximal sur 50.

   Remarque : Vous ne pouvez personnaliser les valeurs du nœud de connexion que si vous êtes un client facturé à l'usage.
   14. Vous pouvez également cliquer sur + AJOUTER UNE ÉTIQUETTE pour ajouter une étiquette à la connexion sous la forme d'une paire clé/valeur.
   15. Activer SSL: ce champ indique si SSL est activé.
   16. Cliquez sur Suivant.
7. Dans la section Destinations, saisissez les informations concernant l'hôte distant (système backend) auquel vous souhaitez vous connecter.
   1. Type de destination : sélectionnez un type de destination.
      • Sélectionnez Adresse hôte dans la liste pour spécifier le nom d'hôte ou l'adresse IP de la destination.
      • Si vous souhaitez établir une connexion privée à vos systèmes backend, sélectionnez Rattachement du point de terminaison dans la liste, puis sélectionnez le rattachement du point de terminaison requis dans la liste Rattachement du point de terminaison.
        Remarque : Pour savoir comment créer un rattachement du point de terminaison, consultez Rattachement de service PSC et Rattachement du point de terminaison. Une fois le rattachement du point de terminaison créé, il apparaît dans la liste Rattachement du point de terminaison.

      Si vous souhaitez établir une connexion publique à vos systèmes backend avec une sécurité supplémentaire, vous pouvez envisager de configurer des adresses IP sortantes statiques pour vos connexions, puis de configurer vos règles de pare-feu pour ajouter à la liste d'autorisation uniquement les adresses IP statiques spécifiques.

      Pour saisir d'autres destinations, cliquez sur + AJOUTER UNE DESTINATION.

   2. Cliquez sur Next (Suivant).
8. Dans la section Authentification, saisissez les informations d'authentification.
   1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.

      Les types d'authentification suivants sont compatibles avec la connexion Apache Kafka :

      • Nom d'utilisateur et mot de passe <ph type="x-smartling-placeholder">
        </ph>
        • Nom d'utilisateur : nom d'utilisateur Apache Kafka à utiliser pour la connexion.
        • Mot de passe : secret Secret Manager contenant le mot de passe associé au nom d'utilisateur Apache Kafka.
        • Auth Scheme (Schéma d'authentification) : schéma utilisé pour l'authentification.

          Les schémas d'authentification suivants sont compatibles avec la connexion Apache Kafka:

          • Standard
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Indisponible

        Si vous souhaitez utiliser la connexion anonyme, sélectionnez Non disponible.

   2. Cliquez sur Suivant.
9. Saisissez la configuration de lettres mortes. Si vous configurez des lettres mortes, la connexion écrit les événements non traités dans le sujet Pub/Sub spécifié. Saisissez les informations suivantes: <ph type="x-smartling-placeholder">
   </ph>
   1. ID du projet de lettre morte : ID du projet Google Cloud dans lequel vous avez configuré le sujet de lettre morte Pub/Sub.
   2. Sujet de lettres mortes : sujet Pub/Sub dans lequel vous souhaitez écrire les détails de l'événement non traité.
10. Cliquez sur Suivant.
11. Vérifiez vos informations de connexion et d'authentification.
12. Cliquez sur Créer.

Sortie du déclencheur

Le déclencheur Apache Kafka prend quelques minutes pour terminer la configuration de l'abonnement à l'événement. Vous pouvez consulter l'état de votre abonnement à l'événement dans le volet de configuration du déclencheur, sous Détails de l'abonnement aux événements.

Le déclencheur Apache Kafka indique l'état d'un abonnement à un événement avec les états suivants:

• Creating: indique que le déclencheur s'abonne à l'abonnement à l'événement.
• Active: indique que le déclencheur a bien été abonné à un abonnement à un événement.
• Error: indique un problème avec l'abonnement à un événement configuré.

En plus de l'état de l'abonnement à l'événement, la section Détails de l'abonnement aux événements affiche d'autres informations telles que la région de la connexion, le nom de la connexion et le nom de l'abonnement à l'événement.

Variable de sortie du déclencheur

Pour chaque événement, le déclencheur Apache Kafka génère un ConnectorEventPayload (au format JSON) que vous pouvez utiliser dans vos tâches en aval. Le résultat aura la charge utile de votre événement Apache Kafka. Exemple :

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Afficher les abonnements à des événements

Pour afficher et gérer tous les abonnements aux événements associés à une connexion dans Integration Connectors, procédez comme suit:

1. Accédez à Integration Connectors > Connexions.

   Accéder à la page "Connexions"

2. Cliquez sur la connexion pour laquelle vous souhaitez afficher les abonnements.
3. Cliquez sur l'onglet Abonnements aux événements.

   Tous les abonnements à des événements associés à la connexion s'affichent.

Modifier le déclencheur Apache Kafka

Vous pouvez modifier un déclencheur Apache Kafka pour modifier ou mettre à jour la configuration de la connexion et les détails de l'abonnement à l'événement.

Important:Lorsque vous modifiez un déclencheur Apache Kafka, vous pouvez soit conserver l'abonnement d'événement précédemment configuré qui lui est associé, soit le supprimer. La suppression d'un abonnement à un événement aura une incidence sur toutes les intégrations publiées utilisant cet abonnement.

Pour modifier un déclencheur Apache Kafka, procédez comme suit:

1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégration pour ouvrir le volet de configuration du déclencheur.
2. Cliquez sur Configurer le déclencheur Apache Kafka.
3. Procédez comme suit sur la page Éditeur de déclencheurs d'événements de connecteur: <ph type="x-smartling-placeholder">
   </ph>
   1. Pour conserver l'abonnement à l'événement configuré précédemment, cliquez sur Conserver, sinon cliquez sur Supprimer.
      Avertissement:La suppression d'un abonnement à un événement aura une incidence sur toutes les intégrations publiées utilisant cet abonnement. Cette opération est irréversible.
   2. Mettez à jour les détails de la configuration de la connexion et de l'abonnement aux événements selon vos besoins.
   3. Cliquez sur OK.

Vous pouvez afficher les détails mis à jour de la connexion et de l'abonnement aux événements dans le volet de configuration du déclencheur, sous Détails de l'abonnement aux événements.