Consultez les connecteurs compatibles avec Application Integration.

Déclencheur Apache Kafka

Preview — Apache Kafka trigger

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Le déclencheur Apache Kafka est un déclencheur d'événement de connecteur qui vous permet d'appeler une intégration en fonction des événements Apache Kafka auxquels vous vous êtes abonné dans votre connexion Apache Kafka.

Important:Integration Connectors sont un composant facturable de Google Cloud. Pour en savoir plus sur les coûts et les frais d'utilisation des connecteurs d'intégration, consultez la page Tarifs Integration Connectors.

Avant de commencer

Si vous prévoyez de créer ou de configurer une connexion pour le déclencheur Apache Kafka, assurez-vous de disposer du rôle IAM (Identity and Access Management) suivant dans le projet:

• Administrateur des connecteurs (roles/connectors.admin)

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Attribuez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le déclencheur Apache Kafka:

• Demandeur Application Integration (roles/integrations.integrationInvoker)

Pour en savoir plus sur l'attribution d'un rôle à un compte de service, consultez la page Gérer l'accès aux comptes de service.

Limite

Le déclencheur Apache Kafka est soumis aux limitations suivantes:

• Compatible avec le protocole de sécurité SASL_SSL pour les abonnements aux événements.
• mTLS n'est pas compatible avec les abonnements d'événements.

Ajouter le déclencheur Apache Kafka

Pour ajouter un déclencheur Apache Kafka à votre intégration, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Application Integration.

   Accéder à Application Integration

2. Dans le menu de navigation, cliquez sur Intégrations.

   La page Liste des intégrations s'affiche et liste toutes les intégrations disponibles dans le projet Google Cloud.

3. Sélectionnez une intégration existante ou cliquez sur Créer une intégration pour en créer une.

   Si vous créez une intégration :

   1. Saisissez un nom et une description dans le volet Créer une intégration.
   2. Sélectionnez une région pour l'intégration.
      Remarque : Le menu déroulant Régions ne répertorie que les régions provisionnées dans votre projet Google Cloud. Pour provisionner une nouvelle région, cliquez sur Activer la région. Pour en savoir plus, consultez la section Activer une nouvelle région.
   3. Sélectionnez un compte de service pour l'intégration. Vous pouvez modifier ou mettre à jour les informations du compte de service d'une intégration à tout moment dans le volet Récapitulatif de l'intégration de la barre d'outils d'intégration.
      Remarque:L'option permettant de sélectionner un compte de service ne s'affiche que si vous avez activé la gouvernance de l'intégration pour la région sélectionnée.
   4. Cliquez sur Créer.

   Cela entraîne son ouverture dans l'éditeur d'intégrations.

4. Dans la barre de navigation de l'éditeur d'intégration, cliquez sur Déclencheurs pour afficher la liste des déclencheurs disponibles.
5. Cliquez sur l'élément Déclencheur Apache Kafka et placez-le dans l'éditeur d'intégrations.

Pour configurer le déclencheur Apache Kafka, vous pouvez utiliser une connexion Apache Kafka existante disponible dans Integration Connectors ou en créer une à l'aide de l'option de création de connexion intégrée.

Configurer le déclencheur Apache Kafka à l'aide d'une connexion existante

Vous pouvez configurer le déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante dans les Integration Connectors. Notez que le déclencheur Apache Kafka est un déclencheur d'événement de connecteur. Vous ne pouvez donc utiliser qu'une connexion Apache Kafka avec l'abonnement aux événements activé pour configurer le déclencheur.

Pour savoir comment configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, consultez Configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion.

Pour configurer un déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante, procédez comme suit:

1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
2. Cliquez sur Configurer un déclencheur.
3. Fournissez les informations de configuration suivantes sur la page Éditeur de déclencheur d'événement du connecteur :
   1. Région:sélectionnez la région de votre connexion Apache Kafka.
   2. Connexion:sélectionnez la connexion Apache Kafka que vous souhaitez utiliser.

      L'Application Integration n'affiche que les connexions Apache Kafka actives pour lesquelles un abonnement aux événements est activé.

   3. Nom du sujet: saisissez le nom du sujet.
   4. ID de groupe de consommateurs: saisissez l'ID de groupe de consommateurs qui spécifie le nom du groupe de consommateurs auquel appartient le consommateur Kafka.
   5. Partition: saisissez la partition si vous souhaitez vous abonner à une partition spécifique. Les partitions permettent de diviser un sujet en plusieurs parties et de stocker chaque partie sur un nœud différent du cluster.
   6. Décalage initial: sélectionnez la stratégie de réinitialisation du décalage :
      • Si vous sélectionnez le plus ancien, votre connexion consomme les messages non consommés, y compris les messages produits avant la durée de vie du groupe de consommateurs.
      • Si vous sélectionnez Dernier, votre connexion consomme les messages produits après la création du groupe de consommateurs.
   7. Compte de service: sélectionnez un compte de service disposant des rôles IAM requis pour le déclencheur Apache Kafka.
4. Cliquez sur OK.

Configurer le déclencheur Apache Kafka à l'aide d'une nouvelle connexion

Pour configurer le déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, procédez comme suit:

1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
2. Cliquez sur Configurer le déclencheur Apache Kafka.
3. Ignorez le champ Région.
4. Cliquez sur Connexion, puis sélectionnez l'option Créer une connexion dans la liste. Le volet Créer une connexion s'affiche.
5. Dans l'étape Emplacement, choisissez l'emplacement de la nouvelle connexion Apache Kafka :
   1. Région:sélectionnez une région dans la liste.
   2. Cliquez sur Suivant.
6. À l'étape Détails de connexion, fournissez les informations suivantes sur la nouvelle connexion Apache Kafka :
   1. Version du connecteur:sélectionnez une version disponible du connecteur Apache Kafka dans la liste.
   2. Nom de la connexion:saisissez un nom pour la connexion Apache Kafka.
      Remarque : Les noms de connexion doivent répondre aux critères suivants :

      • Les noms de connexion peuvent contenir des lettres, des chiffres ou des traits d'union.
      • Les lettres doivent être en minuscules.
      • Les noms de connexion doivent commencer par une lettre et se terminer par une lettre ou un chiffre.
      • Les noms de connexion ne peuvent pas dépasser 49 caractères.
      • Pour les connecteurs compatibles avec l'abonnement aux événements, les noms de connexion ne peuvent pas commencer par le préfixe "goog".
   3. (Facultatif) Description : saisissez une description de la connexion.
   4. (Facultatif) Activer Cloud Logging:cochez cette case pour stocker toutes les données de journal de la connexion.
   5. Compte de service: sélectionnez un compte de service disposant des rôles IAM requis pour la connexion Apache Kafka.
   6. L'option Activer l'abonnement aux événements, entités et actions est sélectionnée par défaut pour la connexion Apache Kafka.
      Remarque : Ce connecteur n'est pas compatible avec l'option Enable only event subscription.
   7. Schéma de détection de type : sélectionnez MessageOnly.
   8. Service de registre : service de registre de schéma utilisé pour travailler avec des schémas de sujet.
   9. Type de registre : type de schéma spécifié pour un sujet spécifique.
   10. Version du registre: version du schéma lu dans RegistryUrl pour le sujet spécifié.
   11. Utilisateur du registre: valeur du nom d'utilisateur ou de la clé d'accès à autoriser auprès du serveur spécifié dans RegistryUrl.
   12. Mot de passe du registre: secret Secret Manager contenant le mot de passe/la valeur de la clé du secret à autoriser auprès du serveur spécifié dans RegistryUrl.
   13. Vous pouvez également configurer les paramètres du nœud de connexion :
       • Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
       • Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.

       Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter plus de transactions pour une connexion, plus de nœuds sont nécessaires. À l'inverse, moins de nœuds sont nécessaires pour traiter moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez la section Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour une meilleure disponibilité) et le nombre maximal sur 50.

   Remarque : Vous ne pouvez personnaliser les valeurs du nœud de connexion que si vous êtes un client facturé à l'usage.
   14. Vous pouvez également cliquer sur + AJOUTER UN LIBELLÉ pour ajouter un libellé à la connexion sous la forme d'une paire clé-valeur.
   15. Enable SSL (Activer SSL) : ce champ indique si SSL est activé.
   16. Cliquez sur Suivant.
7. Dans la section Destinations, saisissez les informations concernant le serveur de démarrage Kafka auquel vous souhaitez vous connecter.
   1. Type de destination : sélectionnez un type de destination.
      • Sélectionnez Adresse hôte dans la liste pour spécifier le nom d'hôte ou l'adresse IP de la destination.
      • Si vous souhaitez établir une connexion privée à vos systèmes backend, sélectionnez Rattachement du point de terminaison dans la liste, puis sélectionnez le rattachement du point de terminaison requis dans la liste Rattachement du point de terminaison.
        Remarque : Pour savoir comment créer un rattachement du point de terminaison, consultez Rattachement de service PSC et Rattachement du point de terminaison. Une fois le rattachement du point de terminaison créé, il apparaît dans la liste Rattachement du point de terminaison.

      Si vous souhaitez établir une connexion publique à vos systèmes backend avec une sécurité supplémentaire, vous pouvez envisager de configurer des adresses IP sortantes statiques pour vos connexions, puis de configurer vos règles de pare-feu pour ajouter à la liste d'autorisation uniquement les adresses IP statiques spécifiques.

      Pour spécifier d'autres serveurs d'amorçage Kafka, cliquez sur + AJOUTER UNE DESTINATION.

   2. Cliquez sur Suivant.
8. Dans la section Authentification, saisissez les informations d'authentification.
   1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.

      Les types d'authentification suivants sont compatibles avec la connexion Apache Kafka :

      • Nom d'utilisateur et mot de passe
        • Nom d'utilisateur : nom d'utilisateur Apache Kafka à utiliser pour la connexion.
        • Mot de passe : secret Secret Manager contenant le mot de passe associé au nom d'utilisateur Apache Kafka.
        • Schéma d'authentification: schéma utilisé pour l'authentification.

          Les schémas d'authentification suivants sont compatibles avec la connexion Apache Kafka:

          • Naturel
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Non disponible

        Si vous souhaitez utiliser la connexion anonyme, sélectionnez Non disponible.

   2. Cliquez sur Suivant.
9. Saisissez la configuration de la file d'attente de lettres mortes. Si vous configurez une lettre morte, la connexion écrit les événements non traités dans le sujet Pub/Sub spécifié. Saisissez les informations suivantes :
   1. ID de projet de boîte à lettres morte : ID du projet Google Cloud dans lequel vous avez configuré le sujet Pub/Sub de boîte à lettres morte.
   2. Sujet de lettre morte : sujet Pub/Sub dans lequel vous souhaitez écrire les détails de l'événement non traité.
10. Cliquez sur Suivant.
11. Vérifiez vos informations de connexion et d'authentification.
12. Cliquez sur Créer.

Sortie du déclencheur

La configuration de l'abonnement aux événements du déclencheur Apache Kafka prend quelques minutes. Vous pouvez consulter l'état de votre abonnement aux événements dans le volet de configuration du déclencheur, sous Détails de l'abonnement aux événements.

Le déclencheur Apache Kafka indique l'état d'un abonnement aux événements à l'aide des états suivants:

• Creating: indique que le déclencheur s'abonne à l'abonnement aux événements.
• Active: indique que le déclencheur est correctement abonné à un abonnement d'événement.
• Error: indique qu'un problème est associé à l'abonnement aux événements configuré.

En plus de l'état de l'abonnement aux événements, la section Détails de l'abonnement aux événements affiche également d'autres informations, telles que la région de la connexion, le nom de la connexion et le nom de l'abonnement aux événements.

Variable de sortie du déclencheur

Pour chaque événement, le déclencheur Apache Kafka génère une variable de sortie ConnectorEventPayload (au format JSON) que vous pouvez utiliser dans vos tâches en aval. La variable de sortie contiendra la charge utile de votre événement Apache Kafka. Exemple :

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Afficher les abonnements aux événements

Pour afficher et gérer tous les abonnements aux événements associés à une connexion dans Integration Connectors, procédez comme suit:

1. Accédez à la page Integration Connectors > Connections (Connecteurs d'intégration > Connexions).

   Accéder à la page "Connexions"

2. Cliquez sur la connexion pour laquelle vous souhaitez afficher les abonnements.
3. Cliquez sur l'onglet Abonnements aux événements.

   Tous les abonnements d'événements de la connexion s'affichent.

Modifier le déclencheur Apache Kafka

Vous pouvez modifier un déclencheur Apache Kafka pour modifier ou mettre à jour la configuration de la connexion et les informations sur l'abonnement aux événements.

Important:Lorsque vous modifiez un déclencheur Apache Kafka, vous pouvez conserver l'abonnement aux événements précédemment configuré associé au déclencheur ou le supprimer. La suppression d'un abonnement à des événements affectera toutes les intégrations publiées qui l'utilisent.

Pour modifier un déclencheur Apache Kafka, procédez comme suit:

1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
2. Cliquez sur Configurer le déclencheur Apache Kafka.
3. Procédez comme suit sur la page Éditeur du déclencheur d'événement du connecteur :
   1. Pour conserver l'abonnement aux événements précédemment configuré, cliquez sur Conserver. Sinon, cliquez sur Supprimer.
      Avertissement:La suppression d'un abonnement à des événements affectera toutes les intégrations publiées qui l'utilisent. Cette tâche est irréversible.
   2. Mettez à jour la configuration de la connexion et les détails de l'abonnement aux événements si nécessaire.
   3. Cliquez sur OK.

Vous pouvez consulter les informations de connexion et d'abonnement aux événements mises à jour dans le volet de configuration du déclencheur sous Détails de l'abonnement aux événements.

Quotas et limites

Pour plus d'informations sur les quotas et les limites, consultez la section Quotas et limites.

Étape suivante

• Découvrez toutes les tâches et tous les déclencheurs.
• Découvrez comment tester et publier une intégration.
• En savoir plus sur la gestion des erreurs
• Découvrez les journaux d'exécution d'intégration.