Consultez la liste des connecteurs compatibles avec Application Integration.

Déclencheur Apache Kafka

Le déclencheur Apache Kafka est un déclencheur d'événement de connecteur qui vous permet d'appeler une intégration en fonction des événements Apache Kafka auxquels vous êtes abonné dans votre connexion Apache Kafka.

Avant de commencer

Si vous envisagez de créer ou de configurer une nouvelle connexion pour le déclencheur Apache Kafka, assurez-vous de disposer du rôle Identity and Access Management (IAM) suivant sur le projet:

  • Administrateur des connecteurs (roles/connectors.admin)

    • Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès.

Accordez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le déclencheur Apache Kafka:

  • Demandeur Application Integration (roles/integrations.integrationInvoker)

    • Pour en savoir plus sur l'attribution d'un rôle à un compte de service, consultez la page Gérer l'accès aux comptes de service.

Limite

Le déclencheur Apache Kafka est soumis aux limites suivantes:

  • Compatible avec le protocole de sécurité SASL_SSL pour les abonnements à des événements.
  • mTLS n'est pas compatible avec les abonnements d'événements.

Ajouter le déclencheur Apache Kafka

Pour ajouter un déclencheur Apache Kafka à votre intégration, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Application Integration.

    Accéder à Application Integration

  2. Dans le menu de navigation, cliquez sur Integrations (Intégrations).

    La page Liste des intégrations s'affiche et liste toutes les intégrations disponibles dans le projet Google Cloud.

  3. Sélectionnez une intégration existante ou cliquez sur Créer une intégration pour en créer une.

    Si vous créez une intégration :

    1. Saisissez un nom et une description dans le volet Créer une intégration.
    2. Sélectionnez une région pour l'intégration.
    3. Sélectionnez un compte de service pour l'intégration. Vous pouvez modifier ou mettre à jour les détails du compte de service d'une intégration à tout moment à partir du volet Integration summary (Résumé de l'intégration) dans la barre d'outils de l'intégration.
    4. Cliquez sur Créer.

    Cela entraîne son ouverture dans l'éditeur d'intégrations.

  4. Dans la barre de navigation de l'éditeur d'intégrations, cliquez sur Déclencheurs pour afficher la liste des déclencheurs disponibles.
  5. Cliquez sur l'élément déclencheur Apache Kafka et placez-le dans l'éditeur d'intégration.

    6. Pour configurer le déclencheur Apache Kafka, vous pouvez utiliser une connexion Apache Kafka existante disponible dans Integration Connectors ou en créer une à l'aide de l'option de création de connexion intégrée.

Configurer le déclencheur Apache Kafka à l'aide d'une connexion existante

Vous pouvez configurer le déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante dans les connecteurs d'intégration. Notez que le déclencheur Apache Kafka est un déclencheur d'événement de connecteur. Par conséquent, vous ne pouvez utiliser qu'une connexion Apache Kafka avec l'abonnement aux événements activé pour configurer le déclencheur.

Pour savoir comment configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, consultez Configurer un déclencheur Apache Kafka à l'aide d'une nouvelle connexion.

Pour configurer un déclencheur Apache Kafka à l'aide d'une connexion Apache Kafka existante, procédez comme suit:

  1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégration pour ouvrir le volet de configuration du déclencheur.
  2. Cliquez sur Configurer un déclencheur.
  3. Indiquez les informations de configuration suivantes sur la page Éditeur de déclencheurs d'événements de connecteur:
    1. Région:sélectionnez la région de votre connexion à Apache Kafka.
    2. Connection (Connexion) : sélectionnez la connexion Apache Kafka que vous souhaitez utiliser.

      Application Integration n'affiche que les connexions Apache Kafka actives et pour lesquelles un abonnement aux événements est activé.

    3. Nom du thème: saisissez le nom du thème.
    4. ID de groupe de consommateurs : saisissez l'ID de groupe de consommateurs qui spécifie le nom du groupe de consommateurs auquel appartient le consommateur Kafka.
    5. Partition: saisissez la partition si vous souhaitez vous abonner à une partition particulière. Les partitions sont un moyen de diviser un sujet en plusieurs parties et de stocker chacune d'entre elles sur un nœud différent du cluster.
    6. Décalage initial : sélectionnez la stratégie de réinitialisation du décalage :
      • Si vous sélectionnez le plus tôt, votre connexion consommera les messages non consommés, y compris ceux produits avant la durée de vie du groupe de consommateurs.
      • Si vous sélectionnez latest, votre connexion consomme les messages générés après la création du groupe de consommateurs.
    7. Compte de service: sélectionnez un compte de service disposant des rôles IAM requis pour le déclencheur Apache Kafka.
  4. Cliquez sur OK.

Configurer le déclencheur Apache Kafka à l'aide d'une nouvelle connexion

Pour configurer le déclencheur Apache Kafka à l'aide d'une nouvelle connexion Apache Kafka, procédez comme suit:

  1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégration pour ouvrir le volet de configuration du déclencheur.
  2. Cliquez sur Configurer le déclencheur Apache Kafka.
  3. Ignorez le champ Région.
  4. Cliquez sur Connexion, puis sélectionnez l'option Créer une connexion dans la liste. Le volet Créer une connexion s'affiche.
  5. Dans l'étape Emplacement, choisissez l'emplacement de la nouvelle connexion Apache Kafka :
    1. Région : sélectionnez une région dans la liste.
    2. Cliquez sur Suivant.
  6. À l'étape Détails de la connexion, fournissez les détails de la nouvelle connexion Apache Kafka:
    1. Version du connecteur:choisissez une version disponible du connecteur Apache Kafka dans la liste.
    2. Connection Name (Nom de la connexion) : saisissez un nom pour la connexion Apache Kafka.
    3. (Facultatif) Description : saisissez une description de la connexion.
    4. (Facultatif) Activer Cloud Logging:cochez cette case pour stocker toutes les données de journal de la connexion.
    5. Compte de service: sélectionnez un compte de service disposant des rôles IAM requis pour la connexion à Apache Kafka.
    6. L'option Activer l'abonnement aux événements, les entités et les actions est sélectionnée par défaut pour la connexion Apache Kafka.
    7. Type de détection du schéma : sélectionnez MessageOnly.
    8. Service de registre : service de registre de schéma utilisé pour travailler avec des schémas de sujet.
    9. Type de registre : type de schéma spécifié pour un sujet spécifique.
    10. Version du registre : version du schéma lu dans RegistryUrl pour le sujet spécifié.
    11. Utilisateur du registre: nom d'utilisateur ou clé d'accès à autoriser avec le serveur spécifié dans RegistryUrl.
    12. Mot de passe du registre: code secret du gestionnaire de secrets contenant la valeur du mot de passe/clé secrète à autoriser auprès du serveur spécifié dans RegistryUrl.
    13. Vous pouvez également configurer les paramètres du nœud de connexion :

      • Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
      • Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.

      Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter plus de transactions pour une connexion, plus de nœuds sont nécessaires. À l'inverse, moins de nœuds sont nécessaires pour traiter moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez la section Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour une meilleure disponibilité) et le nombre maximal sur 50.

    14. Vous pouvez également cliquer sur + AJOUTER UNE ÉTIQUETTE pour ajouter une étiquette à la connexion sous la forme d'une paire clé/valeur.
    15. Activer SSL: ce champ indique si SSL est activé.
    16. Cliquez sur Suivant.
  7. Dans la section Destinations, saisissez les informations concernant l'hôte distant (système backend) auquel vous souhaitez vous connecter.
    1. Type de destination : sélectionnez un type de destination.
      • Sélectionnez Adresse hôte dans la liste pour spécifier le nom d'hôte ou l'adresse IP de la destination.
      • Si vous souhaitez établir une connexion privée à vos systèmes backend, sélectionnez Rattachement du point de terminaison dans la liste, puis sélectionnez le rattachement du point de terminaison requis dans la liste Rattachement du point de terminaison.

      Si vous souhaitez établir une connexion publique à vos systèmes backend avec une sécurité supplémentaire, vous pouvez envisager de configurer des adresses IP sortantes statiques pour vos connexions, puis de configurer vos règles de pare-feu pour ajouter à la liste d'autorisation uniquement les adresses IP statiques spécifiques.

      Pour saisir d'autres destinations, cliquez sur + AJOUTER UNE DESTINATION.

    2. Cliquez sur Next (Suivant).
  8. Dans la section Authentification, saisissez les informations d'authentification.
    1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.

      Les types d'authentification suivants sont compatibles avec la connexion Apache Kafka :

      • Nom d'utilisateur et mot de passe
        • Nom d'utilisateur : nom d'utilisateur Apache Kafka à utiliser pour la connexion.
        • Mot de passe : secret Secret Manager contenant le mot de passe associé au nom d'utilisateur Apache Kafka.
        • Schéma d'authentification : schéma utilisé pour l'authentification.

          Les schémas d'authentification suivants sont compatibles avec la connexion Apache Kafka:

          • Standard
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Indisponible

        Si vous souhaitez utiliser la connexion anonyme, sélectionnez Non disponible.

    2. Cliquez sur Suivant.
  9. Saisissez la configuration de lettres mortes. Si vous configurez une lettre morte, la connexion écrit les événements non traités dans le sujet Pub/Sub spécifié. Saisissez les informations suivantes :
    1. ID de projet de boîte à lettres morte : ID du projet Google Cloud dans lequel vous avez configuré le sujet Pub/Sub de boîte à lettres morte.
    2. Sujet de lettres mortes : sujet Pub/Sub dans lequel vous souhaitez écrire les détails de l'événement non traité.
  10. Cliquez sur Suivant.
  11. Vérifiez vos informations de connexion et d'authentification.
  12. Cliquez sur Créer.

Sortie du déclencheur

La configuration de l'abonnement aux événements avec le déclencheur Apache Kafka prend quelques minutes. Vous pouvez consulter l'état de votre abonnement à l'événement dans le volet de configuration du déclencheur, sous Détails de l'abonnement aux événements.

Le déclencheur Apache Kafka indique l'état d'un abonnement aux événements à l'aide des états suivants :

  • Creating: indique que le déclencheur s'abonne à l'abonnement à l'événement.
  • Active: indique que le déclencheur a bien été abonné à un abonnement à un événement.
  • Error: indique un problème avec l'abonnement à un événement configuré.

En plus de l'état de l'abonnement à l'événement, la section Détails de l'abonnement aux événements affiche d'autres informations telles que la région de la connexion, le nom de la connexion et le nom de l'abonnement à l'événement.

Variable de sortie du déclencheur

Pour chaque événement, le déclencheur Apache Kafka génère une variable de sortie ConnectorEventPayload (au format JSON) que vous pouvez utiliser dans vos tâches en aval. Le résultat aura la charge utile de votre événement Apache Kafka. Exemple : 

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Afficher les abonnements à des événements

Pour afficher et gérer tous les abonnements aux événements associés à une connexion dans Integration Connectors, procédez comme suit:

  1. Accédez à Integration Connectors > Connexions.

    Accéder à la page "Connexions"

  2. Cliquez sur la connexion pour laquelle vous souhaitez afficher les abonnements.
  3. Cliquez sur l'onglet Abonnements aux événements.

    Tous les abonnements à des événements associés à la connexion s'affichent.

Modifier le déclencheur Apache Kafka

Vous pouvez modifier un déclencheur Apache Kafka pour modifier ou mettre à jour la configuration de la connexion et les détails de l'abonnement à l'événement.

Pour modifier un déclencheur Apache Kafka, procédez comme suit:

  1. Cliquez sur l'élément Déclencheur Apache Kafka dans l'éditeur d'intégrations pour ouvrir le volet de configuration du déclencheur.
  2. Cliquez sur Configurer le déclencheur Apache Kafka.
  3. Procédez comme suit sur la page Éditeur de déclencheurs d'événements de connecteur:
    1. Pour conserver l'abonnement à l'événement configuré précédemment, cliquez sur Conserver, sinon cliquez sur Supprimer.
    2. Mettez à jour les détails de la configuration de la connexion et de l'abonnement aux événements selon vos besoins.
    3. Cliquez sur OK.

    4. Vous pouvez afficher les détails mis à jour de la connexion et de l'abonnement aux événements dans le volet de configuration du déclencheur, sous Détails de l'abonnement aux événements.

Quotas et limites

Pour plus d'informations sur les quotas et les limites, consultez la section Quotas et limites.

Étape suivante