Migrer de Pub/Sub Lite vers Pub/Sub

Ce document fournit des informations sur la migration de vos applications et données Pub/Sub Lite de Pub/Sub Lite vers Pub/Sub.

Pour migrer vers Pub/Sub, utilisez la fonctionnalité d'exportation d'abonnement de Pub/Sub Lite. La fonctionnalité d'exportation d'abonnement convertit les messages Pub/Sub Lite en message Pub/Sub, à l'aide d'un type d'abonnement appelé abonnement d'exportation.

Différences entre Pub/Sub Lite et Pub/Sub

Pub/Sub et Pub/Sub Lite sont des services de messagerie évolutifs horizontalement, mais chacun présente des différences clés de fonctionnement. Pour comprendre en détail ces différences, consultez Choisir Pub/Sub ou Pub/Sub Lite.

Les sections suivantes décrivent certaines des principales différences entre chaque service, qui sont pertinentes lors de la migration entre les services. Voici quelques points à prendre en compte:

  • Localité et réplication des données
  • Modes d'envoi
  • Parallélisme et ordre
  • Rejouer et supprimer définitivement
  • Gestion de la capacité et tarification

Localité et réplication des données

  • Pub/Sub Lite : Les sujets Pub/Sub Lite régionaux répliquent les données dans une zone secondaire de la même région. Les sujets Pub/Sub Lite zonaux stockent les données dans une seule zone sans réplication.

  • Pub/Sub. Pub/Sub réplique les données dans trois zones d'une même région.

Point clé de la migration

Il est important de comprendre comment chaque service réplique les données différemment.

Lorsque vous utilisez Pub/Sub, vous pouvez vous assurer que vos données sont stockées dans les régions de votre choix en utilisant les règles de stockage des messages Pub/Sub.

  • Pub/Sub ne permet pas de contrôler les zones spécifiques dans lesquelles les messages sont stockés. À la place, il réplique toujours les données dans trois zones d'une région, comme le stipule la règle de stockage des messages.

  • Si vous ne spécifiez pas de règle de stockage des messages, Pub/Sub détermine automatiquement leur emplacement de stockage en fonction de votre règle d'administration "Restriction d'emplacement des ressources". Si vous ne définissez pas explicitement de règle d'administration, Pub/Sub autorise toutes les régions et en sélectionne une automatiquement dans laquelle stocker les messages.

Modes d'envoi

Point clé de la migration

Si vous souhaitez reproduire le comportement de Pub/Sub Lite dans Pub/Sub (par exemple, avec une faible latence et une efficacité élevée), mettez en œuvre vos clients clients à l'aide de l'API StreamingPull. Vous pouvez également mettre en œuvre votre abonnement Pub/Sub en utilisant d'autres modes de distribution disponibles, tels que la distribution push.

Parallélisme et ordre

  • Pub/Sub Lite : Pub/Sub Lite accepte le parallélisme par partition.

  • Pub/Sub. Pub/Sub est compatible avec le parallélisme par message.

Point clé de la migration

Pub/Sub n'est pas une solution basée sur des partitions. Les messages Pub/Sub peuvent également être traités simultanément, ce qui signifie que l'ordre des messages n'est pas garanti. Si votre application nécessite de trier les messages, utilisez des clés de tri Pub/Sub.

Lorsque vous utilisez l'abonnement à l'exportation dans Pub/Sub Lite, la clé Pub/Sub Lite est utilisée comme clé de tri dans le message Pub/Sub. Cela permet de garantir que les messages continuent d'être distribués dans l'ordre.

Pour assurer la compatibilité avec les messages Pub/Sub, vérifiez que vos clés Pub/Sub Lite ne contiennent que des caractères encodés au format UTF-8.

  • Les clés Pub/Sub Lite sont stockées sous forme d'octets.
  • Les clés de tri Pub/Sub sont stockées sous forme de chaînes.

Les clés de tri Pub/Sub ont un débit d'éditeur maximal de 1 Mbit/s. Le tri des messages dans Pub/Sub n'est garanti que dans une seule région. Pour recevoir des messages ordonnés dans Pub/Sub, vous devez activer explicitement le tri des messages dans les paramètres de l'abonnement.

Rejouer et supprimer définitivement

  • Pub/Sub Lite : Pub/Sub Lite est compatible avec la fonctionnalité de recherche sans nécessiter de configuration supplémentaire.

  • Pub/Sub. Pub/Sub est compatible avec la fonctionnalité de recherche, mais nécessite une configuration supplémentaire pour la mettre en place.

Point clé de la migration

Pour activer la fonctionnalité de recherche, Pub/Sub nécessite que vous configuriez explicitement les paramètres à la fois sur le sujet et sur l'abonnement.

  • Sujet: vous devez configurer une durée de conservation des messages
  • Abonnement: vous devez configurer la conservation des messages confirmés.

La configuration de ces paramètres est essentielle si vous avez besoin d'une parité exacte avec Pub/Sub Lite, ou si votre migration nécessite la relecture ou la suppression définitive des messages. Quelles que soient vos exigences spécifiques, la possibilité de rechercher et de retraiter des messages constitue une protection précieuse lors d'une migration par étapes. Elle permet le rollback et minimise la perte de données en cas de problème inattendu.

Gestion de la capacité et tarification

  • Pub/Sub Lite : La capacité de Pub/Sub Lite est provisionnée manuellement en configurant le stockage et la capacité de débit à l'aide de réservations Pub/Sub Lite.

  • Pub/Sub. Pub/Sub est entièrement géré et évolue automatiquement.

Point clé de la migration

Lors de la transition vers Pub/Sub, vous pouvez gérer la capacité et la tarification en définissant des quotas de remplacement ou en demandant une modification du quota de vos ressources Pub/Sub.

La gestion de la capacité Pub/Sub s'effectue principalement pour respecter des exigences de coûts strictes. Si vous n'avez pas de limites de coûts strictes, Pub/Sub peut gérer efficacement les ressources sans trop d'intervention. Pub/Sub est facturé en fonction de l'utilisation. Pour en savoir plus, consultez la page Tarifs de Pub/Sub.

Planifier une migration

Pour migrer de Pub/Sub Lite vers Pub/Sub, vous pouvez utiliser la fonctionnalité d'exportation des abonnements Pub/Sub Lite. L'exportation d'un abonnement vous permet de migrer votre application Pub/Sub Lite par phases. L'adoption d'une approche par étapes vous permet de mettre à jour, de tester et de surveiller votre migration de manière itérative, réduisant ainsi le risque d'erreurs et de temps d'arrêt.

Avant de commencer

  • Évaluez votre application Pub/Sub Lite existante et mappez les fonctionnalités Pub/Sub correspondantes dont vous avez besoin.
  • Vérifiez que Pub/Sub répond à toutes vos exigences fonctionnelles et commerciales.

Workflow de migration par étapes

Les étapes suivantes présentent le workflow de migration des abonnements.

  1. Créez les sujets Pub/Sub pertinents et un abonnement associé.
  2. Créez un abonnement d'exportation Pub/Sub Lite.
  3. Abonnez-vous à la fois aux abonnements Pub/Sub et Pub/Sub Lite.
  4. Mettre à jour progressivement les éditeurs pour qu'ils envoient des messages au sujet Pub/Sub au lieu du sujet Pub/Sub Lite
  5. Vérifiez que la charge de travail migrée fonctionne comme prévu.
  6. Arrêter les éditeurs et les abonnés Pub/Sub Lite.

Phases de migration

Les sections suivantes fournissent des détails sur chaque étape du workflow de migration par étapes.

Créer les sujets et les abonnements Pub/Sub

Créer un sujet Pub/Sub correspondant et son abonnement Au cours de cette phase, vous configurez les paramètres de sujets et d'abonnements requis, tels que la conservation des messages, la confirmation des messages et les règles de stockage des messages.

Si nécessaire, définissez et configurez des quotas pour éviter toute utilisation abusive et toute facturation inattendue. Surtout, nous vous recommandons vivement de configurer un sujet Pub/Sub Lite de lettre morte pour capturer tous les messages dont la migration vers Pub/Sub échoue. Cela vous permet de résoudre les erreurs et d'identifier la cause des échecs d'exportation, puis de renvoyer les messages ayant échoué au sujet approprié, garantissant ainsi l'absence de perte de données.

Créer des abonnements d'exportation Pub/Sub Lite

Pour chaque sujet, créez un abonnement d'exportation Pub/Sub Lite afin d'exporter les messages du sujet Pub/Sub Lite vers le sujet Pub/Sub correspondant. Au lieu de définir individuellement la capacité de débit pour chaque abonnement d'exportation, utilisez une réservation Pub/Sub Lite pour gérer efficacement le débit de tous vos abonnements d'exportation de manière collective. À la fin de cette phase, vos sujets Pub/Sub Lite et Pub/Sub reçoivent tous deux les mêmes messages à partir du moment où les abonnements d'exportation ont été créés.

Vous pouvez ensuite utiliser les sujets Pub/Sub pour développer et tester progressivement vos clients abonnés en phases isolées. Cette approche minimise les perturbations de vos applications Pub/Sub Lite existantes.

Double abonnement aux sujets Pub/Sub Lite et Pub/Sub

Dans un environnement de développement, mettez à jour vos clients abonnés pour qu'ils lisent les messages directement à partir de sujets Pub/Sub, à l'aide de la bibliothèque cliente Pub/Sub appropriée. Contrairement à Pub/Sub Lite, Pub/Sub en offre plusieurs. Contrairement à Pub/Sub Lite, Pub/Sub offre plusieurs modes de distribution (pull et push). Vous devez donc choisir celui qui répond le mieux aux exigences de votre application.

  • Pour émuler le même comportement que Pub/Sub Lite, configurez votre instance Pub/Sub avec l'API StreamingPull.

  • Dans un système comportant plusieurs applications grand public, migrez progressivement chaque application une par une. Pour chaque application d'abonné, exécutez en parallèle l'abonné Pub/Sub Lite et le nouvel abonné Pub/Sub afin de pouvoir vérifier le comportement et les performances du nouvel abonné. Surveillez de près les deux abonnés pour garantir la cohérence de la distribution des messages, la gestion des exceptions et le fonctionnement global. Une fois tous les abonnés migrés et validés, mettez hors service les anciens clients abonnés Pub/Sub Lite.

Mettre à jour les éditeurs

Une fois que tous vos abonnés ont consommé les messages de Pub/Sub, vous pouvez progressivement mettre à jour vos éditeurs pour qu'ils envoient des messages directement aux sujets Pub/Sub. Pour ce faire, mettez à jour vos éditeurs afin qu'ils utilisent les bibliothèques clientes Pub/Sub. Cela vous permet de transférer progressivement le trafic de Pub/Sub Lite vers Pub/Sub.

Arrêter Pub/Sub Lite

Une fois que vous avez migré tous vos abonnés et éditeurs vers Pub/Sub, vous pouvez arrêter vos ressources Pub/Sub Lite. Cela vous permet d'éviter des coûts inutiles pour une infrastructure inutilisée.

Étapes suivantes