Migrer de Pub/Sub Lite vers Pub/Sub

Ce document explique comment migrer vos applications et données Pub/Sub Lite vers Pub/Sub.

Pour migrer vers Pub/Sub, vous devez utiliser la fonctionnalité Exporter l'abonnement de Pub/Sub Lite. La fonctionnalité d'abonnement à l'exportation convertit les messages d'un abonnement Pub/Sub Lite en messages Pub/Sub, à l'aide d'un type d'abonnement appelé abonnement à l'exportation.

Différences entre Pub/Sub Lite et Pub/Sub

Pub/Sub et Pub/Sub Lite sont tous deux des services de messagerie évolutifs horizontalement, mais leur fonctionnement diffère de manière significative. Pour comprendre ces différences en détail, consultez Choisir Pub/Sub ou Pub/Sub Lite.

Les sections suivantes décrivent certaines des principales différences entre chaque service qui sont pertinentes lors de la migration entre les services. En voici quelques-uns:

  • Localité et réplication des données
  • Modes de diffusion
  • Parallélisme et tri
  • Revoir et supprimer définitivement
  • Gestion de la capacité et tarification

Localité et réplication des données

  • Pub/Sub Lite. Les sujets Pub/Sub Lite régionaux répliquent les données dans une zone secondaire de la même région. Les sujets Pub/Sub Lite zonaux stockent les données dans une seule zone sans réplication.

  • Pub/Sub. Pub/Sub réplique les données dans trois zones d'une région.

Principal point de migration

Il est important de comprendre comment chaque service réplique les données différemment.

Lorsque vous utilisez Pub/Sub, vous pouvez vous assurer que vos données sont stockées dans les régions de votre choix à l'aide des règles de stockage des messages Pub/Sub.

  • Pub/Sub ne permet pas de contrôler les zones spécifiques où les messages sont stockés. Au lieu de cela, il réplique toujours les données dans trois zones d'une région, comme l'exige la règle de stockage des messages.

  • Si vous ne spécifiez pas de règle de stockage des messages, Pub/Sub détermine automatiquement où les messages sont stockés en fonction de votre règle d'administration Restriction d'emplacement des ressources. Si vous ne définissez pas explicitement de règle d'administration, Pub/Sub autorise toutes les régions et en sélectionne automatiquement une pour stocker les messages.

Modes de diffusion

Principal point de migration

Si vous souhaitez reproduire le comportement de Pub/Sub Lite dans Pub/Sub (par exemple, une faible latence et une efficacité élevée), implémentez vos clients consommateurs à l'aide de l'API StreamingPull. Vous pouvez également implémenter votre abonnement Pub/Sub à l'aide d'autres modes de diffusion disponibles, tels que la diffusion push.

Parallélisme et tri

  • Pub/Sub Lite. Pub/Sub Lite est compatible avec le parallélisme par partition.

  • Pub/Sub. Pub/Sub est compatible avec le parallélisme par message.

Principal point de migration

Pub/Sub n'est pas une solution basée sur des partitions. Les messages Pub/Sub peuvent également être traités simultanément, ce qui signifie que l'ordre des messages n'est pas garanti. Si votre application nécessite l'ordre des messages, utilisez des clés de tri Pub/Sub.

Lorsque vous utilisez l'abonnement d'exportation dans Pub/Sub Lite, la clé Pub/Sub Lite est utilisée comme clé de tri dans le message Pub/Sub. Cela garantit que les messages continuent d'être distribués dans l'ordre.

Pour assurer la compatibilité avec les messages Pub/Sub, vérifiez que vos clés Pub/Sub Lite ne contiennent que des caractères encodés en UTF-8.

  • Les clés Pub/Sub Lite sont stockées sous forme d'octets.
  • Les clés de tri Pub/Sub sont stockées sous forme de chaînes.

Les clés de tri Pub/Sub ont un débit d'éditeur maximal de 1 Mo/s. L'ordonnancement des messages dans Pub/Sub n'est garanti que dans une seule région. Pour recevoir des messages ordonnés dans Pub/Sub, vous devez activer explicitement l'ordre des messages dans les paramètres de l'abonnement.

Revoir et supprimer définitivement

  • Pub/Sub Lite. Pub/Sub Lite est compatible avec la fonctionnalité de recherche sans nécessiter de configuration supplémentaire.

  • Pub/Sub. Pub/Sub est compatible avec la fonctionnalité de recherche, mais nécessite une configuration supplémentaire pour la configurer.

Principal point de migration

Pour activer la fonctionnalité de recherche, Pub/Sub vous oblige à configurer explicitement les paramètres à la fois sur le sujet et l'abonnement.

  • Sujet: Vous devez configurer une durée de conservation des messages
  • Abonnement: vous devez configurer une durée de conservation des messages confirmés.

La configuration de ces paramètres est essentielle si vous avez besoin d'une parité exacte avec Pub/Sub Lite ou si votre migration nécessite la lecture ou la suppression de messages. Quelles que soient vos exigences spécifiques, la possibilité de rechercher et de retraiter des messages est une protection précieuse lors d'une migration par étapes. Il permet de revenir en arrière et de minimiser la perte de données en cas de problèmes inattendus.

Gestion de la capacité et tarification

  • Pub/Sub Lite. La capacité Pub/Sub Lite est provisionnée manuellement en configurant la capacité de stockage et de débit à l'aide de réservations Pub/Sub Lite.

  • Pub/Sub. Pub/Sub est entièrement géré et évolue automatiquement.

Principal point de migration

Lorsque vous passez à Pub/Sub, vous pouvez gérer la capacité et la tarification en définissant des forçages de quota ou en demandant une modification de quota pour vos ressources Pub/Sub.

La principale raison de gérer la capacité Pub/Sub est de respecter des exigences de coût strictes. Si vous n'avez pas de limites de coût strictes, Pub/Sub peut gérer efficacement les ressources sans trop d'intervention. Pub/Sub est facturé en fonction de l'utilisation. Pour en savoir plus, consultez les tarifs de Pub/Sub.

Planifier une migration

Pour migrer de Pub/Sub Lite vers Pub/Sub, vous pouvez utiliser la fonctionnalité d'abonnement à l'exportation Pub/Sub Lite. L'abonnement à l'exportation vous permet de migrer votre application Pub/Sub Lite en plusieurs phases. Adopter une approche par phases vous permet de mettre à jour, de tester et de surveiller votre migration de manière itérative, afin de réduire les risques d'erreur et de temps d'arrêt.

Avant de commencer

  • Évaluez votre application Pub/Sub Lite existante et identifiez les fonctionnalités Pub/Sub correspondantes dont vous avez besoin.
  • Assurez-vous que Pub/Sub répond à toutes vos exigences fonctionnelles et métier.

Workflow de migration par étapes

Les étapes suivantes donnent un aperçu du workflow de migration des abonnements exportés.

  1. Créez les sujets Pub/Sub pertinents et un abonnement à ces sujets.
  2. Créez un abonnement d'exportation Pub/Sub Lite.
  3. Abonnez-vous à des abonnements Pub/Sub et Pub/Sub Lite.
  4. Mettez progressivement à jour les éditeurs pour qu'ils envoient des messages au sujet Pub/Sub au lieu du sujet Pub/Sub Lite.
  5. Vérifiez que la charge de travail migrée fonctionne comme prévu.
  6. Désactiver les éditeurs et les abonnés Pub/Sub Lite

Phases de migration

Les sections suivantes fournissent des détails sur chaque étape du workflow de migration par étapes.

Créer les sujets et les abonnements Pub/Sub

Créez un sujet Pub/Sub correspondant et son abonnement. Au cours de cette phase, vous configurez les paramètres de sujets et d'abonnements requis, tels que la conservation des messages, la confirmation des messages et les règles de stockage des messages.

Si nécessaire, définissez et configurez des quotas pour éviter toute utilisation excessive et toute facturation inattendue. Plus important encore, nous vous recommandons vivement de configurer un sujet Pub/Sub Lite de file d'attente de lettres mortes pour capturer les messages qui ne parviennent pas à migrer vers Pub/Sub. Cela vous permet de résoudre les erreurs et d'identifier l'origine des échecs d'exportation, puis de renvoyer les messages échoués au bon sujet, ce qui évite toute perte de données.

Créer des abonnements d'exportation Pub/Sub Lite

Pour chaque sujet, créez un abonnement d'exportation Pub/Sub Lite pour exporter les messages du sujet Pub/Sub Lite vers son sujet Pub/Sub correspondant. Au lieu de définir individuellement la capacité de débit pour chaque abonnement d'exportation, utilisez une réservation Pub/Sub Lite pour gérer efficacement le débit de l'ensemble de vos abonnements d'exportation. À la fin de cette phase, vos sujets Pub/Sub Lite et Pub/Sub reçoivent les mêmes messages à partir du moment où les abonnements d'exportation ont été créés.

Vous pouvez ensuite utiliser les sujets Pub/Sub pour développer et tester de manière incrémentielle vos clients abonnés en phases isolées. Cette approche minimise les perturbations sur vos applications Pub/Sub Lite existantes.

Double abonnement à des sujets Pub/Sub Lite et Pub/Sub

Dans un environnement de développement, mettez à jour vos clients abonnés pour qu'ils lisent les messages directement à partir des sujets Pub/Sub, à l'aide de la bibliothèque cliente Pub/Sub appropriée. Contrairement à Pub/Sub Lite, Pub/Sub propose plusieurs Contrairement à Pub/Sub Lite, Pub/Sub propose plusieurs modes de diffusion (pull et push). Choisissez donc celui qui correspond le mieux aux exigences de votre application.

  • Pour émuler le même comportement que Pub/Sub Lite, configurez votre instance Pub/Sub avec l'API StreamingPull.

  • Dans un système comportant plusieurs applications grand public, migrez progressivement chaque application une par une. Pour chaque application d'abonné, exécutez l'abonné Pub/Sub Lite et le nouvel abonné Pub/Sub en parallèle afin de vérifier le comportement et les performances du nouvel abonné. Surveillez attentivement les deux abonnés pour vous assurer de la cohérence de la distribution des messages, de la gestion des exceptions et du fonctionnement global. Une fois la migration et la validation de tous les abonnés terminées, mettez hors service les anciens clients d'abonnés Pub/Sub Lite.

Mettre à jour les éditeurs

Une fois que tous vos abonnés consomment correctement les messages de Pub/Sub, vous pouvez progressivement mettre à jour vos éditeurs pour qu'ils envoient des messages directement aux sujets Pub/Sub. Pour ce faire, mettez à jour vos éditeurs pour qu'ils utilisent les bibliothèques clientes Pub/Sub. Vous pouvez ainsi transférer progressivement le trafic de Pub/Sub Lite vers Pub/Sub.

Désactiver Pub/Sub Lite

Une fois que vous avez migré tous vos abonnés et éditeurs vers Pub/Sub, vous pouvez arrêter vos ressources Pub/Sub Lite. Cela vous permet d'éviter de payer des coûts inutiles pour une infrastructure inutilisée.

Étape suivante