Bonnes pratiques générales à suivre lors de l'utilisation de Datastream

Cette page présente les bonnes pratiques à suivre pour utiliser Datastream. Il s'agit de bonnes pratiques générales à suivre lorsque vous utilisez Datastream.

Modifier la base de données source d'un flux

Dans certains cas, vous devrez peut-être modifier la base de données source d'un flux. Par exemple, vous devrez peut-être modifier le flux pour le répliquer à partir d'un réplica plutôt que de l'instance de base de données principale.

  1. Créez un profil de connexion pour l'instance de réplication.
  2. Créez un flux à l'aide du profil de connexion du réplica que vous avez créé et du profil de connexion existant de la destination.
  3. Démarrez le flux avec le remplissage historique désactivé. Lorsque le flux est démarré, il n'apporte que les données des journaux binaires.
  4. Facultatif. Une fois le flux en cours d'exécution, modifiez-le pour activer le remplissage automatique.
  5. Suspendez le flux qui lit à partir de l'instance principale.

  6. Facultatif. Supprimez le flux qui transmettait des données en streaming depuis l'instance principale.

  7. Facultatif. Supprimez le profil de connexion de l'instance principale.

Alertes et surveillance dans Datastream

Le tableau de bord Datastream contient de nombreuses informations. Ces informations peuvent être utiles à des fins de débogage. Vous trouverez des informations supplémentaires dans les journaux, qui sont disponibles dans Cloud Logging.

Alertes Datastream

Aucune alerte par défaut n'est configurée pour Datastream. Par exemple, vous pouvez créer une règle d'alerte pour la métrique Actualité des données en cliquant sur le lien Créer une règle d'alerte dans l'onglet Vue d'ensemble. Pour les autres métriques, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page  Alertes:

    Accéder à l'interface des alertes

  2. Cliquez sur Créer une règle.

  3. Cliquez sur le menu déroulant Sélectionner une métrique.

  4. Dans le champ de filtre, saisissez Datastream.

  5. Facultatif: Vous devrez peut-être désactiver le filtre Actif pour afficher toutes les métriques disponibles.

  6. Recherchez la métrique que vous souhaitez surveiller sous Flux Datastream.

  7. Cliquez sur Appliquer.

  8. Facultatif: saisissez les informations requises dans les sections Ajouter des filtres et Transformer les données. Cliquez sur Next (Suivant).

  9. Saisissez les informations requises dans la section Configurer le déclencheur d'alerte. Cliquez sur Suivant.

  10. Configurez vos notifications dans la section Configurer les notifications et finaliser l'alerte.

  11. Examinez l'alerte et cliquez sur Créer une règle lorsque vous êtes prêt.

    Pour savoir comment effectuer chacune de ces étapes, consultez la section Créer une règle d'alerte.

Nous vous recommandons de créer des alertes pour les métriques Datastream suivantes:

  • Fraîcheur des données
  • Nombre d'événements non pris en charge dans le flux
  • Latence totale du flux

Une alerte sur l'une de ces métriques peut indiquer un problème avec le flux ou la base de données source.

Combien de tables un seul flux peut-il gérer ?

Nous vous recommandons de ne pas inclure plus de 10 000 tables dans un même flux. La taille des tableaux n'est pas limitée. Si vous devez créer un flux avec d'autres tables, il risque d'entrer dans un état d'erreur. Pour éviter cela, envisagez de diviser la source en plusieurs flux.