Bonnes pratiques générales à suivre lors de l'utilisation de Datastream

Cette page présente les bonnes pratiques à suivre pour utiliser Datastream. Il s'agit de bonnes pratiques générales à suivre lorsque vous utilisez Datastream.

Modifier la base de données source d'un flux

Dans certains cas, vous devrez peut-être modifier la base de données source d'un flux. Par exemple, vous devrez peut-être modifier le flux pour le répliquer à partir d'une instance répliquée au lieu de l'instance de base de données principale.

  1. Créez un profil de connexion pour l'instance dupliquée.
  2. Créez un flux à l'aide du profil de connexion du réplica que vous avez créé et du profil de connexion existant de la destination.
  3. Démarrez le flux avec le remplissage historique désactivé. Lorsque le flux est démarré, il n'apporte que les données des journaux binaires.
  4. Facultatif. Une fois le flux en cours d'exécution, modifiez-le pour activer le remplissage automatique.
  5. Mettez en pause le flux qui lit des données à partir de l'instance principale.

  6. Facultatif. Supprimez le flux qui diffusait des données depuis l'instance principale.

  7. Facultatif. Supprimez le profil de connexion de l'instance principale.

Alerter et surveiller dans Datastream

Le tableau de bord Datastream contient de nombreuses informations. Ces informations peuvent être utiles à des fins de débogage. Vous trouverez des informations supplémentaires dans les journaux, disponibles dans Cloud Logging.

Alertes Datastream

Aucune alerte par défaut n'est configurée pour Datastream. Par exemple, vous pouvez créer une règle d'alerte pour la métrique Fraîcheur des données en cliquant sur le lien Créer une règle d'alerte dans l'onglet Présentation. Pour les autres métriques, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page  Alertes:

    Accéder à l'interface des alertes

  2. Cliquez sur Créer une règle.

  3. Cliquez sur le menu déroulant Sélectionner une métrique.

  4. Dans le champ de filtre, saisissez Datastream.

  5. Facultatif : Vous devrez peut-être désactiver le filtre Active pour afficher toutes les métriques disponibles.

  6. Recherchez la métrique que vous souhaitez surveiller sous Flux Datastream.

  7. Cliquez sur Appliquer.

  8. (Facultatif) Saisissez les informations requises dans les sections Ajouter des filtres et Transformer les données. Cliquez sur Next (Suivant).

  9. Saisissez les informations requises dans la section Configurer le déclencheur d'alerte. Cliquez sur Suivant.

  10. Configurez vos notifications dans la section Configurer les notifications et finaliser l'alerte.

  11. Examinez votre alerte, puis cliquez sur Créer une règle lorsque vous êtes prêt.

    Pour obtenir des informations détaillées sur la façon d'effectuer chacune de ces étapes, consultez Créer une règle d'alerte

Nous vous recommandons de créer des alertes pour les métriques Datastream suivantes:

  • Fraîcheur des données
  • Nombre d'événements non pris en charge dans le flux
  • Latences totales du flux

Une alerte sur l'une de ces métriques peut indiquer un problème au niveau du flux ou de la base de données source.

Combien de tables un seul flux peut-il gérer ?

Nous recommandons qu'un seul flux comprenne jusqu'à 10 000 tables. La taille des tableaux n'est pas limitée. Si vous devez créer un flux avec d'autres tables, il risque d'entrer dans un état d'erreur. Pour éviter cela, envisagez de diviser la source en plusieurs flux.