Gérer le remplissage pour les objets d'un flux

Présentation

Un flux dans Datastream peut effectuer un remplissage avec des données d'historique tout en diffusant les modifications en cours par flux vers une destination. Lors de la création d'un flux, vous avez configuré des informations sur la base de données source du flux.

Si vous cochez la case Remplir les données de l'historique, Datastream diffusera toutes les données existantes, en plus des modifications apportées aux données, de la source vers la destination.

Si vous ne cochez pas cette case, Datastream ne diffusera que les modifications apportées aux données. Pour que Datastream diffuse un instantané de toutes les données existantes de la source vers la destination, vous devez lancer un remplissage pour les objets contenant ces données. Les objets se présentent sous la forme de schémas de base de données, de tables et de colonnes.

Il peut également être utile de lancer le remplissage d'un objet lorsque les données ne sont pas synchronisées entre la source et la destination. Par exemple, un utilisateur peut supprimer par inadvertance des données dans la destination, auquel cas les données sont perdues. Dans ce cas, le remplissage de l'objet sert de "mécanisme de réinitialisation", car toutes les données sont insérées par flux dans la destination en une seule opération. Par conséquent, les données sont synchronisées entre la source et la destination.

Après avoir lancé le remplissage d'un objet, vous pouvez l'arrêter. Dans l'exemple ci-dessus, l'utilisateur modifie le schéma de la base de données, et le schéma ou les données sont corrompus. Vous ne voulez pas que ce schéma ou ces données soient diffusés vers la destination. Vous arrêtez donc le remplissage de l'objet.

Vous pouvez également arrêter le remplissage des objets à des fins d'équilibrage de charge. Datastream peut exécuter plusieurs remplissages en parallèle. Cela peut ajouter une charge supplémentaire à la source. Si la charge est importante, arrêtez le remplissage des objets, puis relancez-le objet par objet.

États des objets

Les différents états du cycle de vie entre le lancement et l'arrêt du remplissage d'un objet sont les suivants :

  • Aucun état (représenté dans l'interface utilisateur sous l'intitulé -) : les raisons de cet état sont les suivantes :
    • Le flux n'a pas démarré.
    • La case Remplir les données de l'historique n'est pas cochée (le remplissage est donc défini comme manuel).
    • L'objet est exclu explicitement du remplissage automatique.

    • Le flux est configuré pour inclure les tables futures. Dans une telle situation, aucun remplissage automatique n'est créé lorsque de nouvelles tables sont ajoutées à la source (car les nouvelles tables ne contiennent généralement aucune donnée "historique" à remplir).

      Pour en savoir plus, consultez la section Configurer les informations concernant la base de données source pour le flux.

  • Pending: Le remplissage n'a pas encore démarré pour l'objet.
  • Active: Le remplissage est en cours pour l'objet.
  • Completed: Le remplissage est terminé pour l'objet.
  • Stopped: Le remplissage est arrêté pour l'objet. Si le remplissage est déclenché à nouveau pour l'objet, Datastream diffusera toutes les données existantes associées à l'objet de la source vers la destination.
  • Failed: Le remplissage de l'objet a échoué. Le remplissage doit être déclenché à nouveau.

Déclencher le remplissage

  1. Accédez à la page Flux de Google Cloud Console.

    Accéder à la page "Flux"

  2. Cliquez sur le flux contenant les objets pour lesquels vous souhaitez lancer un remplissage.

  3. Cliquez sur l'onglet OBJECTS (OBJETS).

  4. Cochez la case de chaque objet pour lequel vous souhaitez lancer un remplissage.

  5. Cliquez sur INITIATE BACKFILL (DÉMARRER LE REMPLISSAGE).

  6. Si vous n'avez sélectionné qu'un seul objet, cliquez sur INITIER LE REMPLISSAGE DES OBJETS dans la boîte de dialogue. Dans le cas contraire, si vous avez sélectionné plusieurs objets, cliquez sur INITIATE OBJECT BACKFILL (DÉMARRER LES REMPLISSAGES D'OBJET).

    Le flux de données commence le remplissage des objets sélectionnés, et leur état passe de Pending à Active, puis à Completed. Lorsqu'un objet affiche l'état Completed, cela signifie que Datastream a lu toutes les données de l'objet, mais que les données sont peut-être encore en cours de chargement vers la destination.

Arrêter le remplissage

  1. Accédez à la page Flux de Google Cloud Console.

    Accéder à la page "Flux"

  2. Cliquez sur le flux contenant les objets pour lesquels vous souhaitez arrêter le remplissage.

  3. Cliquez sur l'onglet OBJECTS (OBJETS).

  4. Cochez la case correspondant à chaque objet pour lequel vous souhaitez arrêter le remplissage.

  5. Cliquez sur STOP BACKFILL (INTERROMPRE LE REMPLISSAGE).

  6. Si vous n'avez sélectionné qu'un seul objet, dans la boîte de dialogue, cliquez sur STOP OBJECT BACKFILL (INTERROMPRE LE REMPLISSAGE D'OBJET). Sinon, si vous avez sélectionné plusieurs objets, cliquez sur STOP OBJECT BACKFILLS (INTERROMPRE LES REMPLISSAGES D'OBJET).

    Datastream interrompra le remplissage pour les objets que vous avez sélectionnés, et leur état passe à Stopped.

    Lorsqu'un objet possède cet état, le remplissage est arrêté pour cet objet. Si le remplissage est déclenché à nouveau pour l'objet, Datastream diffusera toutes les données existantes associées à l'objet de la source vers la destination.

Étape suivante