Créer un flux

Présentation

Dans cette section, vous allez apprendre à créer un flux. Datastream utilise ce flux pour transférer des données d'une base de données Oracle ou MySQL source vers un bucket Cloud Storage de destination.

La création d'un flux comprend les éléments suivants :

  • Définir les paramètres du flux.
  • Sélectionner le profil de connexion que vous avez créé pour votre base de données Oracle ou MySQL (profil de connexion source) ou créer un profil de connexion source si vous n'en avez pas créé.
  • Configurer des informations sur la base de données source du flux en spécifiant les tables et les schémas de la base de données source dans Datastream :
    • Transfert possible vers la destination.
    • Transfert restreint vers la destination.
  • Déterminez si Datastream remplira les données de l'historique, diffusera les modifications en cours vers la destination ou ne diffusera que les modifications apportées aux données. Lorsque vous activez le remplissage des données de l'historique, vous pouvez éventuellement spécifier des schémas et des tables de base de données source que Datastream ne doit pas remplir dans la destination.
  • Sélectionner le profil de connexion que vous avez créé pour Cloud Storage.
  • Configurer des informations sur le bucket de destination du flux. Ces informations comprennent :
    • Dossier du bucket de destination dans lequel Datastream transférera les schémas, les tables et les données d'une base de données source.
    • Format des fichiers écrits dans Cloud Storage.
  • Validez le flux pour vous assurer qu'il fonctionne correctement. Valider un flux consiste à vérifier :

    • Si la source est correctement configurée pour autoriser Datastream à diffuser des données à partir de celle-ci.
    • Si le flux peut se connecter à la source et à la destination.

    • La configuration de bout en bout du flux.

Définir les paramètres du flux

  1. Accédez à la page Flux de Google Cloud Console.

    Accéder à la page "Flux"

  2. Cliquez sur CRÉER UN FLUX.

  3. Utilisez le tableau suivant pour renseigner les champs de la section Définir les détails du flux de la page Créer un flux :

    ChampDescription
    Nom du fluxSaisissez le nom à afficher du flux.
    ID du fluxDatastream renseigne automatiquement ce champ en fonction du nom de flux saisi. Vous pouvez conserver l'ID généré automatiquement ou le modifier.
    RégionSélectionnez la région dans laquelle le flux est stocké. Comme toutes les ressources, les flux sont enregistrés dans une région. Le choix de région n'affecte pas si votre flux peut se connecter à la base de données source ou au bucket de destination dans Cloud Storage, mais peut affecter la disponibilité si la région subit un temps d'arrêt.
    Type de source

    Sélectionnez le type de profil que vous avez spécifié lors de la création d'un profil de connexion pour une base de données source. Si vous n'avez pas créé de profil de connexion pour la base de données source, vous pouvez le créer maintenant.

    Type de destination

    Sélectionnez le type de profil que vous avez spécifié lors de la création d'un profil de connexion pour un service de stockage Cloud de destination. Si vous n'avez pas créé de profil de connexion pour la destination, vous pouvez le faire maintenant.

  4. Vous pouvez également utiliser des libellés pour organiser vos ressources DataStream.

    1. Pour créer un libellé, cliquez sur AJOUTER UN LIBELLÉ, puis saisissez la paire clé-valeur du libellé.
    2. Pour supprimer le libellé, cliquez sur l'icône de corbeille à droite de la ligne correspondant au libellé.
  5. Passez en revue les conditions préalables générées automatiquement qui reflètent la façon dont l'environnement doit être préparé pour un flux. Ces prérequis peuvent inclure la configuration de la base de données source et la connexion au bucket Cloud Storage de destination. Il est préférable d'appliquer ces prérequis dès la présente étape, mais vous pouvez le faire à tout moment avant de tester le flux ou de le démarrer. Pour en savoir plus sur ces conditions préalables, consultez la section Configurer votre base de données Oracle source.

  6. Cliquez sur CONTINUE (Continuer). Le panneau Définir le profil de connexion de la page Créer un flux s'affiche pour votre type de base de données source.

Spécifier des informations sur le profil de connexion source

  1. Si vous avez créé un profil de connexion source pour Oracle ou MySQL, sélectionnez-le dans la liste des profils de connexion.

    Si vous n'avez pas créé de profil de connexion source, créez-en un en cliquant sur CRÉER UN PROFIL DE CONNEXION en bas de la liste déroulante, puis suivez la même procédure que dans la section Créer des profils de connexion.

  2. Cliquez sur RUN TEST (EXÉCUTER LE TEST) pour vérifier que la base de données source et Datastream peuvent communiquer entre eux.

    Si le test échoue, le problème associé au profil de connexion s'affiche. Apportez les modifications nécessaires pour corriger le problème, puis recommencez le test.

  3. Cliquez sur CONTINUE (Continuer). Le panneau Configurer la source du flux de la page Créer un flux s'affiche.

Configurer les informations sur la base de données source du flux

  1. Dans la section Sélectionner les objets à inclure, utilisez le menu déroulant Objets à inclure pour spécifier les tables et les schémas de la base de données source que Datastream peut transférer vers un dossier du bucket Cloud Storage de destination.

    1. Si vous souhaitez que Datastream transfère tous les schémas et toutes les tables, sélectionnez Toutes les tables de tous les schémas.
    2. Si vous souhaitez que Datastream ne transfère que des tables et schémas spécifiques, sélectionnez Schémas et tables spécifiques, puis cochez les cases correspondant aux schémas et aux tables que Datastream doit extraire.

    3. Si vous souhaitez fournir une définition textuelle des tables et des schémas que vous souhaitez que Datastream transfère, sélectionnez Définition manuelle personnalisée, puis, dans le champ Critères de correspondance des objets, saisissez les schémas et les tables que vous souhaitez extraire avec Datastream.

  2. Si vous le souhaitez, développez le nœud Sélectionner des objets à exclure. Dans le champ Objets à exclure, saisissez les tables et les schémas de la base de données source pour lesquels vous souhaitez empêcher DataStream de transférer des données dans le dossier du bucket de destination Cloud Storage.

  3. Si vous le souhaitez, développez le nœud Choisir un mode de remplissage pour les données d'historique, puis effectuez l'une des opérations suivantes :
    1. Sélectionnez l'option Automatique pour diffuser toutes les données existantes, en plus des modifications apportées aux données, de la source vers la destination.

      Dans le champ Objets exclus du remplissage automatique, saisissez les tables et les schémas de la base de données source pour lesquels vous souhaitez empêcher le remplissage des données dans la destination.

    2. Sélectionnez l'option Manuel pour diffuser uniquement les modifications apportées aux données de destination.
  4. Cliquez sur CONTINUE (Continuer). Le panneau Définir un profil de connexion Cloud Storage de la page Créer un flux s'affiche.

Sélectionner un profil de connexion de destination

  1. Si vous avez créé un profil de connexion de destination, sélectionnez-le dans la liste des profils de connexion.

    Si vous n'avez pas créé de profil de connexion de destination, créez-en un en cliquant sur CRÉER UN PROFIL DE CONNEXION en bas de la liste déroulante, puis suivez la même procédure que dans la section Créer des profils de connexion.

  2. Cliquez sur CONTINUE (Continuer). Le panneau Configurer la destination du flux de la page Créer un flux s'affiche.

Configurer les informations sur la destination du flux

  1. Dans le champ Préfixe du chemin de flux, vous pouvez également saisir le dossier du bucket de destination dans lequel Datastream transférera des schémas, des tables et des données à partir d'une base de données source.

    Par exemple, si vous souhaitez que Datastream transfère les données de la base de données source vers le dossier /root/example du bucket de destination, saisissez /root/example dans le champ Préfixe du chemin de flux.

  2. Dans le champ Format de sortie, choisissez le format des fichiers écrits dans Cloud Storage.

  3. Facultatif. Si vous sélectionnez le format JSON, deux cases à cocher s'affichent :

    1. Inclure un fichier de schéma de types unifiés dans le chemin d'accès au fichier : si vous cochez cette case, Datastream écrit deux fichiers dans Cloud Storage : un fichier de données JSON et un fichier de schéma Avro. Le fichier de schéma porte le même nom que le fichier de données, avec une extension .schema. Si vous ne cochez pas cette case, Datastream n'écrit que le fichier de données JSON dans Cloud Storage. Par défaut, cette case n'est pas cochée.
    2. Activer la compression gzip : si vous cochez cette case, Datastream utilise l'utilitaire gzip pour compresser les fichiers que Datastream écrit dans Cloud Storage. Si vous ne cochez pas cette case, Datastream écrit les fichiers dans Cloud Storage sans les compresser. Par défaut, cette case est cochée.
  4. Cliquez sur CONTINUE (Continuer). Le panneau Vérifier les détails et créer le flux de la page Créer un flux s'affiche.

Créer le flux

  1. Vérifiez les détails du flux, ainsi que les profils de connexion source et de destination que le flux utilisera pour transférer des données d'une base de données source vers un bucket Cloud Storage de destination.

  2. Cliquez sur RUN VALIDATION (LANCER LA VALIDATION) pour valider le flux. En validant un flux, Datastream vérifie que la source est correctement configurée, vérifie que le flux peut se connecter à la source et à la destination, et vérifie la configuration de bout en bout du flux.

    1. Si la base de données source est Oracle, Datastream effectue les vérifications suivantes :

      VérificationDescription
      Validité de la liste d'objetsDatastream vérifie que la liste d'exclusion n'est pas basée sur la liste d'inclusion.
      Connectivité du tunnel SSH de transfertDatastream vérifie qu'il peut se connecter à un hôte bastion via un tunnel SSH de transfert.
      Connectivité à la base de données OracleDatastream vérifie qu'il peut se connecter à la base de données Oracle source.
      Autorisations d'utilisateur OracleDatastream vérifie que l'utilisateur qu'il utilise pour se connecter à la base de données source dispose de toutes les autorisations nécessaires pour récupérer les schémas, les tables et les données de la base de données afin que Datastream puisse diffuser ces informations dans la destination.
      Configuration du mode de journalisationDatastream vérifie que le mode de journalisation pour la base de données Oracle est défini sur ARCHIVELOG.
      Configuration de la journalisation supplémentaireDatastream vérifie que la journalisation supplémentaire est activée pour les tables de base de données qui sont insérées par flux depuis la source vers la destination.
      Configuration des fichiers journaux d'archiveDatastream vérifie que la journalisation des archives est configurée dans la source et que les fichiers journaux des archives sont bien présents.
      Autorisations Cloud StorageDatastream vérifie qu'il dispose des autorisations nécessaires pour écrire dans le bucket Cloud Storage de destination.
    2. Si votre base de données source est MySQL, Datastream effectue les vérifications suivantes :

      VérificationDescription
      Validité de la liste d'objetsDatastream vérifie que la liste d'exclusion n'est pas basée sur la liste d'inclusion.
      Connectivité du tunnel SSH de transfertDatastream vérifie qu'il peut se connecter à un hôte bastion via un tunnel SSH de transfert.
      Connectivité à la base de données MySQLDatastream vérifie qu'il peut se connecter à la base de données MySQL source.
      La journalisation binaire est activéeDatastream vérifie que les fichiers journaux binaires sont correctement configurés et que des fichiers journaux sont bien présents.
      Configuration du format des journaux binairesDatastream vérifie que le format du journal binaire de la base de données MySQL est défini sur ROW.
      Autorisations de réplicationDatastream vérifie qu'il est autorisé à répliquer une base de données MySQL.
      Autorisations Cloud StorageDatastream vérifie qu'il dispose des autorisations nécessaires pour écrire dans le bucket Cloud Storage de destination.
  3. Une fois tous les tests de validation réussis, cliquez sur CRÉER ET DÉMARRER pour créer le flux et le démarrer immédiatement, ou CRÉER pour créer le flux sans le démarrer immédiatement.

    Si vous ne démarrez pas le flux immédiatement, vous pouvez le démarrer sur la page Flux en cliquant sur DÉMARRER.

Une fois le flux créé, vous pouvez en afficher des informations générales et détaillées.