Diffusez les modifications apportées aux données en temps quasi réel avec Datastream

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

  2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  3. Vérifiez que la facturation est activée pour votre projet Google Cloud.

  4. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  5. Vérifiez que la facturation est activée pour votre projet Google Cloud.

  6. Activez Datastream API.

    Activer l'API

  7. Assurez-vous que le rôle "Administrateur Datastream" est attribué à votre compte utilisateur.

    Accéder à la page IAM

Si vous souhaitez créer une configuration de connectivité privée pour un réseau VPC standard ou partagé, vous devez remplir des conditions préalables supplémentaires. Pour en savoir plus, consultez la section Créer une configuration de connectivité privée.

Conditions requises

Datastream propose diverses options de source, des options de destination et des méthodes de connectivité réseau.

Dans ce guide de démarrage rapide, nous partons du principe que vous utilisez une base de données Oracle autonome et un service Cloud Storage de destination. Pour la base de données source, vous devriez pouvoir configurer votre réseau pour ajouter une règle de pare-feu entrante. La base de données source peut être sur site ou chez un fournisseur cloud. Comme la destination est Cloud Storage, elle doit se trouver chez le fournisseur cloud de Google.

Ne connaissant pas les spécificités de votre environnement, nous ne pouvons pas fournir de procédure détaillée pour la configuration de votre réseau.

Pour ce guide de démarrage rapide, vous allez sélectionner la méthode de connectivité Liste d'autorisation d'adresses IP. La liste d'autorisation d'adresses IP est une fonctionnalité de sécurité souvent utilisée pour limiter et contrôler l'accès des utilisateurs de confiance aux données de votre base de données source. Les listes d'autorisation d'adresses IP vous permettent de créer des listes d'adresses IP ou de plages d'adresses IP approuvées à partir desquelles vos utilisateurs et d'autres services Cloud tels que Datastream peuvent accéder à ces données. Pour utiliser les listes d'autorisation d'adresses IP, vous devez ouvrir la base de données ou le pare-feu source aux connexions entrantes de Datastream.

Créer des profils de connexion

En créant des profils de connexion pour une base de données source et une destination, vous créez des enregistrements contenant des informations sur la source et la destination.

Dans ce guide de démarrage rapide, vous allez sélectionner Oracle comme type de profil pour votre profil de connexion source et Cloud Storage comme type de profil pour votre profil de connexion de destination. Datastream utilise les informations des profils de connexion pour migrer les données de la base de données Oracle source vers un bucket de destination dans Cloud Storage.

Créer un profil de connexion source pour la base de données Oracle

  1. Accédez à la page Profils de connexion pour Datastream dans la Google Cloud Console.

    Accéder à la page Profils de connexion

  2. Cliquez sur CRÉER UN PROFIL.

  3. Sur la page Créer un profil de connexion, cliquez sur le type de profil Oracle, car vous souhaitez créer un profil de connexion source pour la base de données Oracle.

  4. Indiquez les informations suivantes dans la section Définir les paramètres de connexion de la page Créer un profil Oracle :

    • Saisissez My Source Connection Profile comme Nom du profil de connexion pour votre base de données source.
    • Conservez l'ID du profil de connexion généré automatiquement.

    • Sélectionnez la région dans laquelle le profil de connexion sera stocké.

    • Saisissez les informations sur la connexion :

      • Dans le champ Hostname or IP (Nom d'hôte ou adresse IP), saisissez un nom d'hôte ou une adresse IP publique que Datastream peut utiliser pour se connecter à la base de données Oracle source. Vous fournissez une adresse IP publique, car la liste d'autorisation d'adresses IP sera utilisée comme méthode de connectivité réseau pour ce guide de démarrage rapide.
      • Dans le champ Port, saisissez le numéro de port réservé à la base de données source. Pour une base de données Oracle, le port par défaut est généralement 1521.
      • Saisissez un nom d'utilisateur et un mot de passe pour vous authentifier auprès de votre base de données source.
      • Dans le champ Identifiant du système (SID), saisissez le SID ou le nom du service qui identifie l'instance de base de données. Pour les bases de données Oracle, il s'agit généralement de ORCL.

  5. Dans la section Définir les paramètres de connexion, cliquez sur CONTINUER. La section Définir une méthode de connectivité de la page Créer un profil Oracle est active.

  6. Choisissez la méthode de mise en réseau que vous souhaitez utiliser pour établir la connectivité entre Datastream et la base de données source. Pour ce guide de démarrage rapide, sélectionnez la méthode de mise en réseau Liste d'autorisation d'adresses IP dans le menu déroulant Méthode de connectivité.

  7. Configurez votre base de données source pour autoriser les connexions entrantes en provenance des adresses IP publiques Datastream qui s'affichent.

  8. Dans la section Définir la méthode de connectivité, cliquez sur CONTINUER. La section Tester le profil de connexion de la page Créer un profil Oracle est active.

  9. Cliquez sur RUN TEST (EXÉCUTER LE TEST) pour vérifier que la base de données source Oracle et Datastream peuvent communiquer entre eux.

  10. Vérifiez que l'état "Test réussi" s'affiche.

  11. Si le test échoue, vous pouvez résoudre le problème dans la partie appropriée du flux, puis effectuer un nouveau test. Consultez la page Diagnostiquer les problèmes pour connaître la procédure de dépannage.

  12. Cliquez sur CRÉER.

Créer un profil de connexion de destination pour Cloud Storage

  1. Accédez à la page Profils de connexion pour Datastream dans la Google Cloud Console.

    Accéder à la page Profils de connexion

  2. Cliquez sur CRÉER UN PROFIL.

  3. Sur la page Créer un profil de connexion, cliquez sur le type de profil Cloud Storage, car vous souhaitez créer un profil de connexion de destination pour Cloud Storage.

  4. Indiquez les informations ci-dessous sur la page Créer un profil Cloud Storage :

    • Saisissez My Destination Connection Profile comme Nom du profil de connexion pour votre service Cloud Storage de destination.
    • Conservez l'ID du profil de connexion généré automatiquement.
    • Sélectionnez la région dans laquelle le profil de connexion sera stocké.
    • Dans le volet Détails de la connexion, cliquez sur PARCOURIR.

    • Dans le volet Sélectionner un bucket, sélectionnez le bucket de destination Cloud Storage vers lequel Datastream transférera les données de la base de données source, puis cliquez sur SÉLECTIONNER.

      Le bucket apparaît dans le champ Nom du bucket de la page Créer un profil Cloud Storage.

    • Dans le champ Préfixe du chemin d'accès au profil de connexion, vous pouvez éventuellement fournir un préfixe pour le chemin qui sera ajouté au nom du bucket lorsque Datastream transférera des données vers la destination.

  5. Cliquez sur CREATE (CRÉER).

Après avoir créé un profil de connexion source pour la base de données Oracle et un profil de connexion de destination pour Cloud Storage, vous pouvez utiliser ces profils pour créer un flux.

Créer un flux

Dans cette section, vous allez créer un flux. Datastream utilise ce flux pour transférer des données depuis une base de données Oracle source vers un bucket de destination dans Cloud Storage.

La création d'un flux comprend les éléments suivants :

  • Définir les paramètres du flux.
  • Sélectionnez le profil de connexion que vous avez créé pour votre base de données source (profil de connexion source). Pour ce guide de démarrage rapide, il s'agit de Mon profil de connexion source.
  • Configurez des informations sur la base de données source du flux en spécifiant les tables et les schémas de la base de données source dans Datastream :
    • Transfert possible vers la destination.
    • Transfert restreint vers la destination.
  • Déterminez si Datastream remplira les données de l'historique, diffusera les modifications en cours dans la destination ou ne diffusera que les modifications apportées aux données.
  • Sélectionnez le profil de connexion que vous avez créé pour Cloud Storage (le profil de connexion de destination). Pour ce guide de démarrage rapide, il s'agit de Mon profil de connexion de destination.
  • Configurer des informations sur le bucket de destination du flux. Ces informations comprennent :
    • Le dossier du bucket de destination dans lequel Datastream transférera les schémas, les tables et les données de la base de données source Oracle.
    • Format de sortie des fichiers écrits dans Cloud Storage. Datastream accepte actuellement deux formats de sortie : Avro et JSON. Dans ce guide de démarrage rapide, le format de fichier est Avro.

Définir les paramètres du flux

  1. Accédez à la page Flux de Datastream dans Google Cloud Console.

    Accéder à la page "Flux"

  2. Cliquez sur CRÉER UN FLUX.

  3. Indiquez les informations suivantes dans le panneau Définir les détails du flux de la page Créer un flux :

    • Saisissez My Stream comme nom de flux.
    • Conservez l'ID de flux généré automatiquement.
    • Dans le menu Région, sélectionnez la région dans laquelle vous avez créé votre profil de connexion source.
    • Dans le menu Source type (Type de source), sélectionnez le type de profil Oracle.
    • Dans le menu Type de destination, sélectionnez le type de profil Cloud Storage.

  4. Passez en revue les conditions préalables requises qui sont générées automatiquement afin de refléter la façon dont votre environnement doit être préparé pour un flux. Ces prérequis peuvent inclure la configuration de la base de données source et la connexion de Datastream au bucket de destination dans Cloud Storage.

  5. Cliquez sur CONTINUER. Le panneau Définir un profil de connexion Oracle de la page Créer un flux s'affiche.

Spécifier des informations sur le profil de connexion source

  1. Dans le menu Profil de connexion source, sélectionnez votre profil de connexion source pour la base de données Oracle.

  2. Cliquez sur RUN TEST (EXÉCUTER LE TEST) pour vérifier que la base de données source et Datastream peuvent communiquer entre eux.

    Si le test échoue, le problème associé au profil de connexion s'affiche. Consultez la page Diagnostiquer les problèmes pour connaître la procédure de dépannage. Apportez les modifications nécessaires pour corriger le problème, puis recommencez le test.

  3. Cliquez sur CONTINUE (Continuer). Le panneau Configurer la source du flux de la page Créer un flux s'affiche.

Configurer les informations sur la base de données source du flux

  1. Utilisez le menu Objets à inclure pour spécifier les tables et les schémas de votre base de données source que Datastream peut transférer vers un dossier du bucket de destination dans Cloud Storage. Le menu ne se charge que si votre base de données contient au maximum 5 000 objets.

    Pour ce guide de démarrage rapide, vous souhaitez que Datastream transfère toutes les tables et tous les schémas. Par conséquent, sélectionnez Toutes les tables de tous les schémas dans le menu.

  2. Cliquez sur CONTINUER. Le panneau Définir un profil de connexion Cloud Storage de la page Créer un flux s'affiche.

Sélectionner un profil de connexion de destination

  1. Dans le menu Profil de connexion de destination, sélectionnez votre profil de connexion de destination pour Cloud Storage.

  2. Cliquez sur CONTINUER. Le panneau Configurer la destination du flux de la page Créer un flux s'affiche.

Configurer les informations sur la destination du flux

  1. Dans le champ Préfixe du chemin d'accès du flux, saisissez le dossier du bucket de destination dans lequel Datastream transférera les schémas, les tables et les données d'une base de données Oracle source.

    Pour ce guide de démarrage rapide, vous souhaitez que Datastream transfère les données de la base de données source vers le dossier /root/tutorial du bucket de destination de Cloud Storage. Par conséquent, saisissez /root/tutorial dans le champ Préfixe du chemin de flux.

  2. Dans le champ Format de sortie, sélectionnez le format des fichiers écrits dans Cloud Storage. Dans ce guide de démarrage rapide, le format de fichier est Avro.

  3. Cliquez sur CONTINUER. Le panneau Vérifier les détails et créer le flux de la page Créer un flux s'affiche.

Créer le flux

  1. Vérifiez les détails du flux, ainsi que les profils de connexion source et de destination qu'il utilisera pour transférer les données d'une base de données Oracle source vers un bucket de destination dans Cloud Storage.

  2. Cliquez sur RUN VALIDATION (LANCER LA VALIDATION) pour valider le flux. En validant un flux, Datastream vérifie que la source est correctement configurée, vérifie que le flux peut se connecter à la source et à la destination, et vérifie la configuration de bout en bout du flux.

  3. Une fois tous les tests de validation effectués, cliquez sur CRÉER.

  4. Dans la boîte de dialogue Créer un flux ?, cliquez sur CRÉER.

Une fois la diffusion créée, vous pouvez la démarrer.

Démarrer le flux

Dans la section précédente du guide de démarrage rapide, vous avez créé un flux sans l'avoir démarré. Vous pouvez le faire maintenant.

Dans ce guide de démarrage rapide, vous allez créer et démarrer un flux séparément, au cas où le processus de création de flux augmenterait la charge sur votre base de données source. Pour éliminer cette charge, créez le flux sans le démarrer, puis démarrez-le lorsque la charge peut être engagée.

En démarrant le flux, Datastream peut transférer des données, des schémas et des tables de la base de données source vers la destination.

  1. Accédez à la page Flux de Datastream dans Google Cloud Console.

    Accéder à la page "Flux"

  2. Cochez la case située à gauche du flux que vous souhaitez démarrer. Pour ce guide de démarrage rapide, il s'agit de Mon flux.

  3. Cliquez sur DÉMARRER.

  4. Dans la boîte de dialogue, cliquez sur DÉMARRER. L'état du flux passe de Not started à Starting, puis à Running.

Après avoir démarré un flux, vous pouvez vérifier que Datastream a transféré les données de la base de données source vers la destination.

Vérifier le flux

Dans cette section, vous vérifiez que Datastream transfère les données de toutes les tables de votre base de données Oracle source dans le dossier /root/tutorial de votre bucket de destination Cloud Storage.

  1. Accédez à la page Flux de Datastream dans Google Cloud Console.

    Accéder à la page "Flux"

  2. Cliquez sur le flux que vous avez créé. Pour ce guide de démarrage rapide, il s'agit de Mon flux.

  3. Sur la page Détails du flux, cliquez sur le lien qui s'affiche sous le champ Chemin d'écriture de la destination. La page Informations sur le bucket de Cloud Storage s'ouvre dans un onglet distinct.

  4. Vérifiez que vous voyez des dossiers représentant des tables de votre base de données Oracle source.

  5. Cliquez sur l'un des dossiers de la table et accédez aux données associées.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

  1. Utilisez la console Google Cloud pour supprimer votre projet, vos profils de connexion et de flux Datastream, ainsi que le bucket de destination Cloud Storage.

Si vous nettoyez les ressources que vous avez créées dans Datastream, elles ne seront plus comptabilisées dans votre quota et ne vous seront plus facturées. Dans les sections suivantes, nous allons voir comment supprimer ou désactiver ces ressources.

Supprimer votre projet

Le moyen le plus simple d'empêcher la facturation est de supprimer le projet que vous avez créé pour ce guide de démarrage rapide.

  1. Dans Cloud Console, accédez à la page Gérer les ressources :

    Accéder à la page Gérer les ressources

  2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.

  3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Supprimer le flux

  1. Accédez à la page Flux de Datastream dans Google Cloud Console.

    Accéder à la page "Flux"

  2. Cliquez sur le flux que vous souhaitez supprimer. Pour ce guide de démarrage rapide, il s'agit de Mon flux.

  3. Cliquez sur METTRE EN VEILLE.

  4. Dans la boîte de dialogue, cliquez sur METTRE EN VEILLE.

  5. Dans le volet État du flux de la page Détails du flux, vérifiez que l'état du flux est Paused.

  6. Cliquez sur SUPPRIMER.

  7. Dans la boîte de dialogue, saisissez Delete dans le champ de texte, puis cliquez sur SUPPRIMER.

Supprimer les profils de connexion

  1. Accédez à la page Profils de connexion pour Datastream dans la Google Cloud Console.

    Accéder à la page Profils de connexion

  2. Cochez la case correspondant à chaque profil de connexion que vous souhaitez supprimer. Pour ce guide de démarrage rapide, cochez les cases My Source Connection Profile (Mon profil de connexion source) et My Destination Connection Profile (Mon profil de connexion de destination).

  3. Cliquez sur SUPPRIMER.

  4. Dans la boîte de dialogue, cliquez sur SUPPRIMER.

Supprimer votre bucket de destination Cloud Storage

  1. Accédez à la page Navigateur pour Cloud Storage dans la Google Cloud Console.

    Accéder à la page du navigateur

  2. Cochez la case située à gauche de votre bucket, puis cliquez sur SUPPRIMER.

  3. Dans la boîte de dialogue, saisissez DELETE dans le champ de texte, puis cliquez sur SUPPRIMER.

Étapes suivantes

Suivant
Implémenter Datastream et Dataflow pour l'analyse