Diffusez les modifications apportées aux données en temps quasi réel avec Datastream

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Datastream API.

   Enable the API

7. Assurez-vous que le rôle "Administrateur Datastream" est attribué à votre compte utilisateur.

   Accéder à la page IAM

Si vous souhaitez créer une configuration de connectivité privée pour un réseau VPC standard ou partagé, vous devez remplir des conditions préalables supplémentaires. Pour en savoir plus, consultez la section Créer une configuration de connectivité privée.

Conditions requises

Datastream propose diverses options de source, des options de destination et des méthodes de connectivité réseau.

Dans ce guide de démarrage rapide, nous partons du principe que vous utilisez une base de données Oracle autonome et un service Cloud Storage de destination. Pour la base de données source, vous devriez pouvoir configurer votre réseau pour ajouter une règle de pare-feu entrante. La base de données source peut être sur site ou chez un fournisseur cloud. Comme la destination est Cloud Storage, elle doit se trouver chez le fournisseur cloud de Google.

Ne connaissant pas les spécificités de votre environnement, nous ne pouvons pas fournir de procédure détaillée pour la configuration de votre réseau.

Pour ce guide de démarrage rapide, vous allez sélectionner la méthode de connectivité Liste d'autorisation d'adresses IP. La liste d'autorisation d'adresses IP est une fonctionnalité de sécurité souvent utilisée pour limiter et contrôler l'accès des utilisateurs de confiance aux données de votre base de données source. Les listes d'autorisation d'adresses IP vous permettent de créer des listes d'adresses IP ou de plages d'adresses IP approuvées à partir desquelles vos utilisateurs et d'autres services Cloud tels que Datastream peuvent accéder à ces données. Pour utiliser les listes d'autorisation d'adresses IP, vous devez ouvrir la base de données ou le pare-feu source aux connexions entrantes de Datastream.

Créer des profils de connexion

En créant des profils de connexion pour une base de données source et une destination, vous créez des enregistrements contenant des informations sur la source et la destination.

Dans ce guide de démarrage rapide, vous allez sélectionner Oracle comme type de profil pour votre profil de connexion source et Cloud Storage comme type de profil pour votre profil de connexion de destination. Datastream utilise les informations des profils de connexion pour migrer les données de la base de données Oracle source vers un bucket de destination dans Cloud Storage.

Créer un profil de connexion source pour la base de données Oracle

1. Accédez à la page Profils de connexion pour Datastream dans la Google Cloud Console.

   Accéder à la page Profils de connexion

2. Cliquez sur CRÉER UN PROFIL.

3. Sur la page Créer un profil de connexion, cliquez sur le type de profil Oracle, car vous souhaitez créer un profil de connexion source pour la base de données Oracle.

4. Indiquez les informations suivantes dans la section Définir les paramètres de connexion de la page Créer un profil Oracle :

   • Saisissez My Source Connection Profile comme Nom du profil de connexion pour votre base de données source.
   • Conservez l'ID du profil de connexion généré automatiquement.

   • Sélectionnez la région dans laquelle le profil de connexion sera stocké.

     Comme toutes les ressources, les profils de connexion sont enregistrés dans une région, et un flux ne peut utiliser que des profils de connexion stockés dans la même région que le flux. La sélection de la région n'a aucune incidence sur la capacité de Datastream à se connecter à la source ou à la destination, mais peut avoir un impact sur la disponibilité en cas de temps d'arrêt.

   • Saisissez les informations sur la connexion :

     • Dans le champ Hostname or IP (Nom d'hôte ou adresse IP), saisissez un nom d'hôte ou une adresse IP publique que Datastream peut utiliser pour se connecter à la base de données Oracle source. Vous fournissez une adresse IP publique, car la liste d'autorisation d'adresses IP sera utilisée comme méthode de connectivité réseau pour ce guide de démarrage rapide.
     • Dans le champ Port, saisissez le numéro de port réservé à la base de données source. Pour une base de données Oracle, le port par défaut est généralement 1521.
     • Saisissez un nom d'utilisateur et un mot de passe pour vous authentifier auprès de votre base de données source.
     • Dans le champ Identifiant du système (SID), saisissez le SID ou le nom du service qui identifie l'instance de base de données. Pour les bases de données Oracle, il s'agit généralement de ORCL.

5. Dans la section Définir les paramètres de connexion, cliquez sur CONTINUER. La section Définir une méthode de connectivité de la page Créer un profil Oracle est active.

6. Choisissez la méthode de mise en réseau que vous souhaitez utiliser pour établir la connectivité entre Datastream et la base de données source. Pour ce guide de démarrage rapide, sélectionnez la méthode de mise en réseau Liste d'autorisation d'adresses IP dans le menu déroulant Méthode de connectivité.

7. Configurez votre base de données source pour autoriser les connexions entrantes en provenance des adresses IP publiques Datastream qui s'affichent.

8. Dans la section Définir la méthode de connectivité, cliquez sur CONTINUER. La section Tester le profil de connexion de la page Créer un profil Oracle est active.

9. Cliquez sur RUN TEST (EXÉCUTER LE TEST) pour vérifier que la base de données source Oracle et Datastream peuvent communiquer entre eux.

10. Vérifiez que l'état "Test réussi" s'affiche.

11. Si le test échoue, vous pouvez résoudre le problème dans la partie appropriée du flux, puis effectuer un nouveau test. Consultez la page Diagnostiquer les problèmes pour connaître la procédure de dépannage.

12. Cliquez sur CRÉER.

Créer un profil de connexion de destination pour Cloud Storage

1. Accédez à la page Profils de connexion pour Datastream dans la Google Cloud Console.

   Accéder à la page Profils de connexion

2. Cliquez sur CRÉER UN PROFIL.

3. Sur la page Créer un profil de connexion, cliquez sur le type de profil Cloud Storage, car vous souhaitez créer un profil de connexion de destination pour Cloud Storage.

4. Indiquez les informations ci-dessous sur la page Créer un profil Cloud Storage :

   • Saisissez My Destination Connection Profile comme Nom du profil de connexion pour votre service Cloud Storage de destination.
   • Conservez l'ID du profil de connexion généré automatiquement.
   • Sélectionnez la région dans laquelle le profil de connexion sera stocké.
   • Dans le volet Détails de la connexion, cliquez sur PARCOURIR.

   • Dans le volet Sélectionner un bucket, sélectionnez le bucket de destination Cloud Storage vers lequel Datastream transférera les données de la base de données source, puis cliquez sur SÉLECTIONNER.

     Le bucket apparaît dans le champ Nom du bucket de la page Créer un profil Cloud Storage.

     Remarque : Si vous ne voyez pas de bucket que vous souhaitez sélectionner, vous pouvez en créer un.

   • Dans le champ Préfixe du chemin d'accès au profil de connexion, vous pouvez éventuellement fournir un préfixe pour le chemin qui sera ajouté au nom du bucket lorsque Datastream transférera des données vers la destination.

     Remarque : Le chemin d'accès que vous saisissez dans ce champ doit commencer par une barre oblique (/).

5. Cliquez sur CREATE (CRÉER).

Après avoir créé un profil de connexion source pour la base de données Oracle et un profil de connexion de destination pour Cloud Storage, vous pouvez utiliser ces profils pour créer un flux.

Créer un flux

Dans cette section, vous allez créer un flux. Datastream utilise ce flux pour transférer des données depuis une base de données Oracle source vers un bucket de destination dans Cloud Storage.

La création d'un flux comprend les éléments suivants :

• Définir les paramètres du flux.
• Sélectionnez le profil de connexion que vous avez créé pour votre base de données source (profil de connexion source). Pour ce guide de démarrage rapide, il s'agit de Mon profil de connexion source.
• Configurez des informations sur la base de données source du flux en spécifiant les tables et les schémas de la base de données source dans Datastream :
  • Transfert possible vers la destination.
  • Transfert restreint vers la destination.
• Déterminez si Datastream remplira les données de l'historique, diffusera les modifications en cours dans la destination ou ne diffusera que les modifications apportées aux données.
• Sélectionnez le profil de connexion que vous avez créé pour Cloud Storage (le profil de connexion de destination). Pour ce guide de démarrage rapide, il s'agit de Mon profil de connexion de destination.
• Configurer des informations sur le bucket de destination du flux. Ces informations comprennent :
  • Le dossier du bucket de destination dans lequel Datastream transférera les schémas, les tables et les données de la base de données source Oracle.
  • Format de sortie des fichiers écrits dans Cloud Storage. Datastream accepte actuellement deux formats de sortie : Avro et JSON. Dans ce guide de démarrage rapide, le format de fichier est Avro.

Datastream est fourni avec un assistant de création de flux. Cet assistant comprend six panneaux : "Premiers pas", "Définir et tester la source", "Configurer la source", "Définir la destination", "Configurer la destination", et "Vérifier et créer". Vous trouverez des informations pour le remplissage de chaque panneau dans les différentes sections de cette page.

Définir les paramètres du flux

1. Accédez à la page Flux de Datastream dans Google Cloud Console.

   Accéder à la page "Flux"

2. Cliquez sur CRÉER UN FLUX.

3. Indiquez les informations suivantes dans le panneau Définir les détails du flux de la page Créer un flux :

   • Saisissez My Stream comme nom de flux.
   • Conservez l'ID de flux généré automatiquement.
   • Dans le menu Région, sélectionnez la région dans laquelle vous avez créé votre profil de connexion source.
   • Dans le menu Source type (Type de source), sélectionnez le type de profil Oracle.
   • Dans le menu Type de destination, sélectionnez le type de profil Cloud Storage.

4. Passez en revue les conditions préalables requises qui sont générées automatiquement afin de refléter la façon dont votre environnement doit être préparé pour un flux. Ces prérequis peuvent inclure la configuration de la base de données source et la connexion de Datastream au bucket de destination dans Cloud Storage.

   Pour en savoir plus sur ces prérequis, consultez Configurer une base de données Oracle source.

5. Cliquez sur CONTINUER. Le panneau Définir un profil de connexion Oracle de la page Créer un flux s'affiche.

Spécifier des informations sur le profil de connexion source

1. Dans le menu Profil de connexion source, sélectionnez votre profil de connexion source pour la base de données Oracle.

2. Cliquez sur RUN TEST (EXÉCUTER LE TEST) pour vérifier que la base de données source et Datastream peuvent communiquer entre eux.

   Si le test échoue, le problème associé au profil de connexion s'affiche. Consultez la page Diagnostiquer les problèmes pour connaître la procédure de dépannage. Apportez les modifications nécessaires pour corriger le problème, puis recommencez le test.

3. Cliquez sur CONTINUE (Continuer). Le panneau Configurer la source du flux de la page Créer un flux s'affiche.

Configurer les informations sur la base de données source du flux

1. Utilisez le menu Objets à inclure pour spécifier les tables et les schémas de votre base de données source que Datastream peut transférer vers un dossier du bucket de destination dans Cloud Storage. Le menu ne se charge que si votre base de données contient au maximum 5 000 objets.

   Pour ce guide de démarrage rapide, vous souhaitez que Datastream transfère toutes les tables et tous les schémas. Par conséquent, sélectionnez Toutes les tables de tous les schémas dans le menu.

   Pour ce guide de démarrage rapide, assurez-vous que le panneau Sélectionner les objets à exclure est défini sur "Aucun". Vous ne souhaitez pas empêcher Datastream de transférer les tables et les schémas de votre base de données source vers Cloud Storage.

   Assurez-vous également que le panneau Sélectionner le mode de remplissage pour les données historiques est défini sur "Automatique". Datastream diffuse toutes les données existantes, en plus des modifications apportées aux données, de la source vers la destination.

2. Cliquez sur CONTINUER. Le panneau Définir un profil de connexion Cloud Storage de la page Créer un flux s'affiche.

Sélectionner un profil de connexion de destination

1. Dans le menu Profil de connexion de destination, sélectionnez votre profil de connexion de destination pour Cloud Storage.

2. Cliquez sur CONTINUER. Le panneau Configurer la destination du flux de la page Créer un flux s'affiche.

Configurer les informations sur la destination du flux

1. Dans le champ Préfixe du chemin d'accès du flux, saisissez le dossier du bucket de destination dans lequel Datastream transférera les schémas, les tables et les données d'une base de données Oracle source.

   Pour ce guide de démarrage rapide, vous souhaitez que Datastream transfère les données de la base de données source vers le dossier /root/tutorial du bucket de destination de Cloud Storage. Par conséquent, saisissez /root/tutorial dans le champ Préfixe du chemin de flux.

2. Dans le champ Format de sortie, sélectionnez le format des fichiers écrits dans Cloud Storage. Dans ce guide de démarrage rapide, le format de fichier est Avro.

3. Cliquez sur CONTINUER. Le panneau Vérifier les détails et créer le flux de la page Créer un flux s'affiche.

Créer le flux

1. Vérifiez les détails du flux, ainsi que les profils de connexion source et de destination qu'il utilisera pour transférer les données d'une base de données Oracle source vers un bucket de destination dans Cloud Storage.

2. Cliquez sur RUN VALIDATION (LANCER LA VALIDATION) pour valider le flux. En validant un flux, Datastream vérifie que la source est correctement configurée, vérifie que le flux peut se connecter à la source et à la destination, et vérifie la configuration de bout en bout du flux.

   Si un test de validation est concluant, une icône de coche apparaît à gauche de celui-ci.

   Si un test de validation échoue, un point d'exclamation apparaît à gauche et un bouton AFFICHER LES DÉTAILS DE L'ERREUR apparaît sous le test. Cliquez sur le bouton afin d'afficher une fenêtre pop-up vous indiquant pourquoi la vérification a échoué avec des informations sur la procédure à suivre pour résoudre le problème. Après avoir effectué les corrections appropriées, cliquez sur REVALIDATE (REVALIDER).

   Pour en savoir plus sur le dépannage des tests de validation qui ne réussissent pas, consultez Diagnostiquer les problèmes.

3. Une fois tous les tests de validation effectués, cliquez sur CRÉER.

4. Dans la boîte de dialogue Créer un flux ?, cliquez sur CRÉER.

Une fois la diffusion créée, vous pouvez la démarrer.

Démarrer le flux

Dans la section précédente du guide de démarrage rapide, vous avez créé un flux sans l'avoir démarré. Vous pouvez le faire maintenant.

Dans ce guide de démarrage rapide, vous allez créer et démarrer un flux séparément, au cas où le processus de création de flux augmenterait la charge sur votre base de données source. Pour éliminer cette charge, créez le flux sans le démarrer, puis démarrez-le lorsque la charge peut être engagée.

En démarrant le flux, Datastream peut transférer des données, des schémas et des tables de la base de données source vers la destination.

1. Accédez à la page Flux de Datastream dans Google Cloud Console.

   Accéder à la page "Flux"

2. Cochez la case située à gauche du flux que vous souhaitez démarrer. Pour ce guide de démarrage rapide, il s'agit de Mon flux.

3. Cliquez sur DÉMARRER.

4. Dans la boîte de dialogue, cliquez sur DÉMARRER. L'état du flux passe de Not started à Starting, puis à Running.

   Un délai d'environ 30 secondes est nécessaire pour que la diffusion commence. Les ressources en arrière-plan doivent démarrer pour que le flux puisse démarrer.

Après avoir démarré un flux, vous pouvez vérifier que Datastream a transféré les données de la base de données source vers la destination.

Vérifier le flux

Dans cette section, vous vérifiez que Datastream transfère les données de toutes les tables de votre base de données Oracle source dans le dossier /root/tutorial de votre bucket de destination Cloud Storage.

1. Accédez à la page Flux de Datastream dans Google Cloud Console.

   Accéder à la page "Flux"

2. Cliquez sur le flux que vous avez créé. Pour ce guide de démarrage rapide, il s'agit de Mon flux.

3. Sur la page Détails du flux, cliquez sur le lien qui s'affiche sous le champ Chemin d'écriture de la destination. La page Informations sur le bucket de Cloud Storage s'ouvre dans un onglet distinct.

   Remarque :Le lien sur lequel vous cliquez comprend le nom de votre bucket et le dossier de ce bucket dans lequel Datastream a transféré les schémas, les tables et les données de votre base de données Oracle source. Vous avez spécifié que ce dossier était /root/tutorial lorsque vous avez configuré les informations sur le profil de connexion de destination pour votre flux. Le lien devrait donc apparaître sous la forme [nom-bucket]/root/tutorial.

4. Vérifiez que vous voyez des dossiers représentant des tables de votre base de données Oracle source.

5. Cliquez sur l'un des dossiers de la table et accédez aux données associées.

   Le premier dossier est [schema]_[table], suivi de dossiers qui représentent l'année, le mois, le jour, l'heure et la minute pendant lesquels Datastream a transféré les données de la base de données Oracle source vers un bucket de destination dans Cloud Storage.

   Un dossier est créé chaque minute (lorsque de nouvelles données sont à écrire).

   Un fichier est créé lorsque la taille du fichier atteint 250 Mo ou lorsqu'un schéma est modifié. Si les tables sont partitionnées, des fichiers sont créés pour chaque partition.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

1. Utilisez la console Google Cloud pour supprimer votre projet, vos profils de connexion et de flux Datastream, ainsi que le bucket de destination Cloud Storage.

Si vous nettoyez les ressources que vous avez créées dans Datastream, elles ne seront plus comptabilisées dans votre quota et ne vous seront plus facturées. Dans les sections suivantes, nous allons voir comment supprimer ou désactiver ces ressources.

Supprimer votre projet

Le moyen le plus simple d'empêcher la facturation est de supprimer le projet que vous avez créé pour ce guide de démarrage rapide.

La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour ce guide de démarrage rapide et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs tutoriels et guides de démarrage rapide, vous pouvez constater que réutiliser des projets peut vous aider à éviter de dépasser les limites de quotas des projets.

1. Dans Cloud Console, accédez à la page Gérer les ressources :

   Accéder à la page Gérer les ressources

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.

3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Supprimer le flux

1. Accédez à la page Flux de Datastream dans Google Cloud Console.

   Accéder à la page "Flux"

2. Cliquez sur le flux que vous souhaitez supprimer. Pour ce guide de démarrage rapide, il s'agit de Mon flux.

3. Cliquez sur METTRE EN VEILLE.

4. Dans la boîte de dialogue, cliquez sur METTRE EN VEILLE.

5. Dans le volet État du flux de la page Détails du flux, vérifiez que l'état du flux est Paused.

   Remarque : Mettez le flux en veille avant de le supprimer pour vous assurer que toutes les données en cours de transfert ont été correctement transférées de la base de données source vers la destination.

6. Cliquez sur SUPPRIMER.

7. Dans la boîte de dialogue, saisissez Delete dans le champ de texte, puis cliquez sur SUPPRIMER.

Supprimer les profils de connexion

1. Accédez à la page Profils de connexion pour Datastream dans la Google Cloud Console.

   Accéder à la page Profils de connexion

2. Cochez la case correspondant à chaque profil de connexion que vous souhaitez supprimer. Pour ce guide de démarrage rapide, cochez les cases My Source Connection Profile (Mon profil de connexion source) et My Destination Connection Profile (Mon profil de connexion de destination).

3. Cliquez sur SUPPRIMER.

4. Dans la boîte de dialogue, cliquez sur SUPPRIMER.

Supprimer votre bucket de destination Cloud Storage

1. Accédez à la page Navigateur pour Cloud Storage dans la Google Cloud Console.

   Accéder à la page du navigateur

2. Cochez la case située à gauche de votre bucket, puis cliquez sur SUPPRIMER.

3. Dans la boîte de dialogue, saisissez DELETE dans le champ de texte, puis cliquez sur SUPPRIMER.

Étapes suivantes

• En savoir plus sur Datastream.
• Testez d'autres fonctionnalités de Google Cloud. Consultez nos guides de démarrage rapide.