Créer un flux

Présentation

Dans cette section, vous allez apprendre à créer un flux. Datastream utilise ce flux pour transférer des données depuis une base de données Oracle, MySQL, SQL Server (Preview) ou PostgreSQL source vers BigQuery ou Cloud Storage.

La création d'un flux comprend les éléments suivants :

• Définir les paramètres du flux.
• Sélectionnez le profil de connexion que vous avez créé pour votre base de données source Oracle, MySQL, SQL Server (Preview) ou PostgreSQL (profil de connexion source), ou créez un profil de connexion source si vous n'en avez pas encore créé un.
• Configurer des informations sur la base de données source du flux en spécifiant les tables et les schémas de la base de données source dans Datastream :
  • Transfert possible vers la destination.
  • Transfert restreint vers la destination.

• Déterminez si Datastream remplira les données de l'historique, diffusera les modifications en cours vers la destination ou ne diffusera que les modifications apportées aux données. Lorsque vous activez le remplissage des données de l'historique, vous pouvez éventuellement spécifier des schémas et des tables de base de données source que Datastream ne doit pas remplir dans la destination.

• Sélectionnez le profil de connexion que vous avez créé pour BigQuery ou Cloud Storage (profil de connexion de destination), ou créez un profil de connexion de destination si vous n'en avez pas encore créé un.

• Configuration des informations sur la destination du flux. Ces informations sont les suivantes :

  • Pour BigQuery :
    • Ensembles de données dans lesquels Datastream réplique les schémas, les tables et les données d'une base de données source.
  • Pour Cloud Storage :
    • Dossier du bucket de destination dans lequel Datastream transférera les schémas, les tables et les données d'une base de données source.

• Validez le flux pour vous assurer qu'il fonctionne correctement. Valider un flux consiste à vérifier :

  • Si la source est correctement configurée pour autoriser Datastream à diffuser des données à partir de celle-ci.

  • Si le flux peut se connecter à la source et à la destination.

  • La configuration de bout en bout du flux.

Datastream est fourni avec un assistant de création de flux. Cet assistant comprend six panneaux : "Premiers pas", "Définir et tester la source", "Configurer la source", "Définir la destination", "Configurer la destination", et "Vérifier et créer". Vous trouverez des informations pour le remplissage de chaque panneau dans les différentes sections de cette page.

Définir les paramètres du flux

1. Accédez à la page Flux de Google Cloud Console.

   Accéder à la page "Flux"

2. Cliquez sur CRÉER UN FLUX.

3. Utilisez le tableau suivant pour renseigner les champs de la section Définir les détails du flux de la page Créer un flux :

   Champ	Description
   Nom du flux	Saisissez le nom à afficher du flux.
   ID du flux	Datastream renseigne automatiquement ce champ en fonction du nom de flux saisi. Vous pouvez conserver l'ID généré automatiquement ou le modifier.
   Région	Sélectionnez la région dans laquelle le flux est stocké. Comme toutes les ressources, les flux sont enregistrés dans une région. La sélection de la région n'a aucune incidence sur la capacité de votre flux à se connecter à la base de données source ou à la destination, mais peut avoir un impact sur la disponibilité en cas de temps d'arrêt.
   Type de source	Sélectionnez le type de profil que vous avez spécifié lors de la création d'un profil de connexion pour une base de données source Oracle, MySQL, SQL Server (Preview) ou PostgreSQL. Si vous n'avez pas créé de profil de connexion pour la base de données source, vous pouvez le créer maintenant.
   Type de destination	Sélectionnez le type de profil que vous avez spécifié lors de la création d'un profil de connexion pour une destination BigQuery ou Cloud Storage. Si vous n'avez pas créé de profil de connexion pour la destination, vous pouvez le faire maintenant.
   Chiffrement	Par défaut, vos données sont chiffrées à l'aide d'une clé gérée par Google Cloud. Si vous souhaitez gérer votre chiffrement, vous pouvez utiliser une clé de chiffrement gérée par le client (CMEK): Les clés CMEK ne sont pas compatibles avec les sources SQL Server. Cochez la case Utiliser une CMEK. Dans le menu déroulant Sélectionner une CMEK, sélectionnez votre CMEK. Si vous ne voyez pas votre clé, cliquez sur SAISIR LE NOM DE LA RESSOURCE pour indiquer le nom de ressource de la clé que vous souhaitez utiliser. Par exemple, vous pouvez saisir projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key dans le champ Nom de la ressource de clé, puis cliquer sur ENREGISTRER. Lors de la création du flux, Datastream vérifie que la CMEK existe et que Datastream est autorisé à l'utiliser. Pour savoir comment créer une clé CMEK ou accorder des autorisations Datastream pour celle-ci, consultez Utiliser des clés de chiffrement gérées par le client (CMEK).

4. Vous pouvez également utiliser des libellés pour organiser vos ressources DataStream.

   1. Pour créer un libellé, cliquez sur AJOUTER UN LIBELLÉ, puis saisissez la paire clé-valeur du libellé.
   2. Pour supprimer le libellé, cliquez sur l'icône de corbeille à droite de la ligne correspondant au libellé.

5. Si vous le souhaitez, ajoutez des règles d'alerte pour votre flux. Les règles d'alerte définissent quand et comment vous souhaitez être informé des échecs de flux.

   1. Pour créer une règle d'alerte, cliquez sur Ajouter une règle d'alerte.
   2. La page Créer une règle d'alerte s'affiche dans Cloud Monitoring. Sur cette page, vous allez définir la règle d'alerte en cas d'échec de votre flux.

   Pour en savoir plus sur les règles d'alerte, consultez la page Gérer des règles d'alerte basées sur les métriques.

6. Passez en revue les conditions préalables générées automatiquement qui reflètent la façon dont l'environnement doit être préparé pour un flux. Ces conditions préalables peuvent inclure la configuration de la base de données source et la connexion de celle-ci à la destination. Il est préférable d'appliquer ces prérequis dès la présente étape, mais vous pouvez le faire à tout moment avant de tester le flux ou de le démarrer. Pour en savoir plus sur ces prérequis, consultez la section Sources.

7. Cliquez sur CONTINUER. Le panneau Définir le profil de connexion de la page Créer un flux s'affiche pour votre type de base de données source.

   Remarque : Si le type de votre base de données source est Oracle, le nom du panneau est Définir le profil de connexion Oracle. Si vous sélectionnez une autre base de données source, son nom apparaît dans le nom du panneau.

Spécifier des informations sur le profil de connexion source

1. Si vous avez créé un profil de connexion source pour Oracle, MySQL, SQL Server (Preview) ou PostgreSQL, sélectionnez-le dans la liste des profils de connexion.

   Si vous n'avez pas créé de profil de connexion source, créez-en un en cliquant sur CRÉER UN PROFIL DE CONNEXION en bas de la liste déroulante, puis suivez la même procédure que dans la section Créer des profils de connexion.

2. Cliquez sur RUN TEST (EXÉCUTER LE TEST) pour vérifier que la base de données source et Datastream peuvent communiquer entre eux.

   Si le test échoue, le problème associé au profil de connexion s'affiche. Consultez la page Diagnostiquer les problèmes pour connaître la procédure de dépannage. Apportez les modifications nécessaires pour corriger le problème, puis recommencez le test.

3. Cliquez sur CONTINUE (Continuer). Le panneau Configurer la source du flux de la page Créer un flux s'affiche.

Configurer les informations sur la base de données source du flux

Configurer la base de données source PostgreSQL

Si vous avez sélectionné PostgreSQL comme base de données source, vous devez définir ses propriétés de réplication.

1. Dans la section Propriétés de la réplication, spécifiez les propriétés suivantes :
   1. Dans le champ Nom de l'emplacement de réplication, saisissez le nom de l'emplacement que vous avez créé spécifiquement pour ce flux. Le serveur de base de données utilise cet emplacement pour envoyer des événements à Datastream.
   2. Dans le champ Nom de la publication, saisissez le nom de la publication que vous avez créée dans la base de données. Une publication est un groupe de toutes les tables dont vous souhaitez répliquer les modifications issues de ce flux.
2. Cliquez sur Continuer. Suivez la procédure décrite dans la section Configurer des bases de données sources ci-dessous.

Configurer des bases de données sources

1. Dans la section Sélectionner les objets à inclure, utilisez le menu déroulant Objets à inclure pour spécifier les tables et les schémas de la base de données source que Datastream peut transférer vers la destination.

   Si votre base de données contient plus de 5 000 objets,le menu ne parvient pas à charger la liste des tables et des schémas.
   1. Si vous souhaitez que Datastream transfère tous les schémas et toutes les tables, sélectionnez Toutes les tables de tous les schémas.

   2. Si vous souhaitez que Datastream ne transfère que des tables et des schémas spécifiques, sélectionnez Schémas et tables spécifiques, puis cochez les cases des schémas et des tables que Datastream doit extraire.

      Pour chaque schéma sélectionné, une case à cocher Tables futures s'affiche.

      • Si cette case est cochée, toutes les tables du schéma que vous ajoutez à la source après la création du flux seront automatiquement transférées vers la destination.
      • Si cette case n'est pas cochée, Datastream ne transfère plus de nouvelles tables pour le schéma de la source vers la destination une fois le flux créé.

      Par défaut, la case Tables futures est cochée pour chaque schéma.

      Un bouton SÉLECTIONNER DES COLONNES s'affiche pour chaque table de schéma sélectionnée. Cliquez sur ce bouton pour filtrer les colonnes de la table à exclure de l'insertion en flux continu de la source vers la destination. Toutes les colonnes que vous décochez seront exclues du flux.

      Par défaut, les cases de toutes les colonnes du tableau sont cochées.

   3. Si vous souhaitez fournir une définition textuelle des tables et des schémas que Datastream doit transférer, sélectionnez Personnalisé, puis, dans le champ Critères de correspondance des objets, saisissez les schémas et les tables que Datastream doit extraire.

      Si votre base de données contient un grand nombre de tables et de schémas, nous vous recommandons d'utiliser l'option Personnalisé, car il est possible que certaines tables et certains schémas ne figurent pas dans la liste des objets à extraire.

      Saisissez les schémas et les tables sous forme de liste d'éléments séparés par une virgule, en utilisant le format [schema].[table]. Le schéma et la table peuvent être des caractères génériques (astérisque). Vous ne pouvez pas utiliser de caractères génériques partiels.

      De plus, si Oracle est votre base de données source, les schémas et tables prédéfinis d'Oracle ne seront pas extraits dans la destination (sauf indication contraire).

2. Si vous le souhaitez, développez le nœud Sélectionner des objets à exclure. Dans le champ Objets à exclure, saisissez les tables et les schémas de la base de données source dont vous souhaitez empêcher l'extraction Datastream. La liste Objets à exclure prévaut sur la liste Objets à inclure. Si un objet répond aux critères des listes d'inclusion et d'exclusion, il est exclu du flux.

   Vous définissez ces schémas et ces tables avec la même logique de séparation par une virgule que celle à utiliser pour spécifier des schémas et des tables que Datastream doit extraire.
3. Si vous le souhaitez, développez le nœud Choisir un mode de remplissage pour les données d'historique, puis effectuez l'une des opérations suivantes :

   1. Sélectionnez l'option Automatique pour diffuser toutes les données existantes, en plus des modifications apportées aux données, de la source vers la destination.

      Dans le champ Objets exclus du remplissage automatique, saisissez les tables et les schémas de la base de données source pour lesquels vous souhaitez empêcher le remplissage des données dans la destination.

   2. Sélectionnez l'option Manuel pour diffuser uniquement les modifications apportées aux données de destination.

4. Cliquez sur CONTINUER. Le panneau Définir le profil de connexion de la page Créer un flux s'affiche pour votre type de destination.

   Remarque :Si le type de destination est BigQuery, le nom du panneau est Définir le profil de connexion BigQuery. Si le type de destination est Cloud Storage, le panneau Define Cloud Storage connection profile (Définir le profil de connexion Cloud Storage) s'affiche.

Sélectionner un profil de connexion de destination

1. Si vous avez créé un profil de connexion de destination, sélectionnez-le dans la liste des profils de connexion.

   Si vous n'avez pas créé de profil de connexion de destination, créez-en un en cliquant sur CRÉER UN PROFIL DE CONNEXION en bas de la liste déroulante, puis suivez la même procédure que dans la section Créer des profils de connexion.

2. Cliquez sur CONTINUE (Continuer). Le panneau Configurer la destination du flux de la page Créer un flux s'affiche.

Configurer les informations sur la destination du flux

Destination BigQuery

1. Sous Configurer la connexion de Datastream à BigQuery, indiquez comment Datastream doit diffuser des données dans un ensemble de données BigQuery. Sélectionnez l'une des options suivantes :

   • Ensemble de données pour chaque schéma: Datastream crée un ensemble de données BigQuery pour chaque schéma source, en fonction du nom du schéma.

     Si vous sélectionnez cette option, Datastream crée un ensemble de données dans le projet contenant le flux pour chaque schéma de la base de données source.

     En outre, lorsque vous sélectionnez l'option Ensemble de données pour chaque schéma:

     1. Dans le champ Emplacement, saisissez la région dans laquelle vous souhaitez créer l'ensemble de données.
     2. (Facultatif) Dans le champ Préfixe, définissez un préfixe pour l'ensemble de données créé par le flux. La chaîne que vous spécifiez est ajoutée au nom du schéma source. Par exemple, si le schéma s'appelle <mySchema> et que vous définissez le préfixe de l'ensemble de données sur <myPrefix>, Datastream crée un ensemble de données nommé <myPrefix><mySchema>.
     3. Spécifiez le mode de chiffrement de vos données dans BigQuery en sélectionnant une clé de chiffrement gérée par Google ou par le client.

   • Ensemble de données unique pour tous les schémas: Datastream crée toutes les tables de l'ensemble de données BigQuery existant que vous spécifiez. Chaque table créée par Datastream est nommée à l'aide d'une combinaison du nom du schéma source et du nom de la table, séparés par un trait de soulignement (par exemple, <mySchemaName>_<myTableName>).

2. Spécifier la limite d'obsolescence des données Sélectionnez une limite pour équilibrer les performances et le coût des requêtes BigQuery vis-à-vis de la fraîcheur des données. BigQuery applique les modifications en arrière-plan de manière continue ou au moment de l'exécution de la requête, en fonction de la limite d'obsolescence. Une obsolescence plus faible (des données plus récentes) peut augmenter les coûts de traitement de BigQuery.

   Si vous sélectionnez 0 minute, BigQuery renvoie toujours les résultats de requête en fonction des données les plus récentes. Cela entraîne le coût le plus élevé pour la requête.

3. Cliquez sur CONTINUER. Le panneau Vérifier les détails et créer le flux de la page Créer un flux s'affiche.

Destination dans Cloud Storage

1. Dans le champ Préfixe du chemin de flux, vous pouvez également saisir le dossier du bucket de destination dans lequel Datastream transférera des schémas, des tables et des données à partir d'une base de données source.

   Par exemple, si vous souhaitez que Datastream transfère les données de la base de données source vers le dossier /root/example du bucket de destination, saisissez /root/example dans le champ Préfixe du chemin de flux.

2. Dans le champ Format de sortie, choisissez le format des fichiers écrits dans Cloud Storage.

   Datastream est actuellement compatible avec deux formats de sortie : Avro et JSON.

3. Facultatif. Si vous sélectionnez le format JSON, deux cases à cocher s'affichent:

   1. Inclure un fichier de schéma de types unifiés dans le chemin d'accès au fichier : si vous cochez cette case, Datastream écrit deux fichiers dans Cloud Storage (un fichier de données JSON et un fichier de schéma Avro). Le fichier de schéma porte le même nom que le fichier de données, avec une extension .schema. Si vous ne cochez pas cette case, Datastream n'écrit que le fichier de données JSON dans Cloud Storage. Par défaut, cette case n'est pas cochée.
   2. Activer la compression gzip: si vous cochez cette case, Datastream utilise l'utilitaire gzip pour compresser les fichiers écrits par Datastream dans Cloud Storage. Si vous ne cochez pas cette case, Datastream écrit les fichiers dans Cloud Storage sans les compresser. Par défaut, cette case est cochée.

4. Cliquez sur CONTINUER. Le panneau Vérifier les détails et créer le flux de la page Créer un flux s'affiche.

Créer le flux

1. Vérifiez les détails du flux, ainsi que les profils de connexion source et de destination que le flux utilisera pour transférer des données depuis une base de données source vers une destination.

2. Cliquez sur RUN VALIDATION (LANCER LA VALIDATION) pour valider le flux. En validant un flux, Datastream vérifie que la source est correctement configurée, vérifie que le flux peut se connecter à la source et à la destination, et vérifie la configuration de bout en bout du flux.

   1. Si la base de données source est Oracle, Datastream effectue les vérifications suivantes :

      Vérification	Description
      Validité de la liste d'objets	Datastream vérifie que la liste d'exclusion n'est pas basée sur la liste d'inclusion.
      Connectivité du tunnel SSH de transfert	Datastream vérifie qu'il peut se connecter à un hôte bastion via un tunnel SSH de transfert.
      Connectivité à la base de données Oracle	Datastream vérifie qu'il peut se connecter à la base de données Oracle source.
      Autorisations d'utilisateur Oracle	Datastream vérifie que l'utilisateur qu'il utilise pour se connecter à la base de données source dispose de toutes les autorisations nécessaires pour récupérer les schémas, les tables et les données de la base de données afin que Datastream puisse diffuser ces informations dans la destination.
      Configuration du mode de journalisation	Datastream vérifie que le mode de journalisation pour la base de données Oracle est défini sur ARCHIVELOG.
      Configuration de la journalisation supplémentaire	Datastream vérifie que la journalisation supplémentaire est activée pour les tables de base de données qui sont insérées par flux depuis la source vers la destination.
      Configuration des fichiers journaux d'archive	Datastream vérifie que la journalisation des archives est configurée dans la source et que les fichiers journaux des archives sont bien présents.
      Autorisations Cloud Storage (pour les destinations Cloud Storage)	Datastream vérifie qu'il dispose des autorisations nécessaires pour écrire dans le bucket Cloud Storage de destination.

   2. Si votre base de données source est MySQL, Datastream effectue les vérifications suivantes :

      Vérification	Description
      Validité de la liste d'objets	Datastream vérifie que la liste d'exclusion n'est pas basée sur la liste d'inclusion.
      Connectivité du tunnel SSH de transfert	Datastream vérifie qu'il peut se connecter à un hôte bastion via un tunnel SSH de transfert.
      Connectivité à la base de données MySQL	Datastream vérifie qu'il peut se connecter à la base de données MySQL source.
      La journalisation binaire est activée	Datastream vérifie que les fichiers journaux binaires sont correctement configurés et que des fichiers journaux sont bien présents.
      Configuration du format des journaux binaires	Datastream vérifie que le format du journal binaire de la base de données MySQL est défini sur ROW.
      Autorisations de réplication	Datastream vérifie qu'il est autorisé à répliquer une base de données MySQL.
      Autorisations Cloud Storage (pour les destinations Cloud Storage)	Datastream vérifie qu'il dispose des autorisations nécessaires pour écrire dans le bucket Cloud Storage de destination.

   3. Si votre base de données source est PostgreSQL, Datastream effectue les vérifications suivantes:

      Vérifier	Description
      Connectivité à la base de données PostgreSQL	Datastream vérifie qu'il peut se connecter à la base de données PostgreSQL source.
      Le décodage logique est activé	Datastream vérifie que le paramètre wal_level de la base de données PostgreSQL est défini sur logical.
      Configuration de l'emplacement de réplication	Datastream vérifie si l'emplacement de réplication PostgreSQL existe et est actif, si Datastream dispose des autorisations nécessaires pour y accéder et s'il est configuré correctement.
      Configuration de la publication	Datastream vérifie que la publication existe et que les tables à répliquer pour le flux sont incluses dans la publication.
      Autorisations pour les annonces de remplissage	Datastream vérifie que les tables requises pour remplir les données historiques existent et qu'il dispose des autorisations nécessaires pour les lire.

   4. Si votre base de données source est SQL Server (Preview), Datastream effectue les vérifications suivantes:

      Vérifier	Description
      Édition SQL Server	Datastream vérifie que l'édition de la base de données SQL Server source est compatible. Pour en savoir plus sur les éditions compatibles, consultez la section Versions.
      Autorisations utilisateur SQL Server	Datastream vérifie que l'utilisateur dispose des autorisations nécessaires pour accéder à la base de données SQL Server source.
      La CDC SQL Server est activée	Datastream vérifie si la CDC est activée pour la base de données et toutes les tables incluses dans le flux.
      Validations de bases de données SQL Server	Datastream vérifie si la base de données source est correctement configurée, si toutes les exigences de réplication sont remplies et si les colonnes ne contiennent pas de types de données non compatibles.
      Autorisations Cloud Storage ou BigQuery	Datastream vérifie que l'utilisateur dispose des autorisations nécessaires pour écrire dans la destination.

   Si un test de validation est concluant, une icône de coche apparaît à gauche de celui-ci.

   Si un test de validation échoue, un point d'exclamation apparaît à gauche et un bouton AFFICHER LES DÉTAILS DE L'ERREUR apparaît sous le test. Cliquez sur le bouton afin d'afficher une fenêtre pop-up vous indiquant pourquoi la vérification a échoué avec des informations sur la procédure à suivre pour résoudre le problème. Après avoir effectué les corrections appropriées, cliquez sur REVALIDATE (REVALIDER).

   Pour en savoir plus sur le dépannage des tests de validation qui ne réussissent pas, consultez Diagnostiquer les problèmes.

3. Une fois tous les tests de validation réussis, cliquez sur CRÉER ET DÉMARRER pour créer le flux et le démarrer immédiatement, ou CRÉER pour créer le flux sans le démarrer immédiatement.

   Si vous ne démarrez pas le flux immédiatement, vous pouvez le démarrer sur la page Flux en cliquant sur DÉMARRER.

   Remarque : Le processus de création de flux peut entraîner une charge accrue sur la base de données source. Pour libérer cette charge, créez le flux sans le démarrer. Revenez ensuite à l'étape de démarrage lorsque la charge supplémentaire est tolérable.

Une fois le flux créé, vous pouvez en afficher des informations générales et détaillées.