Source de lot Redshift

Preview

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Cette page explique comment charger des données à partir d'une instance Amazon Redshift dans Google Cloud avec Cloud Data Fusion. Le connecteur source Redshift vous permet de synchroniser de votre ensemble de données Redshift vers votre destination, telles que dans BigQuery. Le connecteur vous permet également de créer une requête SQL configurable.

Avant de commencer

• Les versions Cloud Data Fusion 6.9.0 et ultérieures sont compatibles avec la source Redshift.

• Lorsque vous configurez le connecteur source Redshift, vous pouvez sélectionner un une connexion existante et réutilisable, ou créez une connexion ponctuelle. Pour en savoir plus, consultez la page Gérer les connexions. Lorsque vous réutilisez une connexion, tenez compte des points suivants :

  • Vous n'avez pas besoin de fournir d'identifiants.
  • La connexion existante fournit des informations sur le schéma et le nom de la table utilisée pour générer la requête d'importation.

Configurer le plug-in

1. Accéder à l'interface Web de Cloud Data Fusion puis cliquez sur Studio.

2. Vérifiez que Pipeline de données – lot est sélectionné (et non Temps réel).

3. Dans le menu Source, cliquez sur Redshift. Le nœud Redshift s'affiche dans votre pipeline. Si la source Redshift ne s'affiche pas sur la page Studio, déployez le connecteur de source Redshift à partir du hub Cloud Data Fusion.

4. Pour configurer la source, accédez au nœud Redshift et cliquez sur Propriétés.

5. Saisissez les propriétés suivantes. Pour obtenir la liste complète, consultez la section Propriétés.

   1. Saisissez un libellé pour le nœud Redshift, par exemple Redshift tables.

   2. Saisissez les informations de connexion. Vous pouvez configurer une nouvelle connexion unique, ou d'une connexion existante réutilisable.

      Nouvelle connexion

      Pour ajouter une connexion unique à Redshift, procédez comme suit:

      1. Laissez l'option Utiliser la connexion désactivée.
      2. Dans le champ Nom du pilote JDBC, saisissez le nom du pilote. Redshift prend en charge deux types de pilotes JDBC: CData et Amazon Pour en savoir plus, consultez la section Importer un pilote JDBC.
      3. Dans le champ Host (Hôte), saisissez le point de terminaison de Redshift. cluster (par exemple, cdf-redshift-new.example-endpoint.eu-west-1.redshift.amazonaws.com
      4. Facultatif: dans le champ Port, saisissez un port de base de données numérique (par exemple, 5439).

      5. Si votre base de données Redshift requiert une authentification, suivantes:

         1. Dans le champ Nom d'utilisateur, saisissez le nom de la base de données.
         2. Dans le champ Password (Mot de passe), saisissez le mot de passe de la base de données.
         3. Facultatif: dans le champ Arguments, saisissez des arguments de clé. Pour utiliser le pilote CData, fournissez les arguments de connexion, tels que RTK ou OEMKey, le cas échéant.
         4. Dans le champ Nom, saisissez un nom, par exemple SN-PC-Source-01-01-2024.
         5. Saisissez le nom de la base de données cible dans le champ Database (Base de données). , par exemple datafusiondb.

      Connexion réutilisable

      Pour réutiliser une connexion existante, procédez comme suit :

      1. Activez l'option Utiliser la connexion.
      2. Cliquez sur Parcourir les connexions.

      3. Cliquez sur le nom de la connexion.

         Remarque : Pour en savoir plus sur l'ajout, l'importation et la modification des connexions qui s'affichent lorsque vous parcourez les connexions, consultez la section Gérer les connexions.

      4. Facultatif : Si aucune connexion n'existe et que vous souhaitez en créer une réutilisable, cliquez sur Ajouter une connexion, puis suivez les étapes de l'onglet Nouvelle connexion de cette page.

   3. Dans le champ Requête d'importation, saisissez une requête à l'aide des noms de schéma et de table de votre source Redshift (par exemple, Select * from "public"."users").

   4. Facultatif : saisissez des propriétés avancées, telles qu'une requête de délimitation ou un nombre de fractionnements. Pour obtenir la description de toutes les propriétés, consultez la section Propriétés.

6. Facultatif: cliquez sur Valider et corrigez les erreurs détectées.

7. Cliquez sur  Fermer. Les propriétés sont enregistrées et vous pouvez continuer à créer votre pipeline de données dans l'interface Web Cloud Data Fusion.

Propriétés

Propriété	Compatible avec les macros pour l'automatisation	Propriété obligatoire	Description
Label	Non	Oui	Nom du nœud de votre pipeline de données.
Utiliser la connexion	Non	Non	Recherchez une connexion à la source. Si l'option Utiliser la connexion est activée, vous n'avez pas besoin de fournir d'identifiants.
Connexion	Oui	Oui	Nom de la connexion à utiliser. Si Utiliser la connexion est ce champ apparaît. Les informations sur la base de données et la table sont fournies par la connexion.
Nom du pilote JDBC	Oui	Oui	Nom du pilote JDBC à utiliser. Si l'option Utiliser la connexion n'est pas sélectionnée, ce champ s'affiche.
Organisateur	Oui	Oui	Point de terminaison du cluster Amazon Redshift. Si Utiliser la connexion n'est pas sélectionné. Ce champ apparaît.
Port	Oui	Non	Port sur lequel Redshift est exécuté. Si l'option Utiliser la connexion n'est pas sélectionnée, ce champ s'affiche.
Username (Nom d'utilisateur)	Oui	Non	Identité de l'utilisateur pour la connexion à la base de données spécifiée. Si l'option Utiliser la connexion n'est pas sélectionnée, ce champ s'affiche.
Mot de passe	Oui	Non	Mot de passe à utiliser pour se connecter à la base de données spécifiée. Si l'option Utiliser la connexion n'est pas sélectionnée, ce champ s'affiche.
Arguments de connexion	Oui	Non	Liste de paires clé-valeur de chaîne arbitraires en tant qu'arguments de connexion. Ces arguments sont transmis au pilote JDBC en tant que connexion pour les pilotes JDBC pouvant nécessiter des configurations supplémentaires. Si Utiliser la connexion n'est pas sélectionné. Ce champ apparaît.
Nom de référence	Non	Oui	Identifie cette source de manière unique pour la traçabilité, avec des annotations des métadonnées et d'autres services.
Database (Base de données)	Oui	Oui	Nom de la base de données Redshift. Pour sélectionner des données, cliquez sur Parcourir la base de données
Requête d'importation	Oui	Oui	La requête SELECT à utiliser pour importer des données à partir de tableau spécifié.
Requête de délimitation	Oui	Non	Requête SQL qui renvoie les valeurs minimale et maximale du champ splitBy. Exemple : SELECT MIN(id),MAX(id) FROM table. Facultatif si numSplits est défini sur un.
Diviser la colonne	Oui	Non	Nom du champ utilisé pour générer des divisions. Non obligatoire si numSplits est défini sur un.
Nombre de fractionnements	Oui	Non	Nombre de divisions à générer.
Size (Taille)	Oui	Non	Nombre de lignes à récupérer à la fois par fractionnement. Taille de récupération plus grande peut accélérer l'importation, en contrepartie d'une capacité de mémoire plus élevée sur l'utilisation de l'IA générative. Si non spécifié, la valeur par défaut est 1000.

Mappages des types de données

Le tableau suivant répertorie les types de données Redshift avec les types CDAP correspondants :

Type de données Redshift	Type de données du schéma CDAP
bigint	long
boolean	boolean
character	string
character varying	string
date	date
double precision	double
geometry	bytes
hllsketch	string
integer	int
json	string
numeric(précision, échelle)/decimal(précision, échelle)	decimal
numeric avec une précision de 0	string
real	float
smallint	int
super	string
text	string
time [ (p) ] sans fuseau horaire	time
time [ (p) ] avec fuseau horaire	string
timestamp [ (p) ] sans fuseau horaire	timestamp
timestamp [ (p) ] avec fuseau horaire	timestamp
varbyte	byte
xml	string

Bonnes pratiques

Les bonnes pratiques suivantes s'appliquent lorsque vous vous connectez à un cluster Redshift depuis Google Cloud.

Utiliser des listes d'autorisation d'adresses IP

Pour empêcher l’accès provenant de sources non autorisées et limiter l’accès à des adresses IP spécifiques des adresses IP, activez le contrôle des accès sur le cluster Redshift.

Si vous utilisez les contrôles d'accès Redshift, vous pouvez accéder au cluster Cloud Data Fusion, procédez comme suit:

1. Obtenez les adresses IP externes des services ou des machines sur Google Cloud qui doivent se connecter au cluster Redshift, comme l'adresse IP du serveur proxy (voir Afficher les adresses IP). Pour les clusters Dataproc, obtenez les adresses IP de tous les nœuds maîtres et enfants.

2. Ajoutez les adresses IP à une liste d'autorisation dans les groupes de sécurité en créant les règles entrantes pour les adresses IP des machines Google Cloud.

3. Ajoutez les propriétés de connexion dans Wrangler et testez-les :

   1. Ouvrez l'instance Cloud Data Fusion dans l'interface Web.
   2. Cliquez sur Wrangler > Ajouter une connexion, puis créez pour Redshift.
   3. Saisissez toutes les propriétés de connexion.
   4. Cliquez sur Tester la connexion et corrigez les problèmes éventuels.

Pour créer plusieurs divisions, utilisez des requêtes de délimitation.

Si vous avez plusieurs divisions, utilisez des requêtes de délimitation pour gérer le cluster multinœud. Dans les scénarios où vous extrayez des données de Redshift et distribuez la charge uniformément sur chaque nœud, configurez une requête de délimitation dans les propriétés du connecteur de source Redshift.

1. Dans votre pipeline Cloud Data Fusion, sur la page Studio, accédez à Nœud Redshift, puis cliquez sur Propriétés.

2. Dans les propriétés Avancé, spécifiez les éléments suivants :

   1. Saisissez le nombre de fractionnements à créer.
   2. Saisissez la taille de récupération pour chaque fractionnement.
   3. Saisissez une requête de délimitation à appliquer au cluster Redshift multinœud.
   4. Saisissez le nom du champ Diviser la colonne.

Par exemple, supposons que vous ayez le cas d'utilisation suivant:

• Une table contient 10 millions d'enregistrements.
• Il comporte une colonne d'identifiant unique appelée id.
• Le cluster Redshift comporte quatre nœuds.

• Objectif : Pour exploiter le potentiel du cluster, vous prévoyez de générer plusieurs divisions. Pour ce faire, utilisez les configurations de propriétés suivantes :

  • Dans le champ Requête de délimitation, saisissez la requête suivante :

    SELECT MIN(id), MAX(id) FROM tableName
    

    Dans cette requête, id est le nom de la colonne où les fractionnements sont appliqués.

  • Dans le champ Split column (Diviser la colonne), saisissez le nom de la colonne id.

  • Saisissez le nombre de divisions et la taille de récupération. Ces propriétés sont interconnectées, ce qui vous permet de calculer les fractionnements en fonction d'une taille de récupération ou inversement. Pour cet exemple, saisissez ce qui suit.

    Important : Une taille de récupération plus importante peut accélérer l'importation. Le compromis est l'utilisation accrue de la mémoire.

  • Dans le champ Nombre de fractionnements, saisissez 40. Dans cet exemple, où la table contient dix millions d'enregistrements, la création de 40 fractionnements entraîne chaque fractionnement contenant 250 000 enregistrements.

  • Dans le champ Taille de récupération, saisissez 250,000.

Remarque : Une requête de délimitation ne garantit pas une uniformité absolue. Certaines divisions peuvent contenir plus d'enregistrements, en fonction des valeurs de la colonne correspondante.

Étape suivante

• Parcourez les plug-ins Cloud Data Fusion.