Redshift

Le connecteur Redshift vous permet d'effectuer des opérations d'insertion, de suppression, de mise à jour et de lecture sur la base de données Redshift.

Avant de commencer

Avant d'utiliser le connecteur Redshift, effectuez les tâches suivantes :

• Dans votre projet Google Cloud :
  • Attribuez le rôle IAM roles/connectors.admin à l'utilisateur qui configure le connecteur.
  • Attribuez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le connecteur :
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Un compte de service est un compte Google spécial destiné à représenter un utilisateur non humain qui doit s'authentifier et obtenir les autorisations permettant d'accéder aux données des API Google. Si vous ne possédez pas de compte de service, vous devez en créer un. Pour plus d'informations, consultez la section Créer un compte de service.

  • Activez les services suivants :
    • secretmanager.googleapis.com (API Secret Manager)
    • connectors.googleapis.com (API Connectors)

    Pour savoir comment activer des services, consultez la page Activer des services.

  Si ces services ou autorisations n'ont pas encore été activés pour votre projet, vous êtes invité à les activer lors de la configuration du connecteur.

• Pour créer un cluster Redshift, consultez Démarrage rapide avec Redshift et Création d'un cluster Amazon Redshift. Pour en savoir plus sur la création d'une base de données Redshift, consultez Créer une base de données Redshift.
• Pour configurer une instance Redshift, consultez Configurer Redshift. Pour en savoir plus sur Redshift, consultez la présentation de la plate-forme Redshift.

Configurer le connecteur

Pour configurer le connecteur, vous devez créer une connexion à votre source de données (système backend). Une connexion est spécifique à une source de données. Cela signifie que si vous disposez de nombreuses sources de données, vous devez créer une connexion distincte pour chacune d'elles. Pour créer une connexion, procédez comme suit :

1. Dans la console Cloud, accédez à la page Integration Connectors > Connections (Connecteurs d'intégration > Connexions), puis sélectionnez ou créez un projet Google Cloud.

   Accéder à la page "Connexions"

2. Cliquez sur + CRÉER pour ouvrir la page Créer une connexion.
3. Dans la section Emplacement, choisissez l'emplacement de la connexion.
   1. Région : sélectionnez un emplacement dans la liste déroulante.

      Pour obtenir la liste de toutes les régions disponibles, consultez la page Emplacements.

   2. Cliquez sur NEXT (Suivant).
4. Dans la section Informations de connexion, procédez comme suit :
   1. Connecteur : sélectionnez Redshift dans la liste déroulante des connecteurs disponibles.
   2. Version du connecteur : sélectionnez la version du connecteur dans la liste déroulante des versions disponibles.
   3. Dans le champ Nom de connexion, saisissez un nom pour l'instance de connexion.

      Les noms de connexion doivent répondre aux critères suivants :

      • Les noms de connexion peuvent contenir des lettres, des chiffres ou des traits d'union.
      • Les lettres doivent être en minuscules.
      • Les noms de connexion doivent commencer par une lettre et se terminer par une lettre ou un chiffre.
      • Les noms de connexion ne peuvent pas dépasser 49 caractères.
   4. Saisissez éventuellement une Description pour l'instance de connexion.
   5. Vous pouvez également activer Cloud Logging, puis sélectionner un niveau de journalisation. Par défaut, le niveau de journalisation est défini sur Error.
   6. Compte de service : sélectionnez un compte de service disposant des rôles requis.
   7. Vous pouvez également configurer les paramètres du nœud de connexion :
      • Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
      • Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.

      Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter plus de transactions pour une connexion, plus de nœuds sont nécessaires. À l'inverse, moins de nœuds sont nécessaires pour traiter moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez la section Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour une meilleure disponibilité) et le nombre maximal sur 50.

   Remarque : Vous ne pouvez personnaliser les valeurs du nœud de connexion que si vous êtes un client facturé à l'usage.
   8. Base de données : nom de la base de données Amazon Redshift.
   9. Création automatique : indiquez "true" pour créer un utilisateur de base de données portant le nom spécifié pour l'utilisateur s'il n'en existe aucun lors de la connexion avec des identifiants IAM. Consultez la page "AuthScheme".
   10. Groupes DB : liste des noms d'un ou de plusieurs groupes de bases de données que l'utilisateur rejoint pour la session en cours, séparés par des virgules, lors de la connexion avec des identifiants IAM. Consultez la page "AuthScheme".
   11. BrowsableSchemas : cette propriété restreint les schémas signalés à un sous-ensemble des schémas disponibles. Par exemple, BrowsableSchemas=SchemaA,SchemaB,SchemaC.
   12. Schémas ignorés : filtre de restriction de visibilité utilisé pour masquer la liste des schémas par requête de métadonnées. Par exemple, "information_schema, pg_catalog". Les noms de schéma sont sensibles à la casse.
   13. Inclure les types de tables : si la valeur est "true", le fournisseur interroge les types de tables et de vues individuelles.
   14. Suppression des valeurs nulles : lorsque les valeurs nulles sont définies, elles sont supprimées des valeurs de caractère dans les opérations groupées.
   15. Visibilité : restrictions de visibilité permettant de filtrer les métadonnées exposées pour les tables disposant de droits accordés à l'utilisateur actuel. Par exemple, le filtre "SELECT,INSERT" ne limite la visibilité des métadonnées que pour les tables auxquelles l'utilisateur actuel peut accéder pour les opérations SELECT et INSERT. Les valeurs acceptées sont SELECT, INSERT, UPDATE, DELETE et REFERENCES.
   16. Utiliser un proxy : cochez cette case pour configurer un serveur proxy pour la connexion, et spécifiez les valeurs suivantes :
   • Schéma d'authentification du proxy : sélectionnez le type d'authentification pour l'authentification auprès du serveur proxy. Les types d'authentification suivants sont compatibles :
     • Basique : authentification HTTP de base.
     • Condensé : authentification HTTP par condensé.
   • Utilisateur du proxy : nom d'utilisateur à utiliser pour l'authentification auprès du serveur proxy.
   • Mot de passe du proxy : secret Secret Manager du mot de passe de l'utilisateur.
   • Type SSL du proxy : type SSL à utiliser lors de la connexion au serveur proxy. Les types d'authentification suivants sont compatibles :
     • Auto : paramètre par défaut. Dans le cas d'une URL HTTPS, l'option "Tunnel" est utilisée. Dans le cas d'une URL HTTP, l'option "JAMAIS" est utilisée.
     • Toujours : la connexion SSL est toujours activée.
     • Jamais : la connexion n'est pas activée pour SSL.
     • Tunnel : la connexion s'effectue via un proxy de tunnelisation. Le serveur proxy ouvre une connexion à l'hôte distant et le trafic transite par le proxy.
   • Dans la section Serveur proxy, saisissez les détails du serveur proxy.
     1. Cliquez sur + Ajouter une destination.
     2. Sélectionnez un type de destination.
        • Adresse de l'hôte : spécifiez le nom d'hôte ou l'adresse IP de la destination.

          Si vous souhaitez établir une connexion privée à votre système backend, procédez comme suit :

          • Créez un rattachement de service PSC.
          • Créez un rattachement de point de terminaison, puis saisissez les détails du rattachement de point de terminaison dans le champ Adresse de l'hôte.
   17. Vous pouvez également cliquer sur + AJOUTER UN LIBELLÉ pour ajouter un libellé à la connexion sous la forme d'une paire clé/valeur.
   18. Cliquez sur NEXT (Suivant).
5. Dans la section Destinations, saisissez les informations concernant l'hôte distant (système backend) auquel vous souhaitez vous connecter.
   1. Type de destination : sélectionnez un type de destination.
      • Sélectionnez Adresse hôte dans la liste pour spécifier le nom d'hôte ou l'adresse IP de la destination.
      • Si vous souhaitez établir une connexion privée à vos systèmes backend, sélectionnez Rattachement du point de terminaison dans la liste, puis sélectionnez le rattachement du point de terminaison requis dans la liste Rattachement du point de terminaison.
        Remarque : Pour savoir comment créer un rattachement du point de terminaison, consultez Rattachement de service PSC et Rattachement du point de terminaison. Une fois le rattachement du point de terminaison créé, il apparaît dans la liste Rattachement du point de terminaison.

      Si vous souhaitez établir une connexion publique à vos systèmes backend avec une sécurité supplémentaire, vous pouvez envisager de configurer des adresses IP sortantes statiques pour vos connexions, puis de configurer vos règles de pare-feu pour ajouter à la liste d'autorisation uniquement les adresses IP statiques spécifiques.

      Pour saisir d'autres destinations, cliquez sur + AJOUTER UNE DESTINATION.

   2. Cliquez sur NEXT (Suivant).
6. Dans la section Authentification, saisissez les informations d'authentification.
   1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.

      Les types d'authentification suivants sont compatibles avec la connexion Redshift :

      • Nom d'utilisateur et mot de passe

   Pour comprendre comment configurer ces types d'authentification, consultez la section Configurer l'authentification.

   2. Cliquez sur NEXT (Suivant).
7. Vérifiez vos informations de connexion et d'authentification.
8. Cliquez sur Créer.

Configurer l'authentification

Saisissez les détails en fonction de l'authentification que vous souhaitez utiliser.

• Nom d'utilisateur et mot de passe
  • Nom d'utilisateur : nom d'utilisateur du connecteur
  • Mot de passe : Secret de Secret Manager contenant le mot de passe associé au connecteur.

Exemples de configuration de connexion

Cette section présente des exemples de valeurs pour les différents champs que vous configurez lorsque vous créez la connexion Redshift.

Type de connexion d'authentification de base

Le tableau suivant présente des exemples de valeurs pour les différents champs que vous configurez lorsque vous créez la connexion Redshift.

Champ	Exemple de valeur
Région	us-central1
Connecteur	Connecteur Redshift
Version du connecteur	1
Nom du connecteur	google-cloud-redshiftdb-basicauth-conn
Compte de service	SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Base de données	dev
BrowsableSchemas	public,test
Groupes de bases de données	N/A
Supprimer les valeurs nulles	Oui
Visibilité	SELECT,INSERT
Nombre minimal de nœuds	02
Nombre maximal de nœuds	50
Adresse de l'hôte	redshift-cluster-xxx-integration.HOST_NAME.us-east-1.redshift.amazonaws.com
Authentification	Mot de passe utilisateur
Nom d'utilisateur	NOM D'UTILISATEUR
Mot de passe	MOT DE PASSE
Version	1

Entités, opérations et actions

Tous les connecteurs Integration Connectors fournissent une couche d'abstraction pour les objets de l'application connectée. Vous ne pouvez accéder aux objets d'une application que via cette abstraction. L'abstraction vous est présentée en tant qu'entités, opérations et actions.

Remarque : Vous pouvez afficher les entités, les opérations et les actions d'un connecteur dans la tâche Connecteurs.

• Entité : une entité peut être considérée comme un objet ou un ensemble de propriétés dans l'application ou le service connecté. La définition d'une entité diffère d'un connecteur à l'autre. Par exemple, dans un connecteur de base de données, les tables sont les entités, dans un connecteur de serveur de fichiers, les dossiers sont les entités et, dans un connecteur de système de messagerie, les files d'attente sont les entités.

  Toutefois, il est possible qu'un connecteur ne soit pas compatible ou ne possède aucune entité. Dans ce cas, la liste Entities est vide.

• Opération : une opération est l'activité que vous pouvez effectuer sur une entité. Vous pouvez effectuer l'une des opérations suivantes sur une entité :
  • Liste
  • Obtenir
  • Créer
  • Mettre à jour
  • Supprimer

  La sélection d'une entité dans la liste disponible génère une liste d'opérations disponibles pour l'entité. Pour obtenir une description détaillée des opérations, consultez les opérations d'entité de la tâche de connecteur. Toutefois, si un connecteur n'est pas compatible avec l'une des opérations d'entité, ces opérations non compatibles ne sont pas listées dans la liste Operations.

• Action : une action est une fonction de première classe mise à la disposition de l'intégration via l'interface du connecteur. Une action vous permet de modifier une ou plusieurs entités, et varie d'un connecteur à l'autre. Normalement, une action comporte des paramètres d'entrée et un paramètre de sortie. Toutefois, il est possible qu'un connecteur ne prenne en charge aucune action, auquel cas la liste Actions est vide.

Remarque : Toutes les entités et les actions seront associées à un schéma. Par exemple, un schéma d'action contient les détails des paramètres tels que les noms des paramètres et le type de données correspondant. Le schéma (métadonnées) des entités et des actions est récupéré par la connexion à partir de votre backend. En cas de mises à jour du schéma, elles ne sont pas automatiquement répercutée dans vos connexions existantes. vous devez actualiser le schéma manuellement. Pour actualiser le schéma d'une connexion, ouvrez la page Détails de la connexion de la connexion, puis cliquez sur Actualiser le schéma de connexion.

Limites du système

Le connecteur Redshift peut traiter trois transactions par seconde et par nœud, et limite les transactions au-delà de cette limite. Par défaut, les connecteurs d'intégration allouent deux nœuds (pour une meilleure disponibilité) à une connexion.

Pour en savoir plus sur les limites applicables à Integration Connectors, consultez la section Limites.

Remarque : Le nombre de nœuds de connecteurs d'intégration s'ajustera automatiquement de manière dynamique en fonction de votre utilisation. Toutefois, si vous souhaitez réserver de la capacité pour des volumes importants sans en attente de l'autoscaling, vous pouvez ajuster la valeur minimale du nombre de nœuds pour une connexion. Plus sont nécessaires pour traiter davantage de transactions pour une connexion. À l'inverse, moins de nœuds sont nécessaires si une connexion traite moins de transactions. Pour configurer les valeurs de nœud, procédez comme suit :

• Si vous êtes un client facturé à l'usage, configurez la valeur minimale et maximale des nœuds sur la page de modification de la connexion.
• Si vous disposez d'un abonnement client, contactez l'assistance.

Le nombre maximal de transactions qu'un nœud peut gérer dépend de plusieurs facteurs. Par conséquent, avant d'ajuster le nombre minimal de nœuds pour améliorer le débit, nous vous recommandons de vérifier si vos systèmes backend sont configurés de manière optimale pour gérer le trafic requis.

Exemples d'actions

Exemple – Déterminer la valeur la plus élevée

Cet exemple montre comment exécuter une fonction définie par l'utilisateur. find_greater dans cet exemple, compare deux entiers et renvoie le nombre entier le plus élevé.

1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
2. Sélectionnez l'action find_greater, puis cliquez sur OK.
3. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à la suivante dans le champ Default Value :

   {
   "$1": 1.0,
   "$2": 5.0
   }

Si l'exécution de l'action aboutit, l'état (connectorOutputPayload) de la tâche de connecteur aura une valeur semblable à celle-ci:

[{
"bignum": 5.0
}]

Exemples d'opérations sur les entités

Exemple : Lister les enregistrements d'une entité

Cet exemple liste les enregistrements de l'entité Users.

1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
2. Sélectionnez Users dans la liste Entity.
3. Sélectionnez l'opération List, puis cliquez sur OK.
4. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), vous pouvez définir le paramètre filterClause selon vos besoins.

   Par exemple, définir la clause de filtre sur employeeCode='5100' and startDate='2010-01-01 00:00:00' (affiche uniquement ces enregistrements) dont le codeemployee est 5100 et startDate est 2010-01-01 00:00:00.

Exemple : Obtenir un enregistrement unique à partir d'une entité

Cet exemple extrait un enregistrement de l'entité Users.

1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
2. Sélectionnez User dans la liste Entity.
3. Sélectionnez l'opération Get, puis cliquez sur OK.
4. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur entityId et puis saisissez 103032 dans le champ Default Value (Valeur par défaut).

   Ici, 103032 est la valeur de clé primaire de l'entité Users.

Exemple : Supprimer un enregistrement d'une entité

Cet exemple supprime un enregistrement de l'entité Users.

1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
2. Sélectionnez Users dans la liste Entity.
3. Sélectionnez l'opération Delete, puis cliquez sur OK.
4. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur entityId, puis saisissez 113132 dans le champ Default Value (Valeur par défaut).

   Si l'entité utilise des clés primaires composites au lieu de spécifier entityId, vous pouvez également Définissez la clause filterClause. Par exemple, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Exemple : Créer un enregistrement dans une entité

Cet exemple crée un enregistrement dans l'entité Users.

1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
2. Sélectionnez Users dans la liste Entity.
3. Sélectionnez l'opération Create, puis cliquez sur OK.
4. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à celle-ci dans la section Champ Default Value:

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }

Si l'intégration aboutit, le champ connectorOutputPayload de la tâche du connecteur contient la réponse de l'opération de création.

Exemple : Mettre à jour un enregistrement dans une entité

Cet exemple met à jour un enregistrement dans l'entité Users.

1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
2. Sélectionnez Users dans la liste Entity.
3. Sélectionnez l'opération Update, puis cliquez sur OK.
4. Dans la section Entrée de la tâche de la tâche Connecteurs, cliquez sur connectorInputPayload, puis saisissez une valeur semblable à la suivante dans le champ Default Value :

   {
   "country": "IN"
   }

5. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur entityId, puis saisissez 113132 dans le champ Default Value (Valeur par défaut).

   Si l'entité possède des clés primaires composites au lieu de spécifier l'entityId, vous pouvez également définir le filterClause. Par exemple, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Si l'intégration aboutit, le champ connectorOutputPayload de la tâche du connecteur contient la réponse de l'opération de mise à jour.

Utiliser Terraform pour créer des connexions

Vous pouvez utiliser la ressource Terraform pour créer une connexion.

Pour savoir comment appliquer ou supprimer une configuration Terraform, consultez la page Commandes Terraform de base.

Pour consulter un exemple de modèle Terraform permettant de créer une connexion, consultez l'exemple de modèle.

Lorsque vous créez cette connexion à l'aide de Terraform, vous devez définir les variables suivantes dans votre fichier de configuration Terraform:

Nom du paramètre	Type de données	Requis	Description
base de données	STRING	Vrai	Nom de la base de données Amazon Redshift.
browsable_schemas	STRING	Faux	Cette propriété limite les schémas signalés à un sous-ensemble des schémas disponibles. Par exemple, BrowsableSchemas=SchemaA,SchemaB,SchemaC.
db_groups	STRING	Faux	Liste des noms d'un ou de plusieurs groupes de base de données existants séparés par une virgule que l'utilisateur de la base de données rejoint pour la session en cours lorsqu'il se connecte à l'aide d'identifiants IAM. Consultez la page "AuthScheme".
ignored_schemas	STRING	Faux	Filtre de restriction de visibilité utilisé pour masquer la liste des schémas en envoyant des requêtes de métadonnées. Par exemple, "information_schema, pg_catalog". Les noms de schéma sont sensibles à la casse.
include_table_types	VALEUR BOOLÉENNE	Faux	Si la valeur est "true", le fournisseur interroge les types de tables et de vues individuelles.
strip_out_nulls	VALEUR BOOLÉENNE	Faux	Lorsque ce paramètre est défini, les caractères nuls sont supprimés des valeurs de caractères dans les opérations groupées.
visibility	STRING	Faux	Restrictions de visibilité permettant de filtrer les métadonnées exposées pour les tables disposant de droits accordés à l'utilisateur actuel. Par exemple, le filtre "SELECT,INSERT" ne limite la visibilité des métadonnées que pour les tables auxquelles l'utilisateur actuel peut accéder pour les opérations SELECT et INSERT. Les valeurs acceptées sont SELECT, INSERT, UPDATE, DELETE et REFERENCES.

Utiliser la connexion Redshift dans une intégration

Une fois la connexion créée, elle devient disponible à la fois Apigee Integration et Application Integration. Vous pouvez utiliser la connexion dans une intégration via la tâche Connecteurs.

• Pour comprendre comment créer et utiliser la tâche "Connecteurs" dans Apigee Integration, consultez la section Tâche Connecteurs.
• Pour découvrir comment créer et utiliser la tâche Connecteurs dans Application Integration, consultez la section Tâche Connecteurs.

Obtenir de l'aide auprès de la communauté Google Cloud

Vous pouvez publier vos questions et discuter de ce connecteur sur les forums Cloud de la communauté Google Cloud.

Étape suivante

• Découvrez comment suspendre et réactiver une connexion.
• Découvrez comment surveiller l'utilisation des connecteurs.
• Découvrez comment afficher les journaux de connecteur.