Migrer des données depuis Amazon Redshift

Aperçu

Ce document décrit le processus de migration des données depuis Amazon Redshift vers BigQuery via des adresses IP publiques.

Si vous souhaitez transférer des données de votre instance Redshift via un cloud privé virtuel (VPC), sur des adresses IP privées, consultez la page Migrer des données Amazon Redshift avec VPC.

Le service de transfert de données BigQuery vous permet de copier vos données d'un entrepôt de données Amazon Redshift vers BigQuery. Le service engagera les agents de migration dans GKE et déclenchera une opération de déchargement depuis Amazon Redshift vers une zone intermédiaire de compartiment dans un bucket Amazon S3. Ensuite, le service de transfert de données BigQuery transférera vos données du bucket Amazon S3 vers BigQuery.

Ce schéma montre la circulation globale des données lors de la migration entre un entrepôt de données Amazon Redshift et un entrepôt BigQuery.

Avant de commencer

Cette section décrit le processus détaillé de configuration d'une migration de données depuis Amazon Redshift vers BigQuery. Voici la procédure à suivre :

  • Conditions requises pour GCP : respecter les conditions préalables et définir des autorisations sur Google Cloud.
  • Accordez l'accès à votre cluster Amazon Redshift.
  • Accordez l'accès à votre bucket Amazon S3 que vous utiliserez pour préparer temporairement les données. Prenez note de la paire de clés d'accès à utiliser ultérieurement.
  • Configurez la migration avec le service de transfert de données BigQuery. Vous avez alors besoin de :
    • L'URL JDBC Amazon Redshift. Suivez ces instructions pour obtenir l'URL JDBC.
    • Le nom d'utilisateur et le mot de passe de votre base de données Amazon Redshift.
    • La paire de clés d'accès AWS obtenue à l'étape Accorder l'accès à votre bucket S3.
    • L'URI du bucket Amazon S3. Nous vous recommandons de configurer une règle de cycle de vie pour ce bucket afin d'éviter des frais inutiles. La durée d'expiration recommandée est 24 heures pour laisser suffisamment de temps à toutes les données pour être transférées vers BigQuery.

Autorisations requises

Avant de créer un transfert Amazon Redshift :

  1. Assurez-vous que la personne qui crée le transfert dispose des autorisations requises suivantes dans BigQuery :

    • Autorisations bigquery.transfers.update pour créer le transfert
    • Autorisations bigquery.datasets.update sur l'ensemble de données cible

    Le rôle Cloud IAM prédéfini bigquery.admin inclut les autorisations bigquery.transfers.update et bigquery.datasets.update. Pour en savoir plus sur les rôles Cloud IAM dans le cadre du service de transfert de données BigQuery, consultez la documentation de référence sur le contrôle des accès.

  2. Consultez la documentation d'Amazon S3 pour vous assurer que vous avez configuré toutes les autorisations nécessaires pour activer le transfert. Au minimum, la stratégie AWS gérée AmazonS3ReadOnlyAccess doit être appliquée aux données sources Amazon S3.

Exigences de Google Cloud

Pour assurer la réussite de la migration de l'entrepôt de données Amazon Redshift, assurez-vous de respecter les conditions préalables suivantes sur Google Cloud.

  1. Sélectionnez ou créez un projet Google Cloud pour stocker vos données de migration.

    • Dans Cloud Console, accédez à la page de sélection du projet.

      Accéder à la page de sélection du projet

    • Sélectionnez ou créez un projet Cloud.

  2. Activez l'API du service de transfert de données BigQuery.

    Dans Google Cloud Console, cliquez sur le bouton Activer de la page API de service de transfert de données BigQuery.

    Activer une API

    BigQuery est automatiquement activé dans les nouveaux projets. Pour un projet existant, vous devrez peut-être activer l'API BigQuery. Une coche verte indique que vous avez déjà activé l'API.

    API activée

  3. Créez un ensemble de données BigQuery pour stocker vos données. Vous n'avez pas besoin de créer de tables.

  4. Autorisez les fenêtres pop-up de bigquery.cloud.google.com dans votre navigateur pour pouvoir afficher la fenêtre des autorisations lorsque vous configurez le transfert. Vous devez autoriser le service de transfert de données BigQuery à gérer le transfert.

Accorder l'accès à votre cluster Amazon Redshift

Suivez les instructions d'Amazon pour ajouter les adresses IP suivantes à la liste blanche. Vous pouvez y ajouter les adresses IP qui correspondent à l'emplacement de votre ensemble de données ou y ajouter les adresses IP de la table suivante. Les adresses IP suivantes qui appartiennent à Google sont réservées aux migrations de données Amazon Redshift.

Zones régionales

Description de la région Nom de la région Adresses IP
Amériques
Virginie du Nord us-east4 35.245.95.250
35.245.126.228
35.236.225.172
35.245.86.140
35.199.31.35
35.199.19.115
35.230.167.48
35.245.128.132
35.245.111.126
35.236.209.21
Salt Lake City us-west3 34.106.37.58
34.106.85.113
34.106.28.153
34.106.64.121
34.106.246.131
34.106.56.150
34.106.41.31
34.106.182.92
Europe
Finlande europe-north1 35.228.35.94
35.228.183.156
35.228.211.18
35.228.146.84
35.228.103.114
35.228.53.184
35.228.203.85
35.228.183.138
Londres europe-west2 35.189.119.113
35.189.101.107
35.189.69.131
35.197.205.93
35.189.121.178
35.189.121.41
35.189.85.30
35.197.195.192
Zurich europe-west6 34.65.205.160
34.65.121.140
34.65.196.143
34.65.9.133
34.65.156.193
34.65.216.124
34.65.233.83
34.65.168.250
Asie-Pacifique
Singapour asia-southeast1 34.87.12.235
34.87.63.5
34.87.91.51
35.198.197.191
35.240.253.175
35.247.165.193
35.247.181.82
35.247.189.103
Sydney australia-southeast1 35.189.33.150
35.189.38.5
35.189.29.88
35.189.22.179
35.189.20.163
35.189.29.83
35.189.31.141
35.189.14.219
Tokyo asia-northeast1 34.85.11.246
34.85.30.58
34.85.8.125
34.85.38.59
34.85.31.67
34.85.36.143
34.85.32.222
34.85.18.128
34.85.23.202
34.85.35.192

Zones multirégionales

Description de l'emplacement multirégional Nom de l'emplacement multirégional Adresses IP
Centres de données dans les États membres de l'Union européenne 1 EU 34.76.156.158
34.76.156.172
34.76.136.146
34.76.1.29
34.76.156.232
34.76.156.81
34.76.156.246
34.76.102.206
34.76.129.246
34.76.121.168
Centres de données aux États-Unis US 35.185.196.212
35.197.102.120
35.185.224.10
35.185.228.170
35.197.5.235
35.185.206.139
35.197.67.234
35.197.38.65
35.185.202.229
35.185.200.120

1 Les données situées dans la multi-région EU ne sont pas stockées dans les centres de données europe-west2 (Londres) ou europe-west6 (Zürich).

Accorder l'accès à votre bucket Amazon S3

Vous aurez besoin d'un bucket S3 à utiliser comme zone intermédiaire pour le transfert des données Amazon Redshift vers BigQuery. Vous pouvez trouver les instructions détaillées d'Amazon ici.

  1. Nous vous recommandons de créer un utilisateur IAM Amazon dédié et de lui octroyer uniquement un accès en lecture à Redshift et un accès en lecture et en écriture à S3. Cette opération peut être effectuée en appliquant les stratégies existantes suivantes :

    Autorisations Amazon de migration Redshift

  2. Créez une paire de clés d'accès utilisateur IAM Amazon.

Facultatif : contrôler la charge de travail avec une file d'attente de migration distincte

Vous pouvez définir une file d'attente Amazon Redshift à des fins de migration pour limiter et séparer les ressources utilisées pour la migration. Cette file d'attente de migration peut être configurée avec un nombre maximum de requêtes simultanées. Vous pouvez ensuite associer un groupe d'utilisateurs de migration donné à la file d'attente, et utiliser ces identifiants lorsque vous configurez la migration pour transférer des données vers BigQuery. Le service de transfert aura uniquement accès à la file d'attente de migration.

Configurer un transfert Amazon Redshift

Pour configurer un transfert Amazon Redshift :

Console

  1. Accédez à l'UI Web de BigQuery dans Cloud Console.

    Accéder à Cloud Console

  2. Cliquez sur Transferts.

  3. Cliquez sur Ajouter un transfert.

  4. Sur la page Nouveau transfert :

    • Dans le champ Source, sélectionnez Migration : Amazon Redshift.
    • Pour le champ Nom à afficher, saisissez le nom du transfert, par exemple My migration. Le nom à afficher peut correspondre à n'importe quelle valeur permettant d'identifier facilement le transfert si vous devez le modifier par la suite.
    • Pour Ensemble de données de destination, sélectionnez l'ensemble de données approprié.

      Nouvelle migration Amazon Redshift - Général

  5. Sous Détails de la source de données, poursuivez avec les détails spécifiques de votre transfert Amazon Redshift.

    • Pour URL de connexion JDBC pour Amazon Redshift,, indiquez l'URL JDBC qui permet d'accéder à votre cluster Amazon Redshift.
    • Sous Nom d'utilisateur de votre base de données, saisissez le nom d'utilisateur de la base de données Amazon Redshift que vous souhaitez migrer.
    • Sous Mot de passe de votre base de données, entrez le mot de passe de la base de données.
    • Dans les champs ID de clé d'accès et Clé d'accès secrète, saisissez la paire de clés d'accès obtenue à l'étape Accorder l'accès à votre bucket S3.
    • Pour URI Amazon S3 URI, saisissez l'URI du compartiment S3 que vous utiliserez comme zone intermédiaire.
    • Sous Schéma Amazon Redshift, saisissez le schéma Amazon Redshift à partir duquel vous souhaitez migrer des tables.
    • Sous Modèles de nom de table, spécifiez un nom ou un modèle pour faire correspondre les noms de table dans le schéma. Vous pouvez utiliser des expressions régulières pour spécifier le modèle au format suivant : <table1Regex>;<table2Regex>. Le modèle doit suivre la syntaxe d'expression régulière Java.

      Nouveaux détails de la source de données de migration Amazon Redshift

    • (Facultatif) Dans la section Options de notification :

      • Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail en cas d'échec de l'exécution du transfert.
      • Pour le champ Sélectionner un sujet Pub/Sub, choisissez le nom de votre sujet ou cliquez sur Créer un sujet. Cette option configure les notifications d'exécution Cloud Pub/Sub pour votre transfert.

        Sujet Pub/Sub

  6. Cliquez sur Enregistrer.

  7. Cloud Console affiche tous les détails de configuration du transfert, y compris un Nom de ressource pour ce transfert.

    Confirmation du transfert

UI classique

  1. Accédez à l'UI Web classique de BigQuery.

    Accéder à l'UI Web classique de BigQuery

  2. Cliquez sur Transferts.

  3. Cliquez sur Ajouter un transfert.

  4. Sur la page Nouveau transfert :

    • Dans le champ Source, sélectionnez Migration : Amazon Redshift.
    • Pour le champ Nom à afficher, saisissez le nom du transfert, par exemple My Migration. Le nom à afficher peut correspondre à n'importe quelle valeur permettant d'identifier facilement le transfert si vous devez le modifier par la suite.
    • Pour Ensemble de données de destination, sélectionnez l'ensemble de données approprié.
    • Pour URL de connexion pour Amazon Redshift,, indiquez l'URL JDBC qui permet d'accéder à votre cluster Amazon Redshift.
    • Sous Nom d'utilisateur de votre base de données, saisissez le nom d'utilisateur de la base de données Amazon Redshift que vous souhaitez migrer.
    • Sous Mot de passe de votre base de données, entrez le mot de passe de la base de données.
    • Dans les champs ID de clé d'accès et Clé d'accès secrète, saisissez la paire de clés d'accès obtenue à l'étape Accorder l'accès à votre bucket S3.
    • Pour URI Amazon S3 URI, saisissez l'URI du bucket S3 que vous utiliserez comme zone intermédiaire.
    • Sous Schéma Amazon Redshift, saisissez le schéma Amazon Redshift à partir duquel vous souhaitez migrer des tables.
    • Sous Modèles de nom de table, spécifiez un nom ou un modèle pour faire correspondre les noms de table dans le schéma. Vous pouvez utiliser des expressions régulières pour spécifier le modèle au format suivant : <table1Regex>;<table2Regex>. Le modèle doit suivre la syntaxe d'expression régulière Java.

    Nouveaux détails de la source de données de migration Amazon Redshift

    • (Facultatif) Développez la section Avancé, puis configurez les notificationsd'exécution pour votre transfert.

      • Pour le champ Sujet Pub/Sub, saisissez le nom de votre sujet, par exemple, projects/myproject/topics/mytopic.
      • Cochez la case Envoyer des notifications par e-mail pour autoriser les notifications par e-mail en cas d'échec de l'exécution des transferts.
      • Ne cochez pas la case Désactivé lorsque vous configurez un transfert. Pour désactiver les transferts existants, consultez la page Utiliser les transferts.

      Sujet Pub/Sub

  5. Cliquez sur Ajouter.

  6. Lorsque vous y êtes invité, cliquez sur Autoriser pour autoriser le service de transfert de données BigQuery à gérer votre transfert. Vous devez autoriser les fenêtres pop-up de bigquery.cloud.google.com pour afficher la fenêtre des autorisations.

    Autoriser le transfert

  7. L'UI Web affichera tous les détails de configuration du transfert, y compris un Nom de ressource pour ce transfert.

    Confirmation du transfert

CLI

Saisissez la commande bq mk, puis spécifiez l'indicateur de création de transfert --transfer_config. Les paramètres suivants sont également requis :

  • --project_id
  • --data_source
  • --target_dataset
  • --display_name
  • --params
    bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --params='parameters'
    

Où :

  • project_id correspond à votre ID de projet Google Cloud. Si --project_id n'est pas spécifié, le projet par défaut est utilisé.
  • data_source représente la source de données : redshift.
  • dataset est l'ensemble de données cible de BigQuery pour la configuration de transfert.
  • name est le nom à afficher pour la configuration de transfert. Ce nom peut correspondre à n'importe quelle valeur permettant d'identifier facilement le transfert si vous devez le modifier ultérieurement.
  • parameters contient les paramètres de la configuration de transfert créée au format JSON. Par exemple : --params='{"param":"param_value"}'.

Les paramètres requis pour une configuration de transfert Amazon Redshift sont les suivants :

  • jdbc_url : l'URL de connexion JDBC permet de localiser le cluster Amazon Redshift.
  • database_username : nom d'utilisateur permettant d'accéder à votre base de données pour décharger les tables spécifiées.
  • database_password : mot de passe utilisé avec le nom d'utilisateur pour accéder à votre base de données afin de décharger les tables spécifiées.
  • access_key_id : ID de clé d'accès permettant de signer les requêtes adressées à AWS.
  • secret_access_key : clé d'accès secrète utilisée avec l'ID de clé d'accès pour signer les requêtes adressées à AWS.
  • s3_bucket : URI Amazon S3 commençant par "s3://" et spécifiant un préfixe pour les fichiers temporaires à utiliser.
  • redshift_schema : schéma Amazon Redshift contenant toutes les tables à migrer.
  • table_name_patterns : modèles de nom de table séparés par un point-virgule (;). Le format de table est une expression régulière pour la/les table(s) à migrer. Si non spécifié, toutes les tables situées sous le schéma de la base de données seront transférées.

Par exemple, la commande suivante crée un transfert Amazon Redshift nommé My Transfer avec un ensemble de données cible nommé mydataset et un projet dont l'ID est google.com:myproject.

bq mk \
    --transfer_config \
    --project_id=myproject \
    --data_source=redshift \
    --target_dataset=mydataset \
    --display_name='My Transfer' \
    --params='{"jdbc_url":"jdbc:postgresql://test-example-instance.sample.us-west-1.redshift.amazonaws.com:5439/dbname","database_username":"my_username","database_password":"1234567890","access_key_id":"A1B2C3D4E5F6G7H8I9J0","secret_access_key":"1234567890123456789012345678901234567890","s3_bucket":"s3://bucket/prefix","redshift_schema":"public","table_name_patterns":"table_name"}'
    

API

Utilisez la méthode projects.locations.transferConfigs.create et fournissez une instance de la ressource TransferConfig.

Quotas et limites

BigQuery a un quota de charge de 15 To par tâche de chargement et par table. En interne, Amazon Redshift compresse les données de la table. La taille de la table exportée sera donc supérieure à celle indiquée par Amazon Redshift. Si vous envisagez de migrer une table de plus de 15 To, contactez-nous d'abord à l'adresse bq-dts-support@google.com.

Notez qu'en utilisant ce service, des coûts peuvent être engagés en dehors de Google. Veuillez consulter les pages de tarification d'Amazon Redshift et d'Amazon S3 pour en savoir plus.

En raison du modèle de cohérence d'Amazon S3, il est possible que certains fichiers ne soient pas inclus dans le transfert vers BigQuery.

Étape suivante