Emplacements des ensembles de données

Cette page présente le concept d'emplacement des données, ainsi que les différents emplacements dans lesquels vous pouvez créer des ensembles de données. Pour savoir comment définir l'emplacement de votre ensemble de données, consultez la page Créer des ensembles de données.

Pour plus d'informations sur les prix régionaux de BigQuery, consultez la page Prix.

Concepts clés

Types d'emplacements ou de régions

Il existe deux types de zones :

  • Une région est un emplacement géographique spécifique, par exemple Londres.

  • Un emplacement multirégional correspond à un secteur géographique de grande étendue, par exemple les États-Unis, et comporte au moins deux lieux géographiques.

Emplacement d'un ensemble de données

Lorsque vous créez un ensemble de données, vous spécifiez un emplacement pour le stockage de vos données BigQuery. Une fois que vous avez créé l'ensemble de données, l'emplacement ne peut plus être modifié, mais vous pouvez le copier dans un autre emplacement ou le déplacer (recréer) manuellement dans un autre emplacement.

BigQuery traite les requêtes dans le même emplacement que l'ensemble de données contenant les tables que vous interrogez.

BigQuery stocke vos données dans l'emplacement sélectionné conformément aux Conditions spécifiques du service.

Régions où le service est disponible

Emplacements régionaux

Description de la région Nom de la région
Amériques
Las Vegas us-west4
Los Angeles us-west2
Montréal northamerica-northeast1
Virginie du Nord us-east4
Oregon us-west1
Salt Lake City us-west3
São Paulo southamerica-east1
Caroline du Sud us-east1
Europe
Belgique europe-west1
Finlande europe-north1
Francfort europe-west3
Londres europe-west2
Pays-Bas europe-west4
Zurich europe-west6
Asie-Pacifique
Hong Kong asia-east2
Jakarta asia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Séoul asia-northeast3
Singapour asia-southeast1
Sydney australia-southeast1
Taïwan asia-east1
Tokyo asia-northeast1

Zones multirégionales

Description de la zone multirégionale Nom de la zone multirégionale
Centres de données dans les États membres de l'Union européenne1 EU
Centres de données aux États-Unis US

1 Les données situées dans l'emplacement multirégional EU ne sont pas stockées dans les centres de données des régions europe-west2 (Londres) ou europe-west6 (Zurich).

Spécifier votre emplacement

Lors du chargement, de l'interrogation ou de l'exportation de données, BigQuery détermine la zone d'exécution de la tâche en fonction des ensembles de données référencés dans la requête. Par exemple, si une requête fait référence à une table d'un ensemble de données stocké dans la région asia-northeast1, la tâche de requête est exécutée dans cette région. Si une requête ne fait pas référence à des tables ou à d'autres ressources contenues dans des ensembles de données et qu'aucune table de destination n'est fournie, la tâche de requête est exécutée dans la région US. Si le projet a une réservation à taux fixe dans une région autre que US et que la requête ne fait référence à aucune table ou autre ressource contenue dans les ensembles de données, vous devez spécifier explicitement l'emplacement de la réservation à taux fixe lors de l'envoi de la tâche.

Vous pouvez spécifier l'emplacement d'exécution de la tâche de façon explicite de différentes manières :

  • Lorsque vous interrogez des données à l'aide de Cloud Console, cliquez sur Plus > Paramètres de requête. Ensuite, pour Zone de traitement, cliquez sur Sélection automatique et choisissez l'emplacement de vos données.
  • Lorsque vous utilisez l'outil de ligne de commande bq, renseignez l'indicateur global --location en définissant la valeur sur votre emplacement.
  • Lorsque vous utilisez l'API, spécifiez votre région dans la propriété location de la section jobReference de la ressource associée à la tâche.

BigQuery renvoie une erreur si l'emplacement spécifié ne correspond pas à l'emplacement des ensembles de données dans la requête.

Considérations concernant les zones

Lorsque vous choisissez un emplacement pour les données, envisagez d'entreprendre les actions suivantes :

  • Cohéberger un ensemble de données BigQuery et une source de données externe.
    • Lorsque vous interrogez des données dans une source de données externe telle que Cloud Storage, ces données doivent se trouver dans le même emplacement que votre ensemble de données BigQuery. Par exemple, si votre ensemble de données BigQuery est situé dans l'emplacement multirégional UE, le bucket Cloud Storage contenant les données que vous interrogez doit se trouver dans un bucket multirégional de l'UE. Si votre ensemble de données est situé dans l'emplacement multirégional US, le bucket Cloud Storage doit se trouver dans un bucket multirégional aux États-Unis.
    • Si votre ensemble de données se trouve dans une zone régionale, le bucket Cloud Storage contenant les données que vous interrogez doit se trouver dans un bucket régional du même emplacement. Par exemple, si l'ensemble de données se trouve dans la région Tokyo, le bucket Cloud Storage doit être un bucket régional situé à Tokyo.
    • Si l'ensemble de données externe se trouve dans Cloud Bigtable, l'ensemble de données doit se trouver dans la zone multirégionale US ou EU. Les données Cloud Bigtable doivent se trouver dans l'un des emplacements Cloud Bigtable gérés.
    • Les considérations relatives aux emplacements ne s'appliquent pas aux sources de données externes Google Drive.
  • Cohébergez vos buckets Cloud Storage pour charger des données
    • Si votre ensemble de données BigQuery se trouve dans une zone multirégionale, le bucket Cloud Storage contenant les données que vous chargez doit se trouver dans un bucket régional ou multirégional du même emplacement. Par exemple, si votre ensemble de données BigQuery se trouve dans l'UE, le bucket Cloud Storage doit être situé dans un bucket régional ou multirégional de l'UE.
    • Si votre ensemble de données se trouve dans une zone régionale, le bucket Cloud Storage doit être un bucket régional du même emplacement. Par exemple, si votre ensemble de données se trouve dans la région Tokyo, le bucket Cloud Storage doit être un bucket régional situé à Tokyo.
    • Exception : Si votre ensemble de données se trouve dans la zone multirégionale États-Unis, vous pouvez charger des données à partir d'un bucket Cloud Storage situé dans n'importe quelle zone régionale ou multirégionale.
  • Cohéberger vos buckets Cloud Storage pour exporter des données
    • Lorsque vous exportez des données, le bucket Cloud Storage régional ou multirégional doit se trouver dans le même emplacement que l'ensemble de données BigQuery. Par exemple, si votre ensemble de données BigQuery est situé dans la zone multirégionale UE, le bucket Cloud Storage contenant les données que vous exportez doit se trouver dans une zone régionale ou multirégionale de l'UE.
    • Si votre ensemble de données se trouve dans une zone régionale, le bucket Cloud Storage doit être un bucket régional de la même zone. Par exemple, si votre ensemble de données se trouve dans la région Tokyo, le bucket Cloud Storage doit être un bucket régional situé à Tokyo.
    • Exception : Si votre ensemble de données se trouve dans la zone multirégionale États-Unis, vous pouvez exporter des données dans un bucket Cloud Storage situé dans n'importe quelle zone régionale ou multirégionale.
  • Élaborer un plan de gestion des données
    • Si vous choisissez une ressource de stockage régionale, telle qu'un ensemble de données BigQuery ou un bucket Cloud Storage, élaborez un plan de gestion géographique des données.

Pour en savoir plus sur les emplacements Cloud Storage, consultez la section Emplacements des buckets dans la documentation de Cloud Storage.

Déplacer des données BigQuery entre des emplacements

Il n'est pas possible de modifier l'emplacement d'un ensemble de données après sa création. Toutefois, vous pouvez effectuer une copie de l'ensemble de données. Vous ne pouvez pas déplacer un ensemble de données d'un emplacement à un autre, mais vous pouvez déplacer (recréer) un ensemble de données manuellement. Le service de transfert de données BigQuery peut transférer des données vers un ensemble de données BigQuery situé dans plusieurs régions.

Copier des ensembles de données

Pour connaître la procédure à suivre pour copier un ensemble de données, y compris entre plusieurs régions, consultez la page Copier des ensembles de données.

Déplacer un ensemble de données

Pour déplacer manuellement un ensemble de données d'un emplacement à un autre, procédez comme suit :

  1. Exportez les données de vos tables BigQuery vers un bucket Cloud Storage régional ou multirégional situé dans le même emplacement que l'ensemble de données. Par exemple, si votre ensemble de données se trouve dans l'emplacement multirégional UE, exportez les données dans un bucket régional ou multirégional de l'UE.

    L'exportation de données depuis BigQuery est gratuite, mais vous engagez des frais pour le stockage des données exportées dans Cloud Storage. Les exportations BigQuery sont soumises aux limites applicables aux tâches d'exportation.

  2. Copiez ou déplacez les données de votre bucket Cloud Storage vers un bucket régional ou multirégional dans le nouvel emplacement. Par exemple, si vous déplacez vos données de l'emplacement multirégional US vers l'emplacement régional Tokyo, vous les transférez vers un bucket régional situé à Tokyo. Pour en savoir plus sur le transfert d'objets Cloud Storage, consultez la page Renommer, copier et déplacer des objets de la documentation Cloud Storage.

    Notez que le transfert de données entre régions entraîne des frais de sortie réseau dans Cloud Storage.

  3. Après avoir transféré les données vers un bucket Cloud Storage dans le nouvel emplacement, créez-y un ensemble de données BigQuery. Ensuite, chargez les données du bucket Cloud Storage dans BigQuery.

    Le chargement des données dans BigQuery est gratuit, mais vous devrez payer des frais pour le stockage des données dans Cloud Storage jusqu'à ce que vous supprimiez les données ou le bucket. Le stockage des données dans BigQuery après leur chargement vous est également facturé. Le chargement de données dans BigQuery est soumis aux limites applicables aux tâches de chargement.

Vous pouvez également utiliser Cloud Composer pour déplacer et copier automatiquement des ensembles de données volumineux.

Pour en savoir plus sur le stockage de données à l'aide de Cloud Storage, consultez la section Utiliser Cloud Storage avec Big Data.

Transférer des données dans des ensembles de données BigQuery

Le service de transfert de données BigQuery transfère (copie) les données d'une source vers un ensemble de données de destination dans BigQuery. Tout comme BigQuery, le service de transfert de données BigQuery est une ressource multirégionale.

La localité d'un ensemble de données BigQuery est spécifiée lorsque vous créez un ensemble de données de destination pour stocker les données transférées par le service de transfert de données BigQuery. Lorsque vous configurez un transfert, la configuration elle-même est définie sur le même emplacement que l'ensemble de données de destination. Le service de transfert de données BigQuery traite et classe les données au même emplacement que l'ensemble de données BigQuery cible.

Les données que vous souhaitez transférer vers BigQuery peuvent également être associées à une région. Dans la plupart des cas, la région dans laquelle vos données sont stockées et l'emplacement de l'ensemble de données de destination dans BigQuery n'ont pas d'incidence. Dans d'autres types de transferts, l'ensemble de données et les données sources doivent être colocalisés dans la même région ou dans une région compatible.

Pour en savoir plus sur les transferts et la compatibilité des régions, consultez la page Emplacement des données et transferts.

Étapes suivantes