Bonnes pratiques BigQuery : optimiser le stockage

Vous trouverez sur cette page les bonnes pratiques relatives à l'optimisation du stockage BigQuery.

Utiliser les paramètres d'expiration pour supprimer les tables et les partitions inutiles

Bonne pratique : Configurez l'expiration de table par défaut pour les ensembles de données, le délai d'expiration pour les tables et l'expiration de la partition pour les tables partitionnées.

Vous pouvez contrôler les coûts de stockage et optimiser l'utilisation du stockage en définissant l'expiration de table par défaut sur les tables nouvellement créées dans un ensemble de données. Si vous définissez cette propriété lorsque vous créez l'ensemble de données, toute table créée dans l'ensemble de données est supprimée après le délai d'expiration. Si vous la définissez après avoir créé l'ensemble de données, seules les nouvelles tables sont supprimées après le délai d'expiration.

Par exemple, si vous définissez l'expiration de table par défaut sur 7 jours, les anciennes données sont automatiquement supprimées après une semaine.

Cette option est utile si vous n'avez besoin d'accéder qu'aux données les plus récentes. Elle permet également de tester des données sans avoir à les conserver.

Si vos tables sont partitionnées par date, l'expiration de table par défaut de l'ensemble de données s'applique aux partitions individuelles. Vous pouvez également contrôler l'expiration des partitions à l'aide de l'indicateur time_partitioning_expiration dans l'interface de la CLI ou du paramètre de configuration expirationMs dans l'API. Par exemple, vous pouvez utiliser la commande suivante pour que les partitions expirent après trois jours :

bq mk --time_partitioning_type=DAY --time_partitioning_expiration=259200 [DATASET].[TABLE]

Tirer parti du stockage à long terme

Bonne pratique : Conservez vos données dans BigQuery.

Vous pouvez charger gratuitement des données dans BigQuery. Plutôt que d'exporter vos anciennes données vers une autre option de stockage (telle que Cloud Storage), tirez parti des tarifs de stockage à long terme de BigQuery.

Si une table n'est pas modifiée pendant 90 jours consécutifs, le prix de stockage de cette table diminue automatiquement de 50 %, et passe à 0,01 $ par Go et par mois. Le même tarif est appliqué dans Cloud Storage Nearline.

Chaque partition d'une table partitionnée est prise en considération individuellement pour les tarifs de stockage à long terme. Si une partition n'a pas été modifiée au cours des 90 derniers jours, les données de cette partition sont considérées comme stockage à long terme et sont facturées au prix réduit.

Utiliser le simulateur de coût pour estimer les coûts de stockage

Bonne pratique : Estimez vos coûts de stockage à l'aide du simulateur de coût de Google Cloud Platform.

Pour estimer les coûts de stockage dans le simulateur de coût de Google Cloud Platform, entrez le nombre d'octets stockés en Mo, Go, To ou Po. BigQuery fournit gratuitement 10 Go de stockage par mois.

Simulateur de coût

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Besoin d'aide ? Consultez notre page d'assistance.