Optimiza el almacenamiento en BigQuery

Esta página proporciona recomendaciones para optimizar el almacenamiento de BigQuery.

Usa la configuración de vencimiento para quitar tablas y particiones innecesarias

Práctica recomendada: Configura el vencimiento predeterminado de la tabla de tus conjuntos de datos, la fecha y hora de vencimiento de tus tablas y el vencimiento de la partición de las tablas particionadas.

Puedes controlar los costos de almacenamiento y optimizar el uso del almacenamiento configurando la caducidad de la tabla predeterminada para las tablas recién creadas en un conjunto de datos. Si configuras la propiedad cuando se crea el conjunto de datos, cualquier tabla creada en el conjunto de datos se borrará después del período de vencimiento. Si configuras la propiedad después de crear el conjunto de datos, solo se borrarán las nuevas tablas después del período de vencimiento.

Por ejemplo, si estableces la caducidad de la tabla predeterminada dentro de 7 días, los datos más antiguos se borran automáticamente después de 1 semana.

Esta opción es útil si necesitas acceder solo a los datos más recientes. También es útil si estás experimentando con datos y no necesitas conservarlos.

Si tus tablas están particionadas por fecha, el vencimiento predeterminado de la tabla del conjunto de datos se aplica a las particiones individuales. También puedes controlar el vencimiento de la partición con la marca time_partitioning_expiration en la interfaz de línea de comandos o la configuración de expirationMs en la API. Por ejemplo, el siguiente comando establece un vencimiento para las particiones después de 3 días:

bq mk \
--time_partitioning_type=DAY \
--time_partitioning_expiration=259200 \
project_id:dataset.table

Aprovecha el almacenamiento a largo plazo

Prácticas recomendadas: Mantén tus datos en BigQuery.

Cuando cargas datos en BigQuery desde Cloud Storage, no se te cobra la operación, pero sí se generan cargos por el almacenamiento de los datos en Cloud Storage. Después de cargar los datos en BigQuery, estos están sujetos a los precios de almacenamiento de BigQuery.

En lugar de exportar tus datos más antiguos a otra opción de almacenamiento (como Cloud Storage), aprovecha los precios de almacenamiento a largo plazo de BigQuery.

Si una tabla no se edita en 90 días consecutivos, su precio de almacenamiento disminuye de manera automática en un 50%, con lo cual pasa a cobrarse $0.01 por GB, por mes. Este es el mismo costo de Cloud Storage Nearline.

Cada partición de una tabla particionada se considera por separado para los precios de almacenamiento a largo plazo. Si una partición no se modificó en los últimos 90 días, los datos de esa partición se consideran como almacenamiento a largo plazo y se cargan al precio descontado.

Usa la calculadora de precios para estimar los costos de almacenamiento

Práctica recomendada: Calcula los costos de almacenamiento con la calculadora de precios de Google Cloud.

Para calcular los costos de almacenamiento en la calculadora de precios de Google Cloud Platform, ingresa la cantidad de bytes que se almacenan como MB, GB, TB o PB. BigQuery proporciona 10 GB de almacenamiento gratuito por mes.

Calculadora de precios.