Administra la retención de datos con políticas de TTL

En esta página, se describe cómo usar la consola de Google Cloud y Google Cloud CLI para configurar las políticas de tiempo de actividad (TTL). Antes de leer esta página, debes comprender el modelo de datos del modo Datastore.

Descripción general del tiempo de actividad

Usa políticas de TTL para quitar automáticamente los datos inactivos de tus bases de datos. Una política de TTL designa una propiedad determinada como la hora de vencimiento para las entidades de un tipo determinado. Con el TTL, puedes disminuir los costos de almacenamiento borrando los datos obsoletos. Por lo general, los datos se borran en un plazo de 24 horas después de su fecha de vencimiento.

Precios

Las operaciones de eliminación del TTL se tienen en cuenta para los costos de eliminación de la entidad. Para conocer los precios de las operaciones de eliminación, consulta Precios de Firestore en modo Datastore.

Límites y restricciones

  • Solo se puede marcar una propiedad por categoría como propiedad TTL.
  • Se permite un total de 200 políticas de TTL.

Eliminación del TTL

Ten en cuenta los siguientes comportamientos clave de la eliminación basada en el TTL:

  • La eliminación mediante el TTL no es un proceso instantáneo. Las entidades vencidas seguirán apareciendo en consultas y solicitudes de búsqueda hasta que el proceso del TTL las borre. El TTL cambia la puntualidad de la eliminación por el beneficio de un costo total de propiedad disminuido para las eliminaciones. Por lo general, los datos se borran en un plazo de 24 horas después de su fecha de vencimiento.

  • Si borras una entidad a través del TTL, no se borrarán las entidades descendientes de esa entidad.

  • Aplicar una política de TTL en un tipo existente genera una eliminación masiva de todos los datos que vencieron de acuerdo con la política de TTL nueva. Ten en cuenta que esta eliminación masiva no es instantánea y depende de la cantidad de datos que existen para ese tipo.

  • Si una entidad tiene una fecha de vencimiento en el pasado y agregas una política ttl nueva al tipo, la entidad se borrará dentro de las 24 horas posteriores a que la política ttl finalice la configuración y se active.

  • El TTL no necesariamente borra las entidades en el mismo orden que sus marcas de tiempo de vencimiento.

  • Las eliminaciones no se realizan de forma transaccional. Las entidades con el mismo tiempo de vencimiento no necesariamente se borran al mismo tiempo. Si necesitas este comportamiento, realiza las eliminaciones mediante una biblioteca cliente.

  • El modo Datastore siempre respetará el último campo TTL para determinar el vencimiento. Por ejemplo, si se actualiza el campo TTL de una entidad vencida, que aún no se borró, a una fecha posterior, la entidad no vencerá y se usará la fecha nueva.

  • El modo Datastore solo vencerá un documento cuando el campo TTL se configure en un tipo Timestamp. Si dejas el campo ausente o se establece en un valor como null, los vencimientos se pueden inhabilitar de forma individual en cada documento.

  • El TTL está diseñado para minimizar el impacto en otras actividades de la base de datos. Las eliminaciones que genera el TTL se tratan con una prioridad más baja. También se implementaron otras estrategias para limitar los aumentos repentinos de tráfico provenientes de las eliminaciones basadas en el TTL.

Índices y propiedades del TTL

Una propiedad TTL se puede indexar o no. Sin embargo, debido a que una propiedad del TTL es una marca de tiempo, la indexación de la propiedad puede afectar el rendimiento con tasas de tráfico más altas. La indexación de una propiedad de marca de tiempo infringe las prácticas recomendadas y puede crear hotspots. Los hotspots generan tasas altas de lectura, escritura y eliminación en un rango pequeño de claves.

De forma predeterminada, Datastore crea un índice integrado para todas las propiedades. Puedes excluir una propiedad de los índices para inhabilitar los índices en una propiedad del TTL.

Permisos

La principal que configura una política de TTL requiere el siguiente permiso en el proyecto:

  • La visualización de las políticas de TTL requiere los permisos datastore.indexes.list y datastore.indexes.get.
  • La modificación de las políticas de TTL requiere el permiso datastore.indexes.update.
  • Verificar el estado de las operaciones del TTL requiere datastore.operations.list y datastore.operations.get.

Para conocer los roles que asignan estos permisos, consulta Roles de Identity and Access Management de Datastore.

Antes de comenzar

Antes de usar la gcloud CLI para administrar las políticas de TTL, usa el comando gcloud components update a fin de actualizar los componentes a la última versión disponible:

gcloud components update

Crea una política de TTL

Cuando creas una política de TTL, designas una propiedad de la entidad como la hora de vencimiento para las entidades de un tipo. La política de TTL se aplica al tipo especificado en todos los espacios de nombres.

El TTL usa una propiedad especificada para identificar las entidades aptas para borrarse. Esta propiedad TTL debe ser del tipo Date and time. Puedes seleccionar una propiedad que ya exista o designar una que planeas agregar más adelante.

Ten en cuenta lo siguiente antes de establecer el valor de la propiedad TTL:

  • El valor de la propiedad del TTL puede ser una hora actual, del futuro o del pasado. Si el valor es una hora del pasado, la entidad es apta de inmediato para su eliminación. Por ejemplo, puedes crear una política de TTL con la propiedad expireAt, para luego agregarla a las entidades existentes.

  • Si usas cualquier otro tipo de datos o no estableces el valor de la propiedad del TTL, se inhabilitará el TTL de la entidad individual.

Sigue los pasos que se indican a continuación para crear una política de TTL:

Consola de Google Cloud

  1. En la consola de Google Cloud, ve a la página Bases de datos.

    Ir a Bases de datos

  2. Selecciona la base de datos requerida de la lista.

  3. En el menú de navegación, haz clic en Tiempo de actividad.

  4. Haz clic en Crear política.

  5. Ingresa un nombre de categoría y uno de propiedad de marca de tiempo.

  6. Haz clic en Crear.

La consola regresa a la página Tiempo de actividad. Si la operación se inicia correctamente, la página agrega una entrada a la tabla de políticas de TTL. Si se produce un error, la página muestra un mensaje de error.

gcloud

  1. En la consola de Google Cloud, activa Cloud Shell.

    Activar Cloud Shell

    En la parte inferior de la consola de Google Cloud, se inicia una sesión de Cloud Shell en la que se muestra una ventana de línea de comandos. Cloud Shell es un entorno de shell con Google Cloud CLI ya instalada y con valores ya establecidos para el proyecto actual. La sesión puede tardar unos segundos en inicializarse.

  2. Usa el comando firestore fields ttls update para configurar una política de TTL. Agrega la marca --async para evitar que la gcloud CLI espere a que se complete la operación.

    gcloud firestore fields ttls update ttl_field --collection-group=collection_group_name --enable-ttl

Incluso en una base de datos vacía, la política de TTL puede tardar diez minutos o más en habilitarse. Después de iniciar una operación, esta no se cancela si cierras la terminal.

Ve las políticas de TTL

Sigue los pasos que se indican a continuación para ver las políticas de TTL y sus estados.

Consola de Google Cloud

  1. En la consola de Google Cloud, ve a la página Bases de datos.

    Ir a Bases de datos

  2. Selecciona la base de datos requerida de la lista.

  3. En el menú de navegación, haz clic en Tiempo de actividad.

La consola enumera las políticas de TTL para tu base de datos y, además, incluye el estado de cada política.

gcloud

  1. En la consola de Google Cloud, activa Cloud Shell.

    Activar Cloud Shell

    En la parte inferior de la consola de Google Cloud, se inicia una sesión de Cloud Shell en la que se muestra una ventana de línea de comandos. Cloud Shell es un entorno de shell con Google Cloud CLI ya instalada y con valores ya establecidos para el proyecto actual. La sesión puede tardar unos segundos en inicializarse.

  2. Usa el comando firestore fields ttls list para configurar una política de TTL. El siguiente comando enumera todas las políticas de TTL.

    gcloud firestore fields ttls list

    Para enumerar las políticas de TTL según un tipo específico, usa el siguiente código:

    gcloud firestore fields ttls list  --collection-group=collection_group_name

Ve los detalles de la operación

Puedes usar la gcloud CLI para ver más detalles sobre una política de TTL en estado CREATING.

Para ver todas las operaciones en ejecución y las que se completaron recientemente, usa el comando operations list:

gcloud firestore operations list

La respuesta incluye una estimación del progreso de la operación.

Inhabilita una política de TTL

Sigue los pasos que se indican a continuación para inhabilitar una política de TTL.

Consola de Google Cloud

  1. En la consola de Google Cloud, ve a la página Bases de datos.

    Ir a Bases de datos

  2. Selecciona la base de datos requerida de la lista.

  3. En el menú de navegación, haz clic en Tiempo de actividad.

  4. En la tabla de políticas de TTL, busca la fila correspondiente. En esta fila de la tabla, haz clic en el botón Borrar (papelera).

  5. Haz clic en Borrar para confirmar la acción.

La consola regresa a la página Tiempo de actividad. Si se ejecuta de forma correcta, Datastore quita la política de TTL de la tabla.

gcloud

  1. En la consola de Google Cloud, activa Cloud Shell.

    Activar Cloud Shell

    En la parte inferior de la consola de Google Cloud, se inicia una sesión de Cloud Shell en la que se muestra una ventana de línea de comandos. Cloud Shell es un entorno de shell con Google Cloud CLI ya instalada y con valores ya establecidos para el proyecto actual. La sesión puede tardar unos segundos en inicializarse.

  2. Usa el comando firestore fields ttls update para configurar una política de TTL. Agrega la marca --async para evitar que la gcloud CLI espere a que se complete la operación.

    gcloud firestore fields ttls update ttl_field --collection-group=collection_group_name --disable-ttl

Supervisa las eliminaciones del TTL

Puedes usar Cloud Monitoring para ver las métricas sobre las eliminaciones basadas en el TTL. Datastore proporciona las siguientes métricas para el TTL:

datastore.googleapis.com/entity/ttl_deletion_count Recuento de eliminaciones del TTL

Recuento total de entidades borradas por las políticas de TTL.
datastore.googleapis.com/entity/ttl_expiration_to_deletion_delays Retrasos entre el vencimiento y la eliminación del TTL

Tiempo transcurrido entre el vencimiento de una entidad conforme a una política de TTL y el momento en que se borró.

Para configurar un panel con métricas de Datastore, consulta Administra un panel personalizado y Agrega widgets al panel.