Gérer la conservation des données à l'aide de règles TTL

Cette page explique comment utiliser la console Google Cloud et la Google Cloud CLI pour configurer des règles valeur TTL (Time To Live). Avant de lire cette page, vous devez comprendre Modèle de données Firestore.

Présentation de la valeur TTL

Utilisez des règles TTL pour supprimer les données obsolètes de vos bases de données. Une règle TTL désigne un champ donné comme le délai d'expiration des documents d'un groupe de collections donné. Avec la valeur TTL, vous pouvez réduire les coûts de stockage en nettoyant les données obsolètes ; Les données sont généralement supprimées dans les 24 heures suivant sa date d'expiration.

Tarifs

Les opérations de suppression TTL sont comptabilisées dans les coûts de suppression de vos documents. Pour les tarifs des opérations de suppression, consultez les tarifs de Firestore.

Limites et contraintes

  • Un seul champ par groupe de collections peut être marqué comme champ TTL.
  • Un total de 200 configurations au niveau des champs est autorisée. Configuration à un champ peut contenir plusieurs configurations pour le même champ. Par exemple : une exception d'indexation à champ unique et une règle TTL sur le même champ que une configuration de champ pour atteindre la limite.
  • Pour les clients Firestore en mode Datastore, la valeur TTL ne peut pas être utilisée avec un mode de simultanéité correspondant Optimiste avec les groupes d'entités. Envisagez de passer au mode de simultanéité optimiste.

Suppression de la valeur TTL

Notez les comportements clés suivants de la suppression basée sur des valeurs TTL:

  • La suppression via TTL n'est pas un processus instantané. Documents expirés continuent d'apparaître dans les requêtes et les requêtes de recherche jusqu'à ce que le processus TTL les supprime réellement. TTL négocie les délais de suppression au profit de une réduction du coût total de possession des suppressions. Les données sont généralement supprimées dans les 24 heures suivant leur date d'expiration.

  • La suppression d'un document via la valeur TTL ne supprime pas les sous-collections qui en dépendent document.

  • Si vous appliquez une règle TTL à un groupe de collections existant, la suppression de toutes les données expirées conformément à la nouvelle règle TTL. Remarque que cette suppression groupée n'est pas non plus instantanée et dépend de la quantité de données pour ce groupe de collections.

  • Si un document a une date d'expiration passée et que vous ajoutez une nouvelle règle TTL à la collection, le document sera supprimé dans un délai de 24 heures quand la règle TTL termine sa configuration et devient active.

  • La valeur TTL ne supprime pas nécessairement les documents dans le même ordre que leurs codes temporels.

  • Les suppressions ne sont pas effectuées de manière transactionnelle. Documents ayant la même date d'expiration ne sont pas nécessairement supprimés en même temps. Si vous avez besoin de cette effectuez les suppressions à l'aide d'une bibliothèque cliente.

  • Firestore respecte toujours le dernier champ TTL pour déterminer expiration. Par exemple, si un document expiré, mais pas encore supprimé, possède son le champ TTL mis à jour à une date ultérieure, le document n'expirera pas et le la nouvelle date sera utilisée.

  • La valeur TTL est conçue pour minimiser l'impact sur les autres activités de base de données. Suppressions induites par la valeur TTL sont traités avec une priorité inférieure. D'autres stratégies sont également en place pour atténuer les pics de trafic liés aux suppressions basées sur TTL.

  • La suppression via TTL appelle toutes les actions actives des écouteurs d'instantanés et des déclencheurs Cloud Functions Déclencheurs Firestore.

Champs et index TTL

Un champ TTL peut être indexé ou non indexé. Cependant, comme un champ TTL est le code temporel, l'indexation du champ peut affecter les performances lorsque les taux de trafic sont plus élevés. L'indexation d'un champ de code temporel peut créer hotspots, ce qui va à l'encontre des bonnes pratiques. Les zones cliquables sont des taux de lecture, d'écriture et de suppression élevés pour une plage de documents étroite.

Par défaut, Firestore crée un index à champ unique pour tous les champs. Vous pouvez Créer une exception d'index à champ unique pour désactiver les index d'un champ TTL.

Autorisations

Le compte principal qui configure une règle TTL nécessite l'autorisation suivante dans le projet:

  • L'affichage des règles TTL nécessite l'datastore.indexes.list et datastore.indexes.get.
  • La modification des règles TTL nécessite le datastore.indexes.update l'autorisation.
  • datastore.operations.list et datastore.operations.get sont nécessaires pour vérifier l'état des opérations TTL.

Pour en savoir plus sur les rôles qui attribuent ces autorisations, consultez la page Rôles Identity and Access Management Firestore.

Avant de commencer

Avant d'utiliser la gcloud CLI pour gérer les règles TTL, utilisez la gcloud components update pour mettre à jour les composants vers la dernière version disponible:

gcloud components update

Créer une règle TTL

Lorsque vous créez une règle TTL, vous désignez un champ de document pour la date d'expiration pour les documents d'un groupe de collections.

La valeur TTL utilise un champ spécifié pour identifier les documents pouvant être supprimés. Ce champ TTL doit être de type Date and time. Vous pouvez sélectionner un champ existe déjà, ou vous pouvez désigner un champ que vous prévoyez d'ajouter ultérieurement.

Tenez compte des points suivants avant de définir la valeur du champ TTL:

  • La valeur du champ TTL peut être une heure dans le futur, maintenant ou dans le passé. Si la valeur est une heure s'ils sont antérieurs, le document peut être supprimé immédiatement. Par exemple : vous pouvez créer une règle TTL avec le champ expireAt, que vous ajoutez ensuite des documents existants.

  • Si vous utilisez tout autre type de données ou si vous ne définissez pas la valeur du champ TTL, la valeur TTL sera désactivée pour le document individuel.

Pour créer une règle TTL, procédez comme suit:

Console Google Cloud

  1. Dans la console Google Cloud, accédez à la page Base de données.

    Accéder à la page "Bases de données"

  2. Sélectionnez la base de données requise dans la liste des bases de données.

  3. Dans le menu de navigation, cliquez sur Valeur TTL.

  4. Cliquez sur Créer une règle.

  5. Saisissez un nom pour le groupe de collections et un nom de champ de code temporel.

  6. Cliquez sur Créer.

La console revient à la page Valeur TTL. Si l'opération démarre correctement, la page ajoute une entrée dans le tableau des règles TTL. Activé la page affiche un message d'erreur.

gcloud

  1. Dans la console Google Cloud, activez Cloud Shell.

    Activer Cloud Shell

    En bas de la fenêtre de la console Google Cloud, une session Cloud Shell démarre et affiche une invite de ligne de commande. Cloud Shell est un environnement shell dans lequel Google Cloud CLI est déjà installé, et dans lequel des valeurs sont déjà définies pour votre projet actuel. L'initialisation de la session peut prendre quelques secondes.

  2. Utilisez le firestore fields ttls update pour configurer une règle TTL. Ajoutez l'option --async pour empêcher gcloud CLI d'attendre la fin de l'opération.

     gcloud firestore fields ttls update
    ttl_field --collection-group=collection_group_name
    --enable-ttl 

Durée d'activation de la règle TTL

Même sur une base de données vide, l'activation d'une valeur TTL peut prendre dix minutes, voire plus. . Lorsque vous lancez une opération, la fermeture du terminal n'annule pas opération.

Afficher les règles TTL

Pour afficher les règles TTL et leur état, procédez comme suit:

Console Google Cloud

  1. Dans la console Google Cloud, accédez à la page Base de données.

    Accéder à la page "Bases de données"

  2. Sélectionnez la base de données requise dans la liste des bases de données.

  3. Dans le menu de navigation, cliquez sur Valeur TTL.

La console répertorie les règles TTL de votre base de données et inclut chacune des règles état.

gcloud

  1. Dans la console Google Cloud, activez Cloud Shell.

    Activer Cloud Shell

    En bas de la fenêtre de la console Google Cloud, une session Cloud Shell démarre et affiche une invite de ligne de commande. Cloud Shell est un environnement shell dans lequel Google Cloud CLI est déjà installé, et dans lequel des valeurs sont déjà définies pour votre projet actuel. L'initialisation de la session peut prendre quelques secondes.

  2. Utilisez les firestore fields ttls list pour configurer une règle TTL. La commande suivante répertorie toutes les valeurs TTL règles.

    gcloud firestore fields ttls list
    

    Pour répertorier les règles TTL d'un groupe de collections spécifique, utilisez le code suivant:

    gcloud firestore fields ttls list  --collection-group=collection_group_name
    

View operation details

You can use the gcloud CLI to view more details about a TTL policy that is in the CREATING state.

Use the operations list command to see all running and recently completed operations:

gcloud firestore operations list

La réponse inclut une estimation de la progression de l'opération.

Désactiver une règle TTL

Pour désactiver une règle TTL, procédez comme suit:

Console Google Cloud

  1. Dans la console Google Cloud, accédez à la page Base de données.

    Accéder à la page "Bases de données"

  2. Sélectionnez la base de données requise dans la liste des bases de données.

  3. Dans le menu de navigation, cliquez sur Valeur TTL.

  4. Dans le tableau des règles TTL, recherchez la ligne correspondant à la règle TTL. Dans ce ligne du tableau, cliquez sur le bouton Supprimer (corbeille).

  5. Confirmez l'opération en cliquant sur Supprimer.

La console revient à la page Valeur TTL. En cas de succès, Firestore supprime la règle TTL de la table.

gcloud

  1. Dans la console Google Cloud, activez Cloud Shell.

    Activer Cloud Shell

    En bas de la fenêtre de la console Google Cloud, une session Cloud Shell démarre et affiche une invite de ligne de commande. Cloud Shell est un environnement shell dans lequel Google Cloud CLI est déjà installé, et dans lequel des valeurs sont déjà définies pour votre projet actuel. L'initialisation de la session peut prendre quelques secondes.

  2. Utilisez les firestore fields ttls update pour configurer une règle TTL. Ajoutez l'option --async pour empêcher gcloud CLI d'attendre la fin de l'opération.

    gcloud firestore fields ttls update ttl_field --collection-group=collection_group_name --disable-ttl
    

Surveiller les suppressions de valeurs TTL

Vous pouvez utiliser Cloud Monitoring pour afficher les métriques sur les suppressions basées sur des valeurs TTL. Firestore fournit les métriques suivantes pour la valeur TTL:

Type de métrique Nom de la métrique Description de la métrique
firestore.googleapis.com/document/ttl_deletion_count Nombre de suppressions TTL

Nombre total de documents supprimés par les règles TTL.

firestore.googleapis.com/document/ttl_expiration_to_deletion_delays Délai d'expiration ou de suppression de la valeur TTL (Time To Live)

Temps écoulé entre l'expiration d'un document en respectant une valeur TTL et la date de suppression effective.

Pour configurer un tableau de bord avec des métriques Firestore, consultez gérer un tableau de bord personnalisé et ajouter des widgets de tableau de bord.