Administration via NDB

Il existe des outils et des API qui facilitent l'administration des données stockées d'une application.

console Google Cloud

Lorsque vous utilisez la console Google Cloud, n'oubliez pas que NDB est mis en œuvre à l'aide de Datastore et de Memcache. Lorsque NDB "lit" une valeur, il vérifie d'abord Memcache. Il ne lit depuis Datastore que s'il ne trouve pas la valeur dans Memcache.

Ainsi, si vous utilisez la console Google Cloud pour modifier une entité dans Datastore, l'application peut toujours utiliser "l'ancienne" valeur si celle-ci se trouve dans Memcache. Vous pouvez contourner ce problème en purgeant Memcache. Cependant, cette solution est assez perturbatrice. Si vous devez souvent modifier les valeurs "à la main", vous pouvez configurer une interface utilisateur pour cela dans votre application, qui écrit des valeurs via la bibliothèque cliente NDB. L'écriture via NDB permet de synchroniser Datastore et Memcache.

Requêtes de métadonnées

NDB accepte une API de requête de métadonnées. Cela permet à une application d'obtenir des informations générales sur son utilisation de Datastore. Cette API se trouve dans le module google.appengine.ext.ndb.metadata, et propose les fonctions suivantes :

  • get_namespaces(start=None, end=None) : renvoie une liste de noms d'espaces de noms.
  • get_kinds(start=None, end=None) : renvoie une liste de noms de genres.
  • get_properties_of_kind(kind, start=None, end=None) : renvoie une liste de noms de propriétés pour le nom de genre fourni.
  • get_representations_of_kind(kind, start=None, end=None) : renvoie un nom de propriété de mappage dict pour le nom de genre donné aux listes de noms de représentation tels que 'STRING', 'BOOLEAN' ou 'INT64'.

Ces fonctions disposent d'arguments facultatifs de début et de fin, qui peuvent être utilisés pour limiter la requête à une certaine plage. Dans ce cas, le début est inclusif, alors que la fin est exclusive Les deux valeurs sont définies par défaut sur None. Par exemple, pour obtenir tous les espaces de noms commençant par une lettre minuscule, vous pouvez appeler get_namespaces('a', chr(ord('z') + 1)). Tous ces éléments, sauf get_namespaces(), sont implicitement limités à l'espace de noms actuel. Les opérations d'obtention et de requête de métadonnées sont facturées de la même manière que celles appliquées à Datastore.

Requêtes de statistiques

Datastore conserve des statistiques sur les données stockées pour une application, telles que le nombre d'entités d'un genre donné ou l'espace utilisé par les valeurs de propriété d'un type donné. Vous pouvez consulter ces statistiques dans la console Google Cloud, sur la page Tableau de bord.

Vous pouvez également accéder à ces valeurs de manière automatisée dans l'application en interrogeant des entités spécialement désignées à l'aide de l'API Datastore. Chaque statistique est accessible en tant qu'entité dont le nom de genre commence et se termine par deux traits de soulignement. Par exemple, chaque application possède exactement une entité du genre __Stat_Total__ qui représente des statistiques sur toutes les entités de Datastore au total. Chaque entité statistique possède les propriétés suivantes :

  • count, le nombre d'éléments pris en compte par la statistique (un entier long)
  • bytes, la taille totale des éléments pour cette statistique (un entier long)
  • timestamp, l'heure de la mise à jour de la statistique la plus récente (une valeur date-heure)

Certains genres de statistiques possèdent également des propriétés supplémentaires, répertoriées ci-dessous.

Pour accéder aux entités statistiques, une application peut avoir recours aux classes de modèle fournies par le package google.appengine.ext.ndb.stats.

from google.appengine.ext.ndb import stats

global_stat = stats.GlobalStat.query().get()
print 'Total bytes stored: %d' % global_stat.bytes
print 'Total entities stored: %d' % global_stat.count

Lorsque le système de statistiques crée des entités statistiques, il ne supprime pas immédiatement les anciennes. Le meilleur moyen d'obtenir un affichage cohérent des statistiques est de requérir l'entité GlobalStat dotée de la valeur timestamp la plus récente, puis d'utiliser cette valeur comme filtre lors de la récupération d'autres entités statistiques.

Les entités statistiques sont incluses dans les valeurs statistiques calculées. Elles utilisent l'espace en fonction du nombre de noms de propriétés et de genres uniques utilisés par l'application.

Le système de statistiques crée également des statistiques spécifiques à chaque espace de noms. Veuillez noter que si une application n'utilise pas les espaces de noms Datastore, les statistiques spécifiques aux espaces de noms ne seront pas créées. Les statistiques spécifiques à un espace de noms se trouvent dans l'espace de noms auquel elles se rapportent. Les noms de genres pour les statistiques spécifiques à un espace de noms portent le préfixe __Stat_Ns_ et le même suffixe que les genres de statistiques à l'échelle de l'application.

Les applications comportant des milliers d'espaces de noms, de genres ou de noms de propriétés nécessitent un très grand nombre d'entités statistiques. Pour que le temps nécessaire au stockage et à la mise à jour des statistiques reste raisonnable, Datastore supprime progressivement les entités statistiques, dans l'ordre suivant :

  • Statistiques par espace de noms, par genre et par propriété : __Stat_Ns_PropertyName_Kind__, __Stat_Ns_PropertyType_PropertyName_Kind__
  • Statistiques par genre et par propriété : __Stat_PropertyName_Kind__, __Stat_PropertyType_PropertyName_Kind__
  • Statistiques par espace de noms et par genre : __Stat_Ns_Kind__, __Stat_Ns_Kind_IsRootEntity__, __Stat_Ns_Kind_NotRootEntity__, __Stat_Ns_PropertyType_Kind__
  • Statistiques par genre : __Stat_Kind__, __Stat_Kind_IsRootEntity__, __Stat_Kind_NotRootEntity__, __Stat_PropertyType_Kind__
  • Statistiques par espace de noms : __Stat_Namespace__, __Stat_Ns_Kind_CompositeIndex__, __Stat_Ns_PropertyType__, __Stat_Ns_Total__

Les entités statistiques récapitulatives (__Stat_Kind_CompositeIndex__, __Stat_PropertyType__, __Stat_Total__) ne sont jamais supprimées.

La liste complète des statistiques disponibles est la suivante :

Statistique Genre d'entité statistique Description
toutes les entités __Stat_Total__
Classe Python : GlobalStat
Entrée spécifique à un espace de noms :
__Stat_Ns_Total__
Classe Python : NamespaceGlobalStat
Toutes les entités. Propriétés supplémentaires :

entity_bytes : l'espace de stockage dans la table des entités, mesuré en octets
builtin_index_bytes : l'espace de stockage dans les entrées d'index intégrées, mesuré en octets
builtin_index_count : le nombre d'entrées d'index intégrées
composite_index_bytes : l'espace de stockage dans les entrées d'index composite, mesuré en octets
composite_index_count : le nombre d'entrées d'index composite
Toutes les entités dans un espace de noms __Stat_Namespace__
Classe Python : NamespaceStat
Notez que les entités __Stat_Namespace__ sont créées pour chaque espace de noms rencontré et ne se trouvent que dans l'espace de noms de chaîne vide.
Toutes les entités dans un espace de noms.

subject_namespace : l'espace de noms représenté (une chaîne)
entity_bytes : l'espace de stockage dans la table des entités, mesuré en octets
builtin_index_bytes : l'espace de stockage dans les entrées d'index intégrées, mesuré en octets
builtin_index_count : le nombre d'entrées d'index intégrées
composite_index_bytes : l'espace de stockage dans les entrées d'index composite, mesuré en octets
composite_index_count : le nombre d'entrées d'index composite
Toutes les entrées dans les index définis par l'application __Stat_Kind_CompositeIndex__
Entrée spécifique à un espace de noms : __Stat_Ns_Kind_CompositeIndex__

Classe Python : KindStat
Entrées dans la table d'index composite ; une entité statistique pour chaque genre d'entité stockée. Propriétés supplémentaires :

index_id : l'identifiant de l'index
kind_name : le nom du genre représenté (une chaîne)
Entités d'un genre __Stat_Kind__
Classe Python : KindStat
Entrée spécifique à un espace de noms :
__Stat_Ns_Kind__
Classe Python : NamespaceKindStat
Entités d'un genre ; une entité statistique pour chaque genre d'entité stocké. Propriétés supplémentaires :

kind_name : le nom du genre représenté (une chaîne)
entity_bytes : l'espace de stockage dans la table des entités, mesuré en octets
builtin_index_bytes : l'espace de stockage dans les entrées d'index intégrées, mesuré en octets
builtin_index_count : le nombre d'entrées d'index intégrées
composite_index_bytes : l'espace de stockage dans les entrées d'index composite, mesuré en octets
composite_index_count : le nombre d'entrées d'index composite
Entités racines d'un genre __Stat_Kind_IsRootEntity__
Classe Python : KindRootEntityStat
Entrée spécifique à un espace de noms :
__Stat_Ns_Kind_IsRootEntity__
Classe Python : NamespaceKindRootEntityStat
Entités d'un genre qui sont les entités racines d'un groupe d'entités (sans parent ascendant) ; une entité statistique pour chaque genre d'entité stocké. Propriétés supplémentaires :

kind_name : le nom du genre représenté (une chaîne)
entity_bytes : l'espace de stockage dans la table des entités, mesuré en octets
Entités non racines d'un genre __Stat_Kind_NotRootEntity__
Classe Python : KindNotRootEntityStat
Entrée spécifique à un espace de noms :
__Stat_Ns_Kind_NotRootEntity__
Classe Python : NamespaceKindNotRootEntityStat
Entités d'un genre qui ne sont pas les entités racines d'un groupe d'entités (avec parent ascendant) ; une entité statistique pour chaque genre d'entité stocké. Propriétés supplémentaires :

kind_name : le nom du genre représenté (une chaîne)
entity_bytes : l'espace de stockage dans la table des entités, mesuré en octets
propriétés d'un type __Stat_PropertyType__
Classe Python : PropertyTypeStat
Entrée spécifique à un espace de noms :
__Stat_Ns_PropertyType__
Classe Python : NamespacePropertyTypeStat
Propriétés d'un type de valeur sur l'ensemble des entités ; une entité statistique par type de valeur. Propriétés supplémentaires :

• property_type : nom du type de valeur (une chaîne)
• entity_bytes : espace de stockage de la table des entités mesuré en octets.
builtin_index_bytes : l'espace de stockage dans les entrées d'index intégrées, mesuré en octets
builtin_index_count : le nombre d'entrées d'index intégrées
Propriétés d'un type par genre __Stat_PropertyType_Kind__
Classe Python : KindPropertyTypeStat
Entrée spécifique à un espace de noms :
__Stat_Ns_PropertyType_Kind__
Classe Python : NamespaceKindPropertyTypeStat
Propriétés d'un type de valeur sur les entités d'un genre donné ; une entité statistique par combinaison de type de propriété et de genre. Propriétés supplémentaires :

property_type : le nom du type de valeur (une chaîne)
kind_name : le nom du genre représenté (une chaîne)
entity_bytes : l'espace de stockage dans la table des entités, mesuré en octets
builtin_index_bytes : l'espace de stockage dans les entrées d'index intégrées, mesuré en octets
builtin_index_count : le nombre d'entrées d'index intégrées
propriétés avec un nom __Stat_PropertyName_Kind__
Classe Python : KindPropertyNameStat
Entrée spécifique à un espace de noms :
__Stat_Ns_PropertyName_Kind__
Classe Python : NamespaceKindPropertyNameStat
Propriétés avec un nom donné sur les entités d'un genre donné ; une entité statistique par combinaison de nom de propriété unique et de genre. Propriétés supplémentaires :

property_name : le nom de la propriété (une chaîne)
kind_name : le nom du genre représenté (une chaîne)
entity_bytes : l'espace de stockage dans la table des entités, mesuré en octets
builtin_index_bytes : l'espace de stockage dans les entrées d'index intégrées, mesuré en octets
builtin_index_count : le nombre d'entrées d'index intégrées
Propriétés d'un type comportant un nom __Stat_PropertyType_PropertyName_Kind__
Classe Python : KindPropertyNamePropertyTypeStat
Entrée spécifique à un espace de noms :
__Stat_Ns_PropertyType_PropertyName_Kind__
Classe Python : NamespaceKindPropertyNamePropertyTypeStat
Propriétés avec un nom donné et un type de valeur donné sur les entités d'un genre donné ; une entité statistique par combinaison de nom de propriété, de type de valeur et de genre existant dans Datastore. Propriétés supplémentaires :

property_type : le nom du type de valeur (une chaîne)
property_name : le nom de la propriété (une chaîne)
kind_name : le nom du genre représenté (une chaîne)
entity_bytes : l'espace de stockage dans la table des entités, mesuré en octets
builtin_index_bytes : l'espace de stockage dans les entrées d'index intégrées, mesuré en octets
builtin_index_count : le nombre d'entrées d'index intégrées

Certaines statistiques font référence aux types des valeurs de propriétés du magasin de données en utilisant leurs noms, en tant que chaînes. Ces noms sont les suivants :

  • "Blob"
  • "BlobKey"
  • "Boolean"
  • "Category"
  • "Date/Time"
  • "Email"
  • "Float"
  • "GeoPt"
  • "IM"
  • "Integer"
  • "Key"
  • "Link"
  • "NULL"
  • "PhoneNumber"
  • "PostalAddress"
  • "Rating"
  • "ShortBlob"
  • "String"
  • "Text"
  • "User"