NDB 管理

一些工具和 API 可帮助您更轻松地管理应用的已存储数据。

Google Cloud 控制台

使用 Google Cloud 控制台时,请记住 NDB 是通过 Datastore 和 Memcache 实现的。当 NDB“读取”某个值时,会先检查 Memcache;只有在 Memcache 中找不到该值时,才会从 Datastore 中读取。

因此,使用 Google Cloud 控制台修改 Datastore 中的某实体时,如果该值位于 Memcache 中,则应用可能仍会使用“旧”值。您可以通过清除 Memcache 中的数据来解决此问题。不过,这种做法会造成一定程度的中断;如果您需要经常“手动”调整值,则可能需要在应用中为此设置一个界面,以便通过 NDB 客户端库写入值;如果通过 NDB 写入值,可以让 Datastore 与 Memcache 保持同步。

元数据查询

NDB 支持元数据查询 API。这有助于应用获取关于其 Datastore 使用情况的一些常规信息。此 API 位于 google.appengine.ext.ndb.metadata 模块中。包含以下函数:

  • get_namespaces(start=None, end=None):返回命名空间名称列表
  • get_kinds(start=None, end=None):返回种类名称列表
  • get_properties_of_kind(kind, start=None, end=None):返回给定种类名称的属性名称列表
  • get_representations_of_kind(kind, start=None, end=None):将给定种类名称的字典映射属性名称返回到表示法名称列表中,如“STRING”,“BOOLEAN”或“INT64”。

这些函数具有可选的 startend 参数,可用于将查询限制到特定范围内。其中,start 含边界值,而 end 不含边界值。两者均默认为 None。例如,如需获取所有以小写字母开头的命名空间,您可以调用 get_namespaces('a', chr(ord('z') + 1))。除 get_namespaces() 以外的所有这些函数均隐式地限制于当前命名空间。元数据获取和查询的计费方式与 Datastore 获取和查询相同

统计信息查询

Datastore 维护为应用所存储数据的相关统计信息,例如给定种类的实体数量,或者给定类型的属性值使用的空间大小。您可以在 Google Cloud 控制台的信息中心页面中查看这些统计信息。

您还可以使用 Datastore API 查询特定命名的实体,在应用内以编程方式访问这些值。每项统计信息都可以作为实体(其种类名称以两条下划线开头和结尾)进行访问。例如,每个应用只有一个种类为 __Stat_Total__ 的实体,该实体表示有关 Datastore 数据库中的所有实体的总体统计信息。每个统计信息实体都具有以下属性:

  • count,此统计信息所涉及的内容数量(长整数)
  • bytes,此统计信息所对应的内容总大小(长整数)
  • timestamp,此统计信息的最近更新时间(日期-时间值)

某些统计信息种类还具有下面列出的额外属性。

应用可以使用 google.appengine.ext.ndb.stats 软件包提供的模型类来访问统计信息实体。

from google.appengine.ext.ndb import stats

global_stat = stats.GlobalStat.query().get()
print 'Total bytes stored: %d' % global_stat.bytes
print 'Total entities stored: %d' % global_stat.count

统计信息系统在创建新的统计信息实体时,不会立即删除旧的统计信息实体。获取统计信息的一致视图的最佳方法是查询具有最新 timestampGlobalStat 实体,然后在提取其他统计信息实体时,将该时间戳值用作过滤器。

统计信息实体包含在计算得出的统计值中。统计信息实体占用的空间取决于应用的唯一种类和属性名称的数量。

统计信息系统还将创建特定于每个命名空间的统计信息。请注意,如果应用不使用 Datastore 命名空间,系统将不会创建特定于命名空间的统计信息。特定于命名空间的统计信息可在其对应的命名空间中找到。这些特定于命名空间的统计信息的种类名称以 __Stat_Ns_ 为前缀,并具有与应用范围内的统计信息种类相同的对应后缀。

具有数以千计命名空间、种类或属性名称的应用需要大量的统计信息实体。为了使存储和更新统计信息的开销保持在合理范围内,Datastore 会按以下顺序逐步删除统计信息实体:

  • 每个命名空间、每个种类和每个属性的统计信息:__Stat_Ns_PropertyName_Kind____Stat_Ns_PropertyType_PropertyName_Kind__
  • 每个种类和每个属性的统计信息:__Stat_PropertyName_Kind____Stat_PropertyType_PropertyName_Kind__
  • 每个命名空间和每个种类的统计信息:__Stat_Ns_Kind____Stat_Ns_Kind_IsRootEntity____Stat_Ns_Kind_NotRootEntity____Stat_Ns_PropertyType_Kind__
  • 每个种类的统计信息:__Stat_Kind____Stat_Kind_IsRootEntity____Stat_Kind_NotRootEntity____Stat_PropertyType_Kind__
  • 每个命名空间的统计信息:__Stat_Namespace____Stat_Ns_Kind_CompositeIndex____Stat_Ns_PropertyType____Stat_Ns_Total__

请注意,系统永远不会删除汇总统计信息实体(__Stat_Kind_CompositeIndex____Stat_PropertyType____Stat_Total__)。

可用统计信息的完整列表如下:

统计信息 统计信息实体种类 说明
所有实体 __Stat_Total__
Python 类:GlobalStat
特定于命名空间的条目:
__Stat_Ns_Total__
Python 类:NamespaceGlobalStat
所有实体。其他属性:

entity_bytes:实体表中的存储空间(以字节为单位)。
builtin_index_bytes:内置索引条目中的存储空间(以字节为单位)。
builtin_index_count:内置索引条目的计数。
composite_index_bytes:复合索引条目中的存储空间(以字节为单位)。
composite_index_count:复合索引条目的计数。
命名空间中的所有实体 __Stat_Namespace__
Python 类:NamespaceStat
请注意,系统将为遇到的每个命名空间创建 __Stat_Namespace__ 实体,并且您只能在空字符串命名空间中找到此类实体。
命名空间中的所有实体。

subject_namespace,代表的命名空间(字符串)
entity_bytes:实体表中的存储空间(以字节为单位)。
builtin_index_bytes:内置索引条目中的存储空间(以字节为单位)。
builtin_index_count:内置索引条目的计数。
composite_index_bytes:复合索引条目中的存储空间(以字节为单位)。
composite_index_count:复合索引条目的计数。
应用定义的索引中的所有条目 __Stat_Kind_CompositeIndex__
特定于命名空间的条目:__Stat_Ns_Kind_CompositeIndex__

Python 类:KindStat
复合索引表中的条目;存储的每个实体种类都有一个统计信息实体。其他属性:

index_id,索引 ID。
kind_name,代表的种类名称(字符串)
某个种类的实体 __Stat_Kind__
Python 类:KindStat
特定于命名空间的条目:
__Stat_Ns_Kind__
Python 类:NamespaceKindStat
某个种类的实体;存储的每个实体种类都有一个统计信息实体。其他属性:

kind_name,代表的种类名称(字符串)
entity_bytes:实体表中的存储空间(以字节为单位)。
builtin_index_bytes:内置索引条目中的存储空间(以字节为单位)。
builtin_index_count:内置索引条目的计数。
composite_index_bytes:复合索引条目中的存储空间(以字节为单位)。
composite_index_count:复合索引条目的计数。
某个种类的根实体 __Stat_Kind_IsRootEntity__
Python 类:KindRootEntityStat
特定于命名空间的条目:
__Stat_Ns_Kind_IsRootEntity__
Python 类:NamespaceKindRootEntityStat
作为实体组根实体(没有祖先父实体)的某个种类的实体;存储的每个实体种类都有一个统计信息实体。其他属性:

kind_name,代表的种类名称(字符串)
entity_bytes:实体表中的存储空间(以字节为单位)。
某个种类的非根实体 __Stat_Kind_NotRootEntity__
Python 类:KindNotRootEntityStat
特定于命名空间的条目:
__Stat_Ns_Kind_NotRootEntity__
Python 类:NamespaceKindNotRootEntityStat
不是实体组根实体(具有祖先父实体)的某个种类的实体;存储的每个实体种类都有一个统计信息实体。其他属性:

kind_name,代表的种类名称(字符串)
entity_bytes:实体表中的存储空间(以字节为单位)。
某种类型的属性 __Stat_PropertyType__
Python 类:PropertyTypeStat
特定于命名空间的条目:
__Stat_Ns_PropertyType__
Python 类:NamespacePropertyTypeStat
所有实体中某种值类型的属性;每种值类型都有一个统计信息实体。其他属性:

property_type,值类型的名称(字符串)
entity_bytes:实体表中的存储空间(以字节为单位)。
builtin_index_bytes:内置索引条目中的存储空间(以字节为单位)。
builtin_index_count:内置索引条目的计数。
每个种类中某种类型的属性 __Stat_PropertyType_Kind__
Python 类:KindPropertyTypeStat
特定于命名空间的条目:
__Stat_Ns_PropertyType_Kind__
Python 类:NamespaceKindPropertyTypeStat
给定种类的各实体中某种值类型的属性;每个属性类型和种类组合都有一个统计信息实体。其他属性:

property_type,值类型的名称(字符串)
kind_name,代表的种类名称(字符串)
entity_bytes:实体表中的存储空间(以字节为单位)。
builtin_index_bytes:内置索引中的存储空间(以字节为单位)。
builtin_index_count:内置索引条目的计数。
具有某个名称的属性 __Stat_PropertyName_Kind__
Python 类:KindPropertyNameStat
特定于命名空间的条目:
__Stat_Ns_PropertyName_Kind__
Python 类:NamespaceKindPropertyNameStat
给定种类的各实体中具有某个给定名称的属性;每个唯一属性名称和种类组合都有一个统计信息实体。其他属性:

property_name,属性的名称(字符串)
kind_name,代表的种类名称(字符串)
entity_bytes:实体表中的存储空间(以字节为单位)。
builtin_index_bytes:内置索引条目中的存储空间(以字节为单位)。
builtin_index_count:内置索引条目的计数。
某种类型的具有某个名称的属性 __Stat_PropertyType_PropertyName_Kind__
Python 类:KindPropertyNamePropertyTypeStat
特定于命名空间的条目:
__Stat_Ns_PropertyType_PropertyName_Kind__
Python 类:NamespaceKindPropertyNamePropertyTypeStat
给定种类的各实体中具有给定名称和给定值类型的属性;Datastore 中存在的每个属性名称、值类型和种类的组合都有一个统计信息实体。额外属性:

property_type,值类型的名称(字符串)
property_name,属性的名称(字符串)
kind_name,代表的种类名称(字符串)
entity_bytes:实体表中的存储空间(以字节为单位)。
builtin_index_bytes:内置索引条目中的存储空间(以字节为单位)。
builtin_index_count:内置索引条目的计数。

某些统计信息按名称以字符串形式引用 Datastore 属性值类型。这些名称如下:

  • "Blob"
  • "BlobKey"
  • "Boolean"
  • "Category"
  • "Date/Time"
  • "Email"
  • "Float"
  • "GeoPt"
  • "IM"
  • "Integer"
  • "Key"
  • "Link"
  • "NULL"
  • "PhoneNumber"
  • "PostalAddress"
  • "Rating"
  • "ShortBlob"
  • "String"
  • "Text"
  • "User"