Query NDB

Un'applicazione può utilizzare le query per cercare nel datastore entità che corrispondono a criteri di ricerca specifici chiamati filtri.

Panoramica

Un'applicazione può utilizzare le query per cercare nel datastore entità che corrispondono a criteri di ricerca specifici chiamati filtri. Ad esempio, un'applicazione che tiene traccia di diversi libri degli ospiti potrebbe utilizzare una query per recuperare i messaggi da un libro degli ospiti, ordinati per data:

from google.appengine.ext import ndb
... 
class Greeting(ndb.Model):
    """Models an individual Guestbook entry with content and date."""
    content = ndb.StringProperty()
    date = ndb.DateTimeProperty(auto_now_add=True)

    @classmethod
    def query_book(cls, ancestor_key):
        return cls.query(ancestor=ancestor_key).order(-cls.date)
... 
class MainPage(webapp2.RequestHandler):
    GREETINGS_PER_PAGE = 20

    def get(self):
        guestbook_name = self.request.get('guestbook_name')
        ancestor_key = ndb.Key('Book', guestbook_name or '*notitle*')
        greetings = Greeting.query_book(ancestor_key).fetch(
            self.GREETINGS_PER_PAGE)

        self.response.out.write('<html><body>')

        for greeting in greetings:
            self.response.out.write(
                '<blockquote>%s</blockquote>' % cgi.escape(greeting.content))

        self.response.out.write('</body></html>')

Alcune query sono più complesse di altre, poiché il datastore ha bisogno di indici predefiniti. Questi indici predefiniti sono specificati in un file di configurazione, index.yaml. Sul server di sviluppo, se esegui una query che richiede un indice che non hai specificato, il server di sviluppo lo aggiunge automaticamente al suo index.yaml. Tuttavia, nel tuo sito web, una query che richiede un indice non ancora specificato ha esito negativo. Di conseguenza, il ciclo di sviluppo tipico prevede di provare una nuova query sul server di sviluppo e quindi di aggiornare il sito web in modo che utilizzi il valore index.yaml modificato automaticamente. Puoi aggiornare index.yaml separatamente dal caricamento dell'applicazione eseguendo gcloud app deploy index.yaml. Se il tuo datastore ha molte entità, la creazione di un nuovo indice richiede molto tempo; in questo caso, è consigliabile aggiornare le definizioni dell'indice prima di caricare il codice che utilizza il nuovo indice. Puoi utilizzare la console di amministrazione per sapere quando è stata completata la creazione degli indici.

Il datastore di App Engine supporta in modo nativo i filtri per le corrispondenze esatte (l'operatore ==) e i confronti (gli operatori <, <=, > e >=). Supporta la combinazione di più filtri tramite un'operazione booleana AND, con alcune limitazioni (vedi di seguito).

Oltre agli operatori nativi, l'API supporta l'operatore !=, combinando gruppi di filtri tramite l'operazione booleana OR e l'operazione IN, che verifica l'uguaglianza con uno di un elenco di possibili valori (come l'operatore "in" di Python). Queste operazioni non vengono mappate 1:1 alle operazioni native di Datastore, pertanto sono un po' strane e lente relativamente. Vengono implementati utilizzando l'unione in memoria dei flussi di risultati. Tieni presente che p != v è implementato come "p < v OR p > v". (Questo aspetto è importante per le proprietà ripetute).

Limitazioni: Datastore applica alcune restrizioni alle query. In caso di violazione, verranno generate delle eccezioni. Ad esempio, al momento non è consentita la combinazione di troppi filtri, l'utilizzo di disuguaglianze per più proprietà o la combinazione di una disuguaglianza con un ordinamento in una proprietà diversa. Anche i filtri che fanno riferimento a più proprietà, a volte richiedono la configurazione di indici secondari.

Non supportato: Datastore non supporta direttamente corrispondenze di sottostringhe, corrispondenze senza distinzione tra maiuscole e minuscole o la cosiddetta ricerca a testo intero. Esistono modi per implementare corrispondenze senza distinzione tra maiuscole e minuscole e persino la ricerca a testo intero utilizzando le proprietà calcolate.

Filtro per valori proprietà

Ricorda la classe Account di Proprietà NDB: 

class Account(ndb.Model):
    username = ndb.StringProperty()
    userid = ndb.IntegerProperty()
    email = ndb.StringProperty()

In genere, non vuoi recuperare tutte le entità di un determinato tipo, bensì solo quelle con un valore o un intervallo di valori specifico per una proprietà.

Gli oggetti delle proprietà sovraccaricano alcuni operatori per restituire espressioni di filtro che possono essere utilizzate per controllare una query: ad esempio, per trovare tutte le entità Account la cui proprietà userid ha il valore esatto 42, puoi utilizzare l'espressione 

query = Account.query(Account.userid == 42)

Se hai la certezza che esista un solo elemento Account con userid, potresti preferire utilizzare userid come chiave. Account.get_by_id(...) è più veloce di Account.query(...).get().)

NDB supporta le seguenti operazioni:

property == value
property < value
property <= value
property > value
property >= value
property != value
property.IN([value1, value2])

Per filtrare in base a una disuguaglianza, puoi utilizzare una sintassi come la seguente: 

query = Account.query(Account.userid >= 40)

Vengono trovate tutte le entità dell'account la cui proprietà userid è maggiore o uguale a 40.

Due di queste operazioni, != e IN, sono implementate come combinazioni delle altre e sono un po' stravaganti come descritto in != e IN.

Puoi specificare più filtri: 

query = Account.query(Account.userid >= 40, Account.userid < 50)

Combina gli argomenti di filtro specificati, restituendo tutte le entità Account il cui valore userid è maggiore o uguale a 40 e inferiore a 50.

Nota: come accennato in precedenza, Datastore rifiuta le query utilizzando un filtro di disuguaglianza su più di una proprietà.

Anziché specificare un intero filtro di query in una singola espressione, potresti trovare più pratico crearlo in passaggi: ad esempio: 

query1 = Account.query()  # Retrieve all Account entitites
query2 = query1.filter(Account.userid >= 40)  # Filter on userid >= 40
query3 = query2.filter(Account.userid < 50)  # Filter on userid < 50 too

query3 è equivalente alla variabile query dell'esempio precedente. Tieni presente che gli oggetti di query sono immutabili, quindi la costruzione di query2 non influisce su query1 e la costruzione di query3 non influisce su query1 o query2.

Le operazioni != e IN

Ricorda la classe Articolo delle proprietà NDB: 

class Article(ndb.Model):
    title = ndb.StringProperty()
    stars = ndb.IntegerProperty()
    tags = ndb.StringProperty(repeated=True)

Le operazioni != (diverso da) e IN (abbonamento) vengono implementate combinando altri filtri mediante l'operazione OR. Il primo di questi 

property != value

viene implementato come 

(property < value) OR (property > value)

Ad esempio: 

query = Article.query(Article.tags != 'perl')

è equivalente a 

query = Article.query(ndb.OR(Article.tags < 'perl',
                             Article.tags > 'perl'))

Nota: è sorprendente che questa query non cerchi entità Article che non includono "perl" come tag. Vengono invece trovate tutte le entità con almeno un tag disuguale a "perl". Ad esempio, la seguente entità verrebbe inclusa nei risultati, anche se ha "perl" come uno dei suoi tag:

Article(title='Perl + Python = Parrot',
        stars=5,
        tags=['python', 'perl'])

Tuttavia, questo non viene incluso:

Article(title='Introduction to Perl',
        stars=3,
        tags=['perl'])

Non è possibile eseguire query su entità che non includono un tag uguale a "perl".

Analogamente, l'operazione IN 

property IN [value1, value2, ...]

per i test di appartenenza a un elenco di possibili valori, viene implementato 

(property == value1) OR (property == value2) OR ...

Ad esempio: 

query = Article.query(Article.tags.IN(['python', 'ruby', 'php']))

è equivalente a 

query = Article.query(ndb.OR(Article.tags == 'python',
                             Article.tags == 'ruby',
                             Article.tags == 'php'))

Nota: le query che utilizzano OR deduplicano i risultati: il flusso di risultati non include l'entità più di una volta, anche se un'entità corrisponde a due o più sottoquery.

Esecuzione di query per proprietà ripetute

La classe Article definita nella sezione precedente funge anche da esempio di esecuzione di query per le proprietà ripetute. In particolare, un filtro come 

Article.tags == 'python'

utilizza un singolo valore, anche se Article.tags è una proprietà ripetuta. Non puoi confrontare le proprietà ripetute con gli oggetti elencati (il datastore non le capisce). 

Article.tags.IN(['python', 'ruby', 'php'])

fa qualcosa di completamente diverso dalla ricerca delle entità Article il cui valore dei tag è l'elenco ['python', 'ruby', 'php']: cerca entità il cui valore tags (considerato come elenco) contiene almeno uno di questi valori.

L'esecuzione di query su un valore di None su una proprietà ripetuta ha un comportamento indefinito; non farlo.

Combinazione di operazioni AND e OR

Puoi nidificare in modo arbitrario le operazioni AND e OR. Ad esempio: 

query = Article.query(ndb.AND(Article.tags == 'python',
                              ndb.OR(Article.tags.IN(['ruby', 'jruby']),
                                     ndb.AND(Article.tags == 'php',
                                             Article.tags != 'perl'))))

Tuttavia, a causa dell'implementazione di OR, una query di questo modulo troppo complessa potrebbe non riuscire, con un'eccezione. Per maggiore sicurezza, normalizzi questi filtri in modo che sia presente (al massimo) una singola operazione OR in cima all'albero delle espressioni e un singolo livello di operazioni AND sotto.

Per eseguire questa normalizzazione, devi ricordare sia le regole della logica booleana sia il modo in cui i filtri != e IN vengono effettivamente implementati:

  1. Espandi gli operatori != e IN alla loro forma primitiva, dove != diventa un controllo che la proprietà sia < o > rispetto al valore, mentre IN diventa un controllo che la proprietà sia == al primo valore o al secondo valore o...fino all'ultimo valore dell'elenco.
  2. Un elemento AND con un OR all'interno equivale a un OR di più AND applicati agli operandi AND originali, con un singolo operando OR sostituito dall'operando OR originale. Ad esempio AND(a, b, OR(c, d)) è equivalente a OR(AND(a, b, c), AND(a, b, d))
  3. Un elemento AND che contiene un operando stesso di un'operazione AND può incorporare gli operandi dell'elemento AND nidificato nell'elemento AND che lo contiene. Ad esempio, AND(a, b, AND(c, d)) è equivalente a AND(a, b, c, d)
  4. Un elemento OR che contiene un operando che è a sua volta un'operazione OR può incorporare gli operandi dell'elemento OR nidificato nell'elemento OR che lo contiene. Ad esempio, OR(a, b, OR(c, d)) è equivalente a OR(a, b, c, d)

Se applichiamo queste trasformazioni in fasi al filtro di esempio, utilizzando una notazione più semplice di Python, ottieni:

  1. Utilizzo della regola n. 1 con gli operatori IN e !=: 
    AND(tags == 'python',
  OR(tags == 'ruby',
     tags == 'jruby',
     AND(tags == 'php',
         OR(tags < 'perl', tags > 'perl'))))
  2. Utilizzo della regola n. 2 per l'elemento OR più interno nidificato all'interno di un elemento AND: 
    AND(tags == 'python',
  OR(tags == 'ruby',
     tags == 'jruby',
     OR(AND(tags == 'php', tags < 'perl'),
        AND(tags == 'php', tags > 'perl'))))
  3. Utilizzo della regola n. 4 su OR nidificata all'interno di un altro OR: 
    AND(tags == 'python',
  OR(tags == 'ruby',
     tags == 'jruby',
     AND(tags == 'php', tags < 'perl'),
     AND(tags == 'php', tags > 'perl')))
  4. Utilizzo della regola n. 2 sui restanti OR nidificati all'interno di un AND: 
    OR(AND(tags == 'python', tags == 'ruby'),
   AND(tags == 'python', tags == 'jruby'),
   AND(tags == 'python', AND(tags == 'php', tags < 'perl')),
   AND(tags == 'python', AND(tags == 'php', tags > 'perl')))
  5. Utilizzo della regola n. 3 per comprimere gli elementi AND nidificati rimanenti: 
    OR(AND(tags == 'python', tags == 'ruby'),
   AND(tags == 'python', tags == 'jruby'),
   AND(tags == 'python', tags == 'php', tags < 'perl'),
   AND(tags == 'python', tags == 'php', tags > 'perl'))

Attenzione: per alcuni filtri, questa normalizzazione può causare un'esplosione combinatoria. Considera AND di 3 clausole OR con due clausole di base ciascuna. Una volta normalizzata, diventa un OR di 8 clausole AND con 3 clausole di base ciascuna, ovvero 6 termini diventano 24.

Specificare gli ordini di ordinamento

Puoi utilizzare il metodo order() per specificare l'ordine in cui una query restituisce i risultati. Questo metodo accetta un elenco di argomenti, ognuno dei quali è un oggetto della proprietà (da ordinare in ordine crescente) o la relativa negazione (in ordine decrescente). Ad esempio: 

query = Greeting.query().order(Greeting.content, -Greeting.date)

Questa operazione recupera tutte le entità Greeting, ordinate in base al valore crescente della relativa proprietà content. Le esecuzioni di entità consecutive con la stessa proprietà di contenuti verranno ordinate in base al valore decrescente della proprietà date. Puoi utilizzare più chiamate order() per ottenere lo stesso effetto: 

query = Greeting.query().order(Greeting.content).order(-Greeting.date)

Nota: quando combini i filtri con order(), Datastore rifiuta determinate combinazioni. In particolare, quando utilizzi un filtro di disuguaglianza, il primo ordinamento (se presente) deve specificare la stessa proprietà del filtro. Inoltre, a volte è necessario configurare un indice secondario.

Query su Ancestor

Le query sui dati predecessori consentono di eseguire query a elevata coerenza nel datastore, tuttavia le entità con lo stesso predecessore sono limitate a 1 scrittura al secondo. Ecco un semplice confronto dei compromessi e della struttura tra una query predecessore e una query non predecessore utilizzando i clienti e i relativi acquisti associati nel datastore.

Nel seguente esempio di non predecessore, è presente un'entità nel datastore per ogni Customer e un'entità nel datastore per ogni Purchase, con un KeyProperty che rimanda al cliente.

class Customer(ndb.Model):
    name = ndb.StringProperty()

class Purchase(ndb.Model):
    customer = ndb.KeyProperty(kind=Customer)
    price = ndb.IntegerProperty()

Per trovare tutti gli acquisti di proprietà del cliente, puoi utilizzare la seguente query:

purchases = Purchase.query(
    Purchase.customer == customer_entity.key).fetch()

In questo caso, il datastore offre una velocità effettiva di scrittura elevata, ma solo la coerenza finale. Se è stato aggiunto un nuovo acquisto, potresti ricevere dati inattivi. Puoi eliminare questo comportamento utilizzando query sui predecessori.

Per i clienti e gli acquisti con query sui predecessori, hai comunque la stessa struttura con due entità separate. La parte del cliente è la stessa. Tuttavia, quando crei acquisti, non devi più specificare il KeyProperty() per gli acquisti. Questo perché quando utilizzi query dei predecessori, chiami la chiave dell'entità cliente quando crei un'entità purchase.

class Customer(ndb.Model):
    name = ndb.StringProperty()

class Purchase(ndb.Model):
    price = ndb.IntegerProperty()

Ogni acquisto ha una chiave e anche il cliente ha la sua. Tuttavia, in ogni chiave di acquisto sarà incorporata la chiave di customer_entity. Ricorda che questa operazione sarà limitata a una scrittura per predecessore al secondo. Quanto segue crea un'entità con un predecessore:

purchase = Purchase(parent=customer_entity.key)

Per eseguire una query sugli acquisti di un determinato cliente, utilizza la seguente query.

purchases = Purchase.query(ancestor=customer_entity.key).fetch()

Attributi query

Gli oggetti query hanno i seguenti attributi dei dati di sola lettura:

Attributo Tipo Predefinito Descrizione
kind str None Nome del tipo (di solito il nome del corso)
ancestor Key None Antenato specificato per la query
filters FilterNode None Espressione di filtro
ordini Order None Ordinare gli ordini

La stampa di un oggetto query (o la chiamata a str() o repr() su di esso) produce una rappresentazione di stringa ben formattata: 

print(Employee.query())
# -> Query(kind='Employee')
print(Employee.query(ancestor=ndb.Key(Manager, 1)))
# -> Query(kind='Employee', ancestor=Key('Manager', 1))

Filtro dei valori delle proprietà strutturate

Una query può filtrare direttamente in base ai valori dei campi delle proprietà strutturate. Ad esempio, una query per tutti i contatti con un indirizzo la cui città è 'Amsterdam' potrebbe essere simile a 

query = Contact.query(Contact.addresses.city == 'Amsterdam')

Se combini più filtri di questo tipo, i filtri potrebbero corrispondere a entità secondarie Address di tipo diverse all'interno della stessa entità Contact. Ad esempio: 

query = Contact.query(Contact.addresses.city == 'Amsterdam',  # Beware!
                      Contact.addresses.street == 'Spear St')

potrebbero trovare contatti con un indirizzo la cui città è 'Amsterdam' e un altro indirizzo (diverso) la cui via è 'Spear St'. Tuttavia, almeno per i filtri di uguaglianza, puoi creare una query che restituisca solo risultati con più valori in una singola sottoentità: 

query = Contact.query(Contact.addresses == Address(city='San Francisco',
                                                   street='Spear St'))

Se utilizzi questa tecnica, le proprietà della sottoentità uguale a None vengono ignorate nella query. Se una proprietà ha un valore predefinito, devi impostarlo esplicitamente su None per ignorarlo nella query, altrimenti la query include un filtro che richiede che il valore della proprietà sia uguale al valore predefinito. Ad esempio, se il modello Address ha una proprietà country con default='us', l'esempio precedente restituirà solo i contatti con paese uguale a 'us'; per considerare i contatti con valori di altri paesi, devi applicare un filtro in base a Address(city='San Francisco', street='Spear St', country=None).

Se una sottoentità ha valori di proprietà uguali a None, vengono ignorati. Pertanto, non ha senso filtrare in base a un valore della proprietà di sottoentità di None.

Utilizzo delle proprietà denominate da una stringa

A volte, vuoi filtrare o ordinare una query in base a una proprietà il cui nome è specificato da una stringa. Ad esempio, se permetti all'utente di inserire query di ricerca come tags:python, sarebbe pratico convertirle in una query come 

Article.query(Article."tags" == "python") # does NOT work

Se il modello è Expando, il filtro può utilizzare GenericProperty, la classe Expando per le proprietà dinamiche: 

property_to_query = 'location'
query = FlexEmployee.query(ndb.GenericProperty(property_to_query) == 'SF')

L'uso di GenericProperty funziona anche se il modello non è Expando, ma per assicurarti di utilizzare solo nomi di proprietà definiti, puoi utilizzare anche l'attributo di classe _properties 

query = Article.query(Article._properties[keyword] == value)

oppure usa getattr() per riceverlo dal corso: 

query = Article.query(getattr(Article, keyword) == value)

La differenza è che getattr() utilizza il "nome Python" della proprietà, mentre _properties è indicizzato con il "nome datastore" della proprietà. Questi valori variano solo quando la proprietà è stata dichiarata con informazioni del tipo 

class ArticleWithDifferentDatastoreName(ndb.Model):
    title = ndb.StringProperty('t')

Qui il nome Python è title, ma il nome del datastore è t.

Questi approcci funzionano anche per ordinare i risultati delle query: 

expando_query = FlexEmployee.query().order(ndb.GenericProperty('location'))

property_query = Article.query().order(Article._properties[keyword])

Iteratori di query

Mentre una query è in corso, il suo stato è mantenuto in un oggetto iteratore. La maggior parte delle applicazioni non li utilizzerà direttamente; di solito è più semplice chiamare fetch(20) che manipolare l'oggetto iteratore. Esistono due modi di base per ottenere un oggetto di questo tipo:

  • usando la funzione iter() integrata di Python su un oggetto Query
  • chiamata al metodo iter() dell'oggetto Query

Il primo supporta l'utilizzo di un loop for Python (che chiama implicitamente la funzione iter()) per eseguire un loop su una query. 

for greeting in greetings:
    self.response.out.write(
        '<blockquote>%s</blockquote>' % cgi.escape(greeting.content))

Il secondo modo, utilizzando il metodo iter() dell'oggetto Query, ti consente di passare opzioni all'iteratore per influenzarne il comportamento. Ad esempio, per utilizzare una query basata solo sulle chiavi in un loop for, puoi scrivere questo: 

for key in query.iter(keys_only=True):
    print(key)

Gli iteratori delle query hanno altri metodi utili:

Metodo Descrizione
__iter__() Parte del protocollo iteratore di Python.
next() Restituisce il risultato successivo o solleva l'eccezione StopIteration se non c'è nessuno.

has_next() Restituisce True se una chiamata next() successiva restituirà un risultato, False se aumenterà StopIteration.

Si blocca finché la risposta a questa domanda non viene nota e il risultato viene memorizzato nel buffer (se presente) finché non la recuperi con next().
probably_has_next() Come has_next(), ma utilizza una scorciatoia più veloce (e a volte imprecisa).

Potrebbe restituire un falso positivo (True quando next() in realtà aumenterà StopIteration), ma mai un falso negativo (False quando next() restituirebbe effettivamente un risultato).
cursor_before() Restituisce un cursore di query che rappresenta un punto immediatamente prima dell'ultimo risultato restituito.

Genera un'eccezione se non è disponibile alcun cursore (in particolare, se l'opzione di query produce_cursors non è stata passata).
cursor_after() Restituisce un cursore di query che rappresenta un punto subito dopo l'ultimo risultato restituito.

Genera un'eccezione se non è disponibile alcun cursore (in particolare, se l'opzione di query produce_cursors non è stata passata).
index_list() Restituisce un elenco di indici utilizzati da una query eseguita, tra cui indici primari, composti, tipo e a proprietà singola.

Cursori di query

Un cursore di query è una piccola struttura di dati opaca che rappresenta un punto di ripresa in una query. Ciò è utile per mostrare a un utente una pagina di risultati alla volta; è utile anche per gestire job lunghi che potrebbero dover essere arrestati e ripresi. Un modo tipico di utilizzarli è il metodo fetch_page() di una query. Funziona in modo simile a fetch(), ma restituisce un valore (results, cursor, more) triplo. Il flag more restituito indica che probabilmente ci sono più risultati. Questa funzionalità può essere utilizzata da un'interfaccia utente, ad esempio per eliminare un link o un pulsante "Pagina successiva". Per richiedere le pagine successive, fai passare il cursore restituito da una chiamata fetch_page() alla successiva. Se passi un cursore non valido, viene visualizzato un BadArgumentError. Tieni presente che la convalida verifica solo se il valore è codificato in base64. Dovrai eseguire le eventuali altre convalide necessarie.

Pertanto, per consentire all'utente di visualizzare tutte le entità corrispondenti a una query, recuperandole una pagina alla volta, il codice potrebbe avere il seguente aspetto: 

from google.appengine.datastore.datastore_query import Cursor
... 
class List(webapp2.RequestHandler):
    GREETINGS_PER_PAGE = 10

    def get(self):
        """Handles requests like /list?cursor=1234567."""
        cursor = Cursor(urlsafe=self.request.get('cursor'))
        greets, next_cursor, more = Greeting.query().fetch_page(
            self.GREETINGS_PER_PAGE, start_cursor=cursor)

        self.response.out.write('<html><body>')

        for greeting in greets:
            self.response.out.write(
                '<blockquote>%s</blockquote>' % cgi.escape(greeting.content))

        if more and next_cursor:
            self.response.out.write('<a href="/list?cursor=%s">More...</a>' %
                                    next_cursor.urlsafe())

        self.response.out.write('</body></html>')

Nota l'utilizzo di urlsafe() e Cursor(urlsafe=s) per serializzare e deserializzare il cursore. Questo ti consente di passare un cursore a un client sul web nella risposta a una richiesta e di riceverlo dal client in una richiesta successiva.

Nota: il metodo fetch_page() in genere restituisce un cursore anche se non ci sono altri risultati, ma questo non è garantito: il valore restituito del cursore potrebbe essere None. Tieni inoltre presente che, poiché il flag more viene implementato utilizzando il metodo probably_has_next() dell'iteratore, in rari casi potrebbe restituire True anche se la pagina successiva è vuota.

Alcune query NDB non supportano i cursori delle query, ma puoi correggerli. Se una query utilizza IN, OR o !=, i risultati della query non funzioneranno con i cursori a meno che non siano ordinati per chiave. Se un'applicazione non ordina i risultati per chiave e chiama fetch_page(), riceve un BadArgumentError. Se User.query(User.name.IN(['Joe', 'Jane'])).order(User.name).fetch_page(N) riceve un errore, modifica il valore in User.query(User.name.IN(['Joe', 'Jane'])).order(User.name, User.key).fetch_page(N)

Anziché "pagare" i risultati delle query, puoi utilizzare il metodo iter() di una query per ottenere un cursore in un punto preciso. Per farlo, passa produce_cursors=True a iter(); quando l'iteratore si trova nel posto giusto, chiama cursor_after() per ottenere un cursore che si trova subito dopo. In alternativa, chiama cursor_before() per un cursore immediatamente prima. Tieni presente che la chiamata a cursor_after() o cursor_before() potrebbe effettuare una chiamata Datastore che blocca, rieseguendo parte della query per estrarre un cursore che punta al centro di un batch.

Per utilizzare un cursore per scorrere i risultati della query a ritroso, crea una query inversa: 

# Set up.
q = Bar.query()
q_forward = q.order(Bar.key)
q_reverse = q.order(-Bar.key)

# Fetch a page going forward.
bars, cursor, more = q_forward.fetch_page(10)

# Fetch the same page going backward.
r_bars, r_cursor, r_more = q_reverse.fetch_page(10, start_cursor=cursor)

Chiamata di una funzione per ogni entità ("Mappatura")

Supponi di dover recuperare le entità Account corrispondenti alle entità Message restituite da una query. Potresti scrivere qualcosa del genere: 

message_account_pairs = []
for message in message_query:
    key = ndb.Key('Account', message.userid)
    account = key.get()
    message_account_pairs.append((message, account))

Tuttavia, questo approccio è piuttosto inefficiente: attende di recuperare un'entità, quindi utilizza l'entità; attende l'entità successiva e utilizza l'entità. I tempi di attesa sono molti. Un altro modo è scrivere una funzione di callback mappata sui risultati della query: 

def callback(message):
    key = ndb.Key('Account', message.userid)
    account = key.get()
    return message, account

message_account_pairs = message_query.map(callback)
# Now message_account_pairs is a list of (message, account) tuples.

Questa versione verrà eseguita un po' più velocemente del semplice loop for riportato sopra perché è possibile una certa contemporaneità. Tuttavia, poiché la chiamata get() in callback() è ancora sincrona, il guadagno non è enorme. Questo è un buon posto per utilizzare i risultati asincroni.

GQL

GQL è un linguaggio simile a SQL per il recupero di entità o chiavi da App Engine Datastore. Sebbene le funzionalità di GQL siano diverse da quelle di un linguaggio di query per un database relazionale tradizionale, la sintassi GQL è simile a quella di SQL. La sintassi GQL è descritta nella documentazione di riferimento GQL.

Puoi utilizzare GQL per creare query. Questa operazione è simile alla creazione di una query con Model.query(), ma utilizza la sintassi GQL per definire il filtro e l'ordine delle query. Per utilizzarla:

  • ndb.gql(querystring) restituisce un oggetto Query (lo stesso tipo restituito da Model.query()). Per questi oggetti Query sono disponibili tutti i metodi abituali: fetch(), map_async(), filter() e così via.
  • Model.gql(querystring) è una forma abbreviata di ndb.gql("SELECT * FROM Model " + querystring). In genere, querystring corrisponde a "WHERE prop1 > 0 AND prop2 = TRUE".
  • Per eseguire query su modelli contenenti proprietà strutturate, puoi usare foo.bar nella sintassi GQL per fare riferimento alle proprietà secondarie.
  • GQL supporta associazioni di parametri simili a SQL. Un'applicazione può definire una query e quindi associarvi valori: 
    query = ndb.gql("SELECT * FROM Article WHERE stars > :1")
query2 = query.bind(3)
    o 
    query = ndb.gql("SELECT * FROM Article WHERE stars > :1", 3)

    La chiamata della funzione bind() di una query restituisce una nuova query; la query originale non viene modificata.

  • Se la classe del modello sostituisce il metodo della classe _get_kind(), la query GQL deve utilizzare il tipo restituito da quella funzione, non il nome della classe.
  • Se una proprietà nel modello sostituisce il nome (ad es. foo = StringProperty('bar')) la query GQL deve utilizzare il nome della proprietà sostituita (nell'esempio, bar).

Utilizza sempre la funzionalità di associazione di parametri se alcuni valori nella query sono variabili fornite dall'utente. In questo modo si evitano gli attacchi basati su attacchi sintattici.

È un errore eseguire una query per un modello che non è stato importato (o, più in generale, definito).

È un errore utilizzare un nome proprietà non definito dalla classe del modello, a meno che il modello non sia un expando.

Se specifichi un limite o un offset per fetch() della query, il limite o l'offset impostato dalle clausole OFFSET e LIMIT di GQL. Non combinare OFFSET e LIMIT di GQL con fetch_page(). Tieni presente che il limite massimo di 1000 risultati imposto da App Engine alle query si applica sia all'offset che al limite.

Se sei abituato a SQL, fai attenzione ai falsi presupposti quando utilizzi GQL. GQL viene tradotto nell'API di query nativa di NDB. Questo è diverso da un tipico mappatore relazionale degli oggetti (come SQLAlchemy o il supporto del database di Django), in cui le chiamate API vengono tradotte in SQL prima di essere trasmesse al server di database. GQL non supporta le modifiche di Datastore (inserzioni, eliminazioni o aggiornamenti); supporta solo le query.