MapReduce per App Engine

Importante: Google ha trasferito il supporto e l'ulteriore sviluppo delle librerie MapReduce di Java e Python alla comunità open source. Il codice sorgente e la documentazione sono disponibile su GitHub

MapReduce è un modello di programmazione per l'elaborazione di grandi quantità di dati in modo parallelo e distribuito. È utile per job di grandi dimensioni e a lunga esecuzione che non possono essere gestiti nell'ambito di una singola richiesta, ad esempio:

  • Analisi dei log delle applicazioni
  • Aggregazione di dati correlati da fonti esterne
  • Trasformare i dati da un formato a un altro
  • Esportazione dei dati per l'analisi esterna

App Engine MapReduce è una libreria open source gestita dalla community che è basata sui servizi App Engine, tra cui Datastore e Task Queues. La libreria è disponibile su GitHub nei seguenti percorsi:

  • Progetto di origine Java.

  • Progetto di origine Python.

Dove trovare la documentazione

La documentazione di MapReduce è disponibile facendo clic sull'icona della wiki per i progetti GitHub linkati sopra. Tuttavia, per praticità, puoi anche accedere al documentazione per Java e Python MapReduce al link seguente: