Wichtig: Google hat den Support und die weitere Entwicklung der Java- und Python MapReduce-Bibliotheken an die Open-Source-Community übertragen. Der Quellcode und die Dokumentation stehen auf GitHub bereit.
MapReduce ist ein Programmiermodell für die parallele und verteilte Verarbeitung großer Mengen von Daten. Es ist nützlich für umfangreiche und lange andauernde Jobs, die nicht im Rahmen eines einzelnen Requests verarbeitet werden können, wie z. B.:
- Anwendungsprotokolle analysieren
- Zugehörige Daten von externen Quellen aggregieren
- Daten von einem Format in ein anderes umwandeln
- Daten für externe Analyse exportieren
App Engine MapReduce ist eine von der Community gepflegte Open-Source-Bibliothek, die auf App Engine-Diensten wie Datastore und Aufgabenwarteschlangen aufsetzt. Die Bibliothek ist auf GitHub an folgenden Stellen verfügbar:
Zugriff auf Hilferessourcen
Zur Dokumentation von MapReduce gelangen Sie, wenn Sie auf das Wiki-Symbol für die oben verlinkten GitHub-Projekte klicken. Sie können auch direkt über folgenden Link auf die Dokumentation von MapReduce für Java und Python zugreifen: