MapReduce para o App Engine

Importante: a Google transferiu o apoio técnico e o desenvolvimento das bibliotecas Java e Python MapReduce para a comunidade de código aberto. O código-fonte e a documentação estão disponíveis no GitHub

O MapReduce é um modelo de programação para processar grandes quantidades de dados de forma paralela e distribuída. É útil para tarefas grandes e de longa duração que não podem ser processadas no âmbito de um único pedido, como:

  • Analisar registos de aplicações
  • Agregação de dados relacionados de origens externas
  • Transformar dados de um formato para outro
  • Exportar dados para análise externa

O App Engine MapReduce é uma biblioteca de código aberto mantida pela comunidade criada com base nos serviços do App Engine, incluindo o armazenamento de dados e as filas de tarefas. A biblioteca está disponível no GitHub nestas localizações:

  • Projeto de origem Java.

  • Projeto de origem Python.

Onde encontrar documentação

A documentação do Mapreduce está disponível clicando no ícone do wiki para os projetos do GitHub com links acima. No entanto, para sua conveniência, também pode aceder à documentação do MapReduce em Java e Python no seguinte link: