App Engine の MapReduce

重要: Google は Java と Python の MapReduce ライブラリのサポートおよび今後の開発をオープンソース コミュニティに移行しました。ソースコードとドキュメントは GitHub で入手できます。

MapReduce は、大量のデータを分散させて並列処理するためのプログラミング モデルです。これは、1 つのリクエストの範囲内で処理できない、大規模で時間がかかるジョブに適しています。たとえば次のような作業が挙げられます。

  • アプリケーション ログの分析
  • 外部ソースにある関連データの集計
  • データ形式の変換
  • 外部分析するためのデータのエクスポート

App Engine の MapReduce は、データストアやタスクキューなどの App Engine サービスの上に構築されたオープンソース ライブラリで、コミュニティによって維持されます。このライブラリは、次の場所にある GitHub で入手できます。

  • Java ソース プロジェクト

  • Python ソース プロジェクト

ドキュメントの場所

Mapreduce に関するドキュメントは、GitHub プロジェクトにリンクされた上記 wiki アイコンをクリックすると利用できます。さらに次のリンクからは、Java と Python 両方の MapReduce ドキュメントにアクセスできるので便利です。