App Engine용 맵리듀스

중요: Google은 자바 및 Python 맵리듀스 라이브러리에 대한 지원 및 향후 개발 업무를 오픈소스 커뮤니티로 이양했습니다. GitHub에서 소스 코드 및 문서를 제공합니다.

맵리듀스는 대량의 데이터를 병렬로 분산 처리하는 프로그래밍 모델로서, 다음과 같이 단일 요청의 범위 내에서 처리할 수 없는 대규모 장기 실행 작업에 유용합니다.

  • 애플리케이션 로그 분석
  • 외부 소스로부터 관련 데이터 집계
  • 한 형식에서 다른 형식으로 데이터 변환
  • 외부 분석을 위해 데이터 내보내기

App Engine 맵리듀스는 Datastore, 태스크 큐 등의 App Engine 서비스를 기반으로 개발되었으며 커뮤니티에서 유지관리하는 오픈소스 라이브러리입니다. GitHub에서 라이브러리를 제공하는 위치는 다음과 같습니다.

  • Java 소스 프로젝트

  • Python 소스 프로젝트

문서 위치

위에 링크된 GitHub 프로젝트에서 위키 아이콘을 클릭하면 맵리듀스 관련 문서를 확인할 수 있습니다. 다음 링크를 사용하면 자바 및 Python 맵리듀스 관련 문서에 편리하게 액세스할 수 있습니다.