Apache Hadoop とは

Hadoop の起源はワールド ワイド ウェブの初期の時代です。ウェブが何百万ページ、何十億ページものページへと成長するにつれて、検索結果を検索して返す作業は、最も大きな課題の一つとなりました。Google、Yahoo、AltaVista などのスタートアップが、検索結果を自動化するフレームワークの構築を始めました。Nutch というプロジェクトは、MapReduce（詳細は後述）と Google File System に関する Google の初期の研究に基づいて、コンピュータ サイエンティストの Doug Cutting と Mike Cafarella によって構築されました。Nutch は最終的に Apache オープンソース ソフトウェア基盤に移行し、Nutch と Hadoop で分割されました。Cutting が 2006 年に働き始めた Yahoo は、2008 年に Hadoop をオープンソース化しました。

Hadoop は High Availability Distributed Object Oriented Platform の頭字語と呼ばれることもありますが、元々は、Cutting の息子のおもちゃのゾウにちなんで名付けられました。

Hadoop は、アプリケーション用の大量のデータの保存と処理を管理する Java ベースのオープンソース フレームワークです。Hadoop では、分散ストレージと並列処理を使用してビッグデータと分析のジョブを処理し、ワークロードを同時に実行できる小さなワークロードに分割します。

主要な Hadoop フレームワークは 4 つのモジュールで構成され、モジュール同士が連携して Hadoop エコシステムを形成します。

Hadoop 分散ファイル システム（HDFS）: Hadoop エコシステムの主要なコンポーネントである HDFS は、個々の Hadoop ノードがローカル ストレージにあるデータを操作する分散ファイル システムです。これにより、ネットワーク レイテンシが軽減され、アプリケーション データへの高スループットのアクセスが可能になります。また、管理者が事前にスキーマを定義する必要はありません。

Yet Another Resource Negotiator（YARN）: YARN は、クラスタ内のコンピューティング リソースを管理し、ユーザーのアプリケーションをスケジュールするためのリソース管理プラットフォームです。Hadoop システム全体のスケジュール設定とリソース割り振りを実行します。

MapReduce: MapReduce は、大規模なデータ処理のためのプログラミング モデルです。MapReduce モデルでは、より大きなデータセットのサブセットとサブセットの処理命令が複数の異なるノードにディスパッチされます。各サブセットは、1 つのノードで他の処理ジョブと並行して処理されます。結果を処理した後、個々のサブセットは、より小規模で管理しやすいデータセットに結合されます。

Hadoop Common: Hadoop Common には、他の Hadoop モジュールで使用、共有されるライブラリやユーティリティが含まれます。

HDFS、YARN、MapReduce にとどまらず、Hadoop のオープンソース エコシステム全体が成長を続けており、ビッグデータの収集、保存、処理、分析、管理を支援する多くのツールやアプリケーションがあります。たとえば、Apache Pig、Apache Hive、Apache HBase、Apache Spark、Presto、Apache Zeppelin があります。

Hadoop では、コモディティ ハードウェアのクラスタにデータセットを分散できます。処理は複数のサーバーで同時に並行して行われます。

ソフトウェア クライアントが Hadoop にデータを入力します。HDFS はメタデータと分散ファイル システムを処理します。その後、MapReduce がデータを処理して変換します。最後に、YARN によってコンピューティング クラスタ全体でジョブが分割されます。

すべての Hadoop モジュールは、マシンが個々にまたはラックごとハードウェア障害を起こすことはありふれた事象であり、フレームワークによってソフトウェアで自動的に処理されるべきであるという基本的な前提に基づいて設計されています。

ファイル集約型のシステムである MapReduce は、インタラクティブな分析タスクなどの複雑なジョブに使用するのが難しいツールです。また、MapReduce 関数は Java で記述する必要があり、習得に時間がかかる可能性があります。MapReduce エコシステムは非常に大規模で、さまざまな機能のコンポーネントが多数存在するため、使用するツールを決定するのが難しくなる可能性があります。

Hadoop はこのような大規模なデータセットを処理するため、データの機密性と保護が問題になることがあります。認証、暗号化、監査、プロビジョニング用のツールからなるエコシステムが登場し、デベロッパーが Hadoop 内のデータを保護できるようになりました。

Hadoop には、データ マネジメントとガバナンス、およびデータ品質と標準化のための堅牢なツールがあまりありません。

多くのプログラミング分野と同様に、Hadoop にも人材ギャップがあることが広く認知されています。MapReduce、オペレーティング システム、ハードウェアのプログラミングに必要な Java スキルを備えたデベロッパーを見つけるのは難しい場合があります。さらに、MapReduce は習得が難しいため、新しいプログラマーがベスト プラクティスとエコシステムを素早く理解するのは困難です。

調査会社の IDC は、モノのインターネット、ソーシャル メディア、エッジ コンピューティング、クラウドで作成されるデータによって、2020 年に 62.4 ゼタバイトのデータが作成または複製されたと見積もりました。同社は、2020 年から 2025 年までのデータの増加は年間 23% になると予測しています。すべてのデータが保存されるわけではありませんが（使用後に削除されるか、上書きされます）、世界で求められるデータのニーズは増え続けています。

Hadoop にはオープンソース ツールの大規模なエコシステムがあり、コア モジュールの機能を強化、拡張できます。Hadoop では、主に次のようなソフトウェア ツールが使用されます。

Apache Hive: プログラマーが SQL に似たクエリ言語である HiveQL というクエリ言語を使用して、HDFS のデータを操作できるようにするデータ ウェアハウス

Apache HBase: 多くの場合 Hadoop とペアになる、オープンソースの非リレーショナル分散データベース

Apache Pig: 大規模なデータセットを分析し、フィルタ、並べ替え、読み込み、結合などの機能を実行する、MapReduce の抽象化レイヤとして使用されるツール

Apache Impala: Hadoop でよく使用されるオープンソースの超並列処理 SQL クエリエンジン

Apache Sqoop: リレーショナル データベースと Hadoop の間で一括データを効率的に転送するためのコマンドライン インターフェース アプリケーション

Apache ZooKeeper: Hadoop で信頼性の高い分散調整を可能にするオープンソース サーバー。「構成情報の維持、命名、分散同期の提供、グループ サービスの提供」のためのサービス

Apache Oozie: Hadoop ジョブ用のワークフロー スケジューラ