Spark のエコシステムには、次の 5 つの主要コンポーネントがあります。

1. Spark Core: 汎用の分散データ処理エンジンです。この上に、SQL、ストリーム処理、機械学習、グラフ計算用のライブラリがあります。これらはすべて、1 つのアプリケーション内で併用できます。Spark Core はプロジェクト全体の基盤であり、分散タスクのディスパッチ機能、スケジューリング機能、基本的な I/O 機能を提供します。

2. Spark SQL: さまざまなデータソースに共通の手法でアクセスできる、構造化データを操作するための Spark モジュールです。SQL や使い慣れた DataFrame API を使用して、Spark プログラム内の構造化データをクエリできます。Spark SQL は HiveQL 構文をサポートし、既存の Apache Hive ウェアハウスへのアクセスを可能にします。Java データベース接続またはオープン データベース接続を介した標準接続が、サーバーモードにより提供されます。

3. Spark Streaming: スケーラブルでフォールト トレラントなストリーミング ソリューションを簡単に構築できるようになります。各言語に統合されたストリーム処理 API により、バッチジョブと同じ方法を使ったストリーミング ジョブを作成できます。Spark Streaming は、Java、Scala、Python に対応しており、ステートフルで正確に 1 回限りの処理を行う（exactly-once）セマンティクスをすぐに利用できます。

4. MLlib: 実用的な ML をスケーラブルで簡単にするツールを備えた、Spark のスケーラブルな機械学習ライブラリです。MLlib には、分類、回帰、レコメンデーション、クラスタリングなど、数多くの一般的な学習アルゴリズムが含まれています。また、ワークフローに加え、特徴変換、ML パイプライン構築、モデル評価、分散線形代数、統計などのユーティリティも含まれています。

5. GraphX: グラフおよびグラフ並列計算用の Spark API です。柔軟性があり、グラフとコレクションの両方をシームレスに扱うことができます。抽出、変換、読み込み、探索的分析、反復グラフ計算を 1 つのシステム内に統合させることができます。GraphX にはきわめて柔軟な API に加え、さまざまなグラフ アルゴリズムが備わっています。Spark の柔軟性、フォールト トレラント、使いやすさを維持するとともに、最速のグラフシステムでパフォーマンスの競争力を維持できます。