Spark 生态系统包含五个关键组件：

1. Spark Core 是一个通用的分布式数据处理引擎。在其上有用于 SQL、流处理、机器学习和图计算的库，所有这些库都可以在应用中一起使用。Spark Core 是整个项目的基础，提供分布式任务调度、安排和基本的 I/O 功能。

2. Spark SQL 是用于处理结构化数据的 Spark 模块，它支持访问各种数据源的通用方法。Spark SQL 可让您使用 SQL 或熟悉的 DataFrame API 在 Spark 程序中查询结构化数据。Spark SQL 支持 HiveQL 语法，并允许访问现有的 Apache Hive 仓库。服务器模式通过 Java 数据库连接或开放数据库连接提供标准连接。

3. Spark Streaming 可轻松构建可扩缩、具有容错性的流式解决方案。它将集成了 Spark 语言的 API 引入流处理中，因此您可以像编写批量作业一样编写流式作业。Spark Streaming 支持 Java、Scala 和 Python，并且具有开箱即用、有状态的“正好一次”语义。

4. MLlib 是 Spark 可扩容的机器学习库，它所提供的工具可以简化实际的机器学习并为其扩容。MLlib 包含许多常见的学习算法，例如分类、回归、推荐和聚类。它还包含工作流和其他实用程序，包括特征转换、机器学习流水线构造、模型评估、分布式线性代数和统计信息。

5. GraphX 是用于图和图并行计算的 Spark API。它非常灵活，可以无缝处理图和集合 - 统一提取、转换、加载；进行探索性分析；在一个系统中迭代图计算。除了灵活性较高的 API 外，GraphX 还提供了多种图算法。它在性能上比肩最快的图系统，同时保留了 Spark 的灵活性、容错性和易用性。