El ecosistema de Spark incluye cinco componentes clave:

1. Spark Core es un motor de procesamiento de datos distribuido de uso general. Incluye bibliotecas para SQL, procesamiento de transmisión, aprendizaje automático y procesamiento de grafos que se pueden usar en conjunto en una aplicación. Spark Core es la base del proyecto completo; proporciona envío de tareas distribuidas, programación y funciones de E/S básicas.

2. Spark SQL es el módulo de Spark para trabajar con datos estructurados que admite una manera común de acceder a una variedad de fuentes de datos. Te permite consultar datos estructurados dentro de los programas de Spark mediante SQL o una API de DataFrame conocida. Spark SQL es compatible con la sintaxis de HiveQL y permite el acceso a almacenes de datos existentes de Apache Hive. Un modo de servidor proporciona conectividad estándar a través de la conectividad de la base de datos de Java o de la conectividad de una base de datos abierta.

3. Spark Streaming facilita la compilación de soluciones de transmisión escalables y tolerantes a errores. Brinda una API integrada en el lenguaje Spark para el procesamiento de transmisiones, por lo que puedes escribir trabajos de transmisión de la misma forma en que escribes trabajos por lotes. Spark Streaming es compatible con Java, Scala y Python, y cuenta con una semántica con estado de tipo “exactamente una vez” lista para usar. 

4. MLlib es la biblioteca de aprendizaje automático escalable de Spark con herramientas que hacen que el AA práctico sea escalable y sencillo. MLlib contiene varios algoritmos de aprendizaje comunes, como los de clasificación, regresión, recomendación y agrupamiento en clústeres. También cuenta con flujos de trabajo y otras utilidades, entre ellas, la transformación de funciones, la construcción de canalizaciones de AA, la evaluación de modelos, el álgebra lineal distribuido y las estadísticas. 

5. GraphX es la API de Spark para grafos y procesamiento paralelo de grafos. Es flexible y trabaja sin dificultades con grafos y colecciones. Para ello, unifica el proceso de extracción, transformación y carga, el análisis exploratorio y el procesamiento de grafos iterativo dentro de un sistema. Además de una API altamente escalable, GraphX cuenta con una variedad de algoritmos de grafos. En cuanto a rendimiento, compite con los sistemas de grafos más rápidos y, a su vez, conserva la flexibilidad, la tolerancia a errores y la facilidad de uso de Spark.