¿Qué es Apache Spark?

Apache Spark es un motor de análisis unificado con el que se procesan datos a gran escala con módulos integrados para SQL, transmisión, aprendizaje automático y procesamiento de grafos. Spark puede ejecutarse en Apache Hadoop, Apache Mesos, Kubernetes, por sí solo, en la nube y en varias fuentes de datos.

Una de las preguntas más comunes es ¿cuándo se usan Apache Spark y Apache Hadoop? Hoy en día, ambos se encuentran entre los sistemas distribuidos más destacados del mercado. Son proyectos similares de nivel superior de Apache que suelen usarse en conjunto. Hadoop se usa en mayor parte para operaciones que consumen mucho espacio en el disco con el paradigma de MapReduce. Spark es una arquitectura de procesamiento en la memoria más flexible y, a menudo, más costosa. Comprender las características de cada uno te ayudará a decidir cuál implementar y en qué momento. 

Obtén más información para usar Dataproc para ejecutar clústeres de Apache Spark en Google Cloud de una manera integrada y simple que te permita ahorrar costos. 

Descripción general de Apache Spark

El ecosistema de Spark incluye cinco componentes clave:

1. Spark Core es un motor de procesamiento de datos distribuido de uso general. Incluye bibliotecas para SQL, procesamiento de transmisión, aprendizaje automático y procesamiento de grafos que se pueden usar en conjunto en una aplicación. Spark Core es la base del proyecto completo; proporciona envío de tareas distribuidas, programación y funciones de E/S básicas.

2. Spark SQL es el módulo de Spark para trabajar con datos estructurados que admite una manera común de acceder a una variedad de fuentes de datos. Te permite consultar datos estructurados dentro de los programas de Spark mediante SQL o una API de DataFrame conocida. Spark SQL es compatible con la sintaxis de HiveQL y permite el acceso a almacenes de datos existentes de Apache Hive. Un modo de servidor proporciona conectividad estándar a través de la conectividad de la base de datos de Java o de la conectividad de una base de datos abierta.

3. Spark Streaming facilita la compilación de soluciones de transmisión escalables y tolerantes a errores. Brinda una API integrada en el lenguaje Spark para el procesamiento de transmisiones, por lo que puedes escribir trabajos de transmisión de la misma forma en que escribes trabajos por lotes. Spark Streaming es compatible con Java, Scala y Python, y cuenta con una semántica con estado de tipo “exactamente una vez” lista para usar. 

4. MLlib es la biblioteca de aprendizaje automático escalable de Spark con herramientas que hacen que el AA práctico sea escalable y sencillo. MLlib contiene varios algoritmos de aprendizaje comunes, como los de clasificación, regresión, recomendación y agrupamiento en clústeres. También cuenta con flujos de trabajo y otras utilidades, entre ellas, la transformación de funciones, la construcción de canalizaciones de AA, la evaluación de modelos, el álgebra lineal distribuido y las estadísticas. 

5. GraphX es la API de Spark para grafos y procesamiento paralelo de grafos. Es flexible y trabaja sin dificultades con grafos y colecciones. Para ello, unifica el proceso de extracción, transformación y carga, el análisis exploratorio y el procesamiento de grafos iterativo dentro de un sistema. Además de una API altamente escalable, GraphX cuenta con una variedad de algoritmos de grafos. En cuanto a rendimiento, compite con los sistemas de grafos más rápidos y, a su vez, conserva la flexibilidad, la tolerancia a errores y la facilidad de uso de Spark.

¿Cuáles son los beneficios de Apache Spark?

Velocidad

Puedes ejecutar cargas de trabajo con una rapidez 100 veces mayor a la de MapReduce de Hadoop. Spark logra un alto rendimiento para datos por lotes y de transmisión mediante un programador de grafos acíclicos dirigidos de vanguardia, un optimizador de consultas y un motor de ejecución físico.

Facilidad de uso

Spark ofrece más de 80 operadores de alto nivel que facilitan la compilación de apps paralelas. Puedes usarlo de forma interactiva desde shells de Scala, Python, R y SQL para escribir aplicaciones con rapidez.

Generalidad

Spark suministra una pila de bibliotecas, incluidas SQL y DataFrames, MLlib para aprendizaje automático, GraphX y Spark Streaming. Puedes combinar estas bibliotecas sin problemas en la misma aplicación.

Innovación en framework de código abierto

Spark está respaldado por comunidades globales unidas con el objetivo de presentar conceptos y funciones nuevas con mayor rapidez y de manera más eficaz que los equipos internos que desarrollan soluciones propias. El poder colectivo de una comunidad de código abierto proporciona más ideas, un desarrollo más rápido y solución de problemas cuando se presenta uno, lo que se traduce en un menor tiempo de salida al mercado. 

¿Por qué elegir Spark en lugar de un motor solo de SQL?

Apache Spark es un motor de procesamiento de clústeres rápido de uso general que puede implementarse en un clúster de Hadoop o en modo independiente. Con Spark, los programadores pueden escribir aplicaciones con rapidez en Java, Scala, Python, R y SQL. Esto hace que sea más accesible para los desarrolladores, los científicos de datos y los empresarios avanzados con experiencia en estadísticas. Mediante Spark SQL, los usuarios pueden conectarse a cualquier fuente de datos y presentarlas como tablas para que los clientes de SQL las usen. Además, los algoritmos interactivos de aprendizaje automático se implementan con facilidad en Spark.

Con un motor solo de SQL, como Apache Impala, Apache Hive o Apache Drill, los usuarios pueden usar solo SQL o lenguajes similares a SQL para consultar los datos almacenados en varias bases de datos. Esto significa que los frameworks tienen un menor tamaño en comparación con Spark.

¿Cómo usan las empresas Spark?

Muchas empresas usan Spark para simplificar la tarea desafiante y de procesamiento intensivo de procesar y analizar grandes volúmenes de datos en tiempo real o archivados, así sean estructurados o no estructurados. Spark también les permite a los usuarios integrar sin problemas funciones complejas y relevantes, como el aprendizaje automático y los algoritmos de grafos.

Ingenieros de datos

Los ingenieros de datos usan Spark para programar y compilar trabajos de procesamiento de datos, con la opción de programar en un conjunto de lenguajes expandido.

Científicos de datos

Los científicos de datos pueden tener una experiencia más avanzada con la analítica y el AA usando Spark con GPU. La capacidad de procesar grandes volúmenes de datos con mayor rapidez en un lenguaje conocido puede ayudar a acelerar la innovación.

Da el siguiente paso

Comienza a desarrollar en Google Cloud con el crédito gratis de $300 y los más de 20 productos del nivel Siempre gratuito.

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
Consola
Google Cloud