Spark 생태계에는 5가지 주요 구성요소가 포함되어 있으며, 각 구성요소는 Google Cloud의 인프라로 강화됩니다.

• Spark Core: 분산된 작업 디스패치 및 I/O를 관리하는 기본 실행 엔진입니다. Spark Core는 탄력적 분산 데이터 세트(RDD)라는 개념을 도입했습니다. RDD는 내결함성을 갖춘 병렬 처리되는 변경 불가능한 객체 분산 컬렉션입니다.
• Spark SQL: DataFrames를 사용하여 정형 데이터를 처리하는 모듈입니다. Google Cloud는 Lightning Engine을 통해 이러한 작업을 더욱 가속화하여 수동 튜닝 없이도 속도를 크게 높일 수 있습니다.
• Spark Streaming: 일괄 작업과 실시간 작업 모두에 확장 가능하고 내결함성 있는 스트리밍 솔루션을 지원합니다.
• MLlib: 확장 가능한 머신러닝 라이브러리입니다. Gemini Enterprise Agent Platform과 결합하면 MLlib 워크플로를 MLOps 파이프라인에 원활하게 통합할 수 있으며, 코딩 및 문제 해결 시 Gemini를 활용하여 개발을 개선할 수 있습니다.
• GraphX: 그래프와 그래프 병렬 계산을 위한 API입니다.

Apache Spark는 빠른 범용 클러스터 또는 서버리스 컴퓨팅 엔진입니다. Spark를 사용하면 프로그래머는 개발자, 데이터 과학자, 통계 경험이 있는 고급 비즈니스 담당자가 액세스할 수 있도록 자바, Scala, Python, R, SQL로 애플리케이션을 빠르게 작성할 수 있습니다. Spark SQL을 사용하면 사용자가 모든 데이터 소스에 연결하고 이를 SQL 클라이언트에서 사용할 수 있는 테이블로 표현할 수 있습니다. 또한 Spark에서는 대화형 머신러닝 알고리즘이 쉽게 구현됩니다.

Apache Impala, Apache Hive, Apache Drill 같은 SQL 전용 엔진을 사용하는 사용자는 여러 데이터베이스에 저장된 데이터를 쿼리할 때 SQL 또는 SQL 유사 언어만 사용할 수 있습니다. 이는 Spark에 비해 프레임워크가 작다는 것을 의미합니다. 하지만 Google Cloud에서는 선택지가 다양합니다. BigQuery는 강력한 SQL 기능을 제공하며 Managed Service for Apache Spark를 통해 Apache Iceberg와 같은 개방형 형식을 사용하는 Lakehouse에서 동일한 데이터에 대해 Spark의 다재다능한 기능을 적용할 수 있습니다.

많은 기업이 Spark를 사용하여 구조화 또는 구조화되지 않은 대량의 실시간 또는 아카이브 데이터를 처리 및 분석하는 까다롭고 계산 집약적인 작업을 간소화하고 있습니다. 또한 사용자는 Spark를 사용하여 머신러닝 및 그래프 알고리즘 등의 복잡한 관련 기능을 원활하게 통합할 수 있습니다. 일반적인 애플리케이션은 다음과 같습니다.

• 대규모 ETL/ELT
• 실시간 데이터 처리
• 머신러닝
• 대화형 데이터 탐색
• 그래프 분석

데이터 엔지니어는 Spark를 사용하여 강력한 데이터 처리 파이프라인과 대규모 ETL 워크플로를 설계, 빌드, 유지관리합니다. Google Cloud에서 데이터 엔지니어는 Managed Service for Apache Spark를 통해 제로 운영 서버리스 실행 또는 완전 관리형 클러스터 중에서 선택하여 인프라 관리를 간소화할 수 있습니다. 엔지니어는 BigQuery 및 Knowledge Catalog와 통합해 Apache Iceberg와 같은 형식을 사용하여 거버넌스가 적용된 개방형 레이크하우스 아키텍처를 빌드할 수 있습니다. 또한 데이터 에이전트와 Gemini를 사용하여 데이터 랭글링을 자동화하고 PySpark 코드 생성을 가속화하여 원시 데이터에서 프로덕션 레디 파이프라인으로 빠르게 전환할 수 있습니다.

데이터 과학자는 GPU와 Spark를 함께 사용하여 보다 뛰어난 분석 및 ML 환경을 이용할 수 있습니다. 익숙한 언어로 더 많은 양의 데이터를 더 빠르게 처리할 수 있으므로 혁신을 앞당길 수 있습니다. Google Cloud는 Spark에 대한 강력한 GPU 지원과 Gemini Enterprise Agent Platform과의 원활한 통합을 제공하므로 데이터 과학자가 모델을 더 빠르게 빌드하고 배포할 수 있습니다. 유연한 개발을 위해 Jupyter 또는 VS Code와 같은 선호하는 IDE를 연결할 수 있습니다. Gemini를 사용하면 초기 탐색부터 프로덕션 배포에 이르는 워크플로를 가속화하는 데 도움이 됩니다.

Google Cloud는 Spark를 대규모로 실행할 때 발생하는 일반적인 문제를 해결해 주므로 인프라가 아닌 인사이트에 집중할 수 있습니다. Managed Service for Apache Spark로 환경을 최적화하세요. Managed Service for Apache Spark:

• 유연한 배포 옵션: 워크로드에 적합한 환경을 선택하세요. 제로 운영 서버리스 Spark를 활용하여 운영 오버헤드를 없애거나, 완전 관리형 클러스터를 통해 세분화된 제어를 유지할 수 있습니다.
• 업계 최고의 성능: Lightning Engine으로 가장 까다로운 ETL 및 데이터 과학 워크로드 속도를 최대 4.9배 향상합니다. 서버리스 클러스터와 관리형 클러스터 모두에서 사용 가능하며, 코드 변경 없이 컴퓨팅 비용을 절감하고 수동 튜닝 부담을 없애줍니다.
• 선호하는 IDE에서 통합 개발: VS Code, Jupyter 등 선호하는 환경에서 직접 Spark 코드를 작성하고 실행하세요. 컨텍스트 전환 없이 동일한 거버넌스 데이터에서 SQL과 Spark 전반에 걸쳐 원활한 경험을 누릴 수 있습니다.
• 에이전트 AI 개발: PySpark 코딩과 데이터 랭글링을 자동화하는 데이터 에이전트로 워크플로를 가속화할 수 있습니다. Gemini Cloud Assist를 활용하여 복잡한 작업의 근본 원인을 자동으로 분석하고 문제를 해결하세요.
• 통합 거버넌스: Knowledge Catalog를 사용하여 데이터 및 AI 거버넌스를 관리하고, 에이전트에 대한 시맨틱스를 제공하며, 수집부터 AI 기반 인사이트에 이르기까지 일관된 데이터 수명 주기를 보장합니다.