Spark 생태계에는 5가지 주요 구성요소가 포함되어 있으며, 각 구성요소는 Google Cloud의 인프라로 강화됩니다.

• Spark Core: 분산된 작업 디스패치 및 I/O를 관리하는 기본 실행 엔진입니다. Spark Core는 탄력적 분산 데이터 세트(RDD)라는 개념을 도입했습니다. RDD는 내결함성을 갖춘 병렬 처리되는 변경 불가능한 객체 분산 컬렉션입니다.
• Spark SQL: DataFrames를 사용하여 정형 데이터를 처리하는 모듈입니다. Google Cloud는 Lightning Engine을 통해 이러한 작업을 더욱 가속화하여 수동 튜닝 없이도 속도를 크게 높일 수 있습니다.
• Spark Streaming: 일괄 작업과 실시간 작업 모두에 확장 가능하고 내결함성 있는 스트리밍 솔루션을 지원합니다.
• MLlib: 확장 가능한 머신러닝 라이브러리입니다. Vertex AI와 결합하면 MLlib 워크플로를 MLOps 파이프라인에 원활하게 통합할 수 있으며, Gemini를 통해 코딩 및 문제 해결을 위한 개발을 향상할 수 있습니다.
• GraphX: 그래프와 그래프 병렬 계산을 위한 API입니다.

Google Cloud는 데이터 전문가의 고유한 요구사항을 충족하는 특화된 환경을 제공합니다.

• BigQuery Studio의 통합 개발: 데이터 과학자는 BigQuery Studio 노트북에서 직접 Spark 코드를 작성하고 실행할 수 있습니다. 이를 통해 쿼리 가능한 단일 메타데이터 서비스를 사용하여 Spark와 BigQuery 전반에서 통합된 환경을 제공합니다.
• Gemini를 통한 AI 지원 생산성: Gemini를 활용하여 개발 및 배포부터 복잡한 PySpark 작업의 모니터링 및 문제 해결에 이르는 전체 수명 주기를 지원합니다.
• 제로 운영 서버리스 실행: 클러스터 관리의 운영 부담을 없앱니다. 서버리스 Spark를 사용하면 단일 명령어를 제출하고 Google이 나머지 작업을 처리하도록 할 수 있습니다. 클러스터를 만들거나 구성하거나 관리할 필요가 없습니다.
• 통합 거버넌스: Dataplex Universal Catalog를 사용하여 데이터 및 AI 거버넌스를 관리하고, 에이전트에 대한 시맨틱스를 제공하며, 수집부터 AI 기반 인사이트에 이르기까지 일관된 데이터 수명 주기를 보장합니다.