Lightning Engine
Apache Spark 성능 가속화
Google Cloud의 벡터화된 엔진은 더 스마트한 엔진으로 Spark를 최적화하는 더 쉬운 방법이며, 4.3배 이상 빠른 Spark 성능*을 제공하여 컴퓨팅 비용을 절감합니다.
기능
작업 런타임 단축 및 비용 절감
더 빠른 Spark 실행 방식을 경험해 보세요. 대규모 ETL, 데이터 과학, SQL 워크로드의 성능을 오픈소스 Apache Spark보다 4.3배 이상 향상하세요. 작업 런타임이 크게 단축되면 컴퓨팅 시간이 줄어들어 Spark 워크로드의 총소유비용이 절감됩니다.
Spark 성능 가속화
성능을 개선하는 더 쉬운 방법을 알아보세요. Spark 최적화에 귀중한 엔지니어링 사이클을 낭비하지 마세요.
지능형 데이터 액세스 및 캐싱
더 스마트한 아키텍처를 활용하세요. Lightning Engine은 메모리에 핫 데이터를 자동으로 캐싱하고 Cloud Storage 및 BigQuery용으로 최적화된 고처리량 커넥터를 활용하여 대규모 Spark 데이터 처리의 I/O 지연 시간과 처리량을 크게 개선합니다.
핵심 기술: 벡터화된 실행
Lightning Engine은 네이티브 C++ 벡터화 실행 엔진을 활용하여 데이터를 일괄 처리하므로 기존의 행 단위 처리보다 CPU 효율성이 크게 향상됩니다. 이는 Spark의 획기적인 성능을 위한 핵심 구성요소입니다.
사용 가능 여부
| 사용 가능 여부 | Lightning Engine은 가장 까다로운 Spark 워크로드에 적합합니다. Dataproc 및 서버리스 Apache Spark의 프리미엄 등급으로 액세스할 수 있습니다. | |
|---|---|---|
| 제품 | 가용성 | 액세스 |
Apache Spark용 Google Cloud 서버리스 - 프리미엄 등급 | 일반 안정화 버전 | |
Google Compute Engine 기반 Dataproc | 프리뷰 버전 | 제공 예정 |
사용 가능 여부
Lightning Engine은 가장 까다로운 Spark 워크로드에 적합합니다. Dataproc 및 서버리스 Apache Spark의 프리미엄 등급으로 액세스할 수 있습니다.
일반적인 용도
가장 까다로운 작업에 적합
대규모 ETL
가장 복잡한 Spark 데이터 처리 및 변환 파이프라인의 런타임을 대폭 줄입니다. 즉, 더 엄격한 데이터 최신성 SLA를 충족하고, 야간 일괄 처리 기간을 단축하며, 가장 리소스 집약적인 데이터 파이프라인의 TCO를 크게 낮출 수 있습니다.
학습 리소스
대규모 ETL
가장 복잡한 Spark 데이터 처리 및 변환 파이프라인의 런타임을 대폭 줄입니다. 즉, 더 엄격한 데이터 최신성 SLA를 충족하고, 야간 일괄 처리 기간을 단축하며, 가장 리소스 집약적인 데이터 파이프라인의 TCO를 크게 낮출 수 있습니다.
AI/ML 데이터 준비
머신러닝 수명 주기에서 중요한 특성 추출 및 데이터 준비 단계를 가속화합니다. ML 워크플로에서 가장 많은 시간이 소요되는 부분을 가속화함으로써 데이터 과학자는 더 많은 실험을 실행하고, 모델을 더 빠르게 반복하며, 가치 있는 AI 애플리케이션을 더 빨리 프로덕션에 적용할 수 있습니다.
학습 리소스
AI/ML 데이터 준비
머신러닝 수명 주기에서 중요한 특성 추출 및 데이터 준비 단계를 가속화합니다. ML 워크플로에서 가장 많은 시간이 소요되는 부분을 가속화함으로써 데이터 과학자는 더 많은 실험을 실행하고, 모델을 더 빠르게 반복하며, 가치 있는 AI 애플리케이션을 더 빨리 프로덕션에 적용할 수 있습니다.
대화형 분석
데이터 레이크에서 직접 빠른 대화형 SQL 쿼리를 실행하여 임시 분석 및 비즈니스 인텔리전스를 수행할 수 있습니다. 데이터 분석가가 더 빠른 쿼리 응답 시간으로 사고의 흐름을 유지하여 데이터 탐색 속도를 높이고 더 효과적인 인사이트를 얻을 수 있도록 지원합니다.
학습 리소스
대화형 분석
데이터 레이크에서 직접 빠른 대화형 SQL 쿼리를 실행하여 임시 분석 및 비즈니스 인텔리전스를 수행할 수 있습니다. 데이터 분석가가 더 빠른 쿼리 응답 시간으로 사고의 흐름을 유지하여 데이터 탐색 속도를 높이고 더 효과적인 인사이트를 얻을 수 있도록 지원합니다.
가격 책정
| 원하는 방식으로 Spark 가속화 | Lightning Engine은 Apache Spark용 Dataproc 및 Google Cloud 서버리스의 프리미엄 등급 기능입니다. |
|---|---|
| 제품 | 가격 책정 |
프리뷰 버전으로 출시 예정 |
원하는 방식으로 Spark 가속화
Lightning Engine은 Apache Spark용 Dataproc 및 Google Cloud 서버리스의 프리미엄 등급 기능입니다.
