Apache Spark용 Lightning Engine

Apache Spark 작업의 성능 4.3배* 향상

벡터화된 실행, 내장된 지능형 캐싱, 최적화된 스토리지 I/O를 갖춘 새로운 Spark 처리 엔진인 Lightning Engine으로 더 빠른 쿼리 성능을 얻으세요. Lightning Engine은 현재 프리뷰 버전으로 제공됩니다.

*쿼리는 TPC-DS 표준TPC-H 표준에서 파생되었으며, 이러한 실행은 TPC-DS 표준TPC-H 표준 사양의 모든 요구사항을 준수하지 않으므로 게시된 TPC-DS 표준TPC-H 표준 결과와 비교할 수 없습니다.

Apache Spark는 Apache Software Foundation의 상표입니다.

기능

Spark 성능 향상

Lightning Engine은 벡터화된 실행, 내장된 지능형 캐싱, 최적화된 스토리지 I/O를 갖춘 새로운 Apache Spark 처리 엔진을 활용하여 훨씬 더 빠른 쿼리 성능을 제공합니다. Lightning Engine은 오픈소스 Spark 애플리케이션과 완벽하게 호환됩니다.



업계를 선도하는 가격 대비 성능

뛰어난 성능과 비용 효율성을 제공하여 사용자가 더 적은 비용으로 더 많은 데이터를 처리할 수 있습니다. Lightning Engine은 BigQuery 및 Vertex AI와 같은 Google Cloud 서비스와의 긴밀한 통합과 함께 오픈소스 Apache Spark에 비해 4.3배* 이상 우수한 성능을 제공합니다. 관리형 최적화로 수동 성능 조정이 줄어듭니다.


개방형 레이크하우스와의 상호 운용성

Lightning Engine은 Apache Iceberg 및 Google Cloud BigLake와 긴밀하게 통합되어 통합 데이터 분석 및 AI 플랫폼을 제공합니다. Cloud Storage 및 BigQuery용으로 최적화된 데이터 커넥터를 제공하여 데이터 액세스 지연 시간과 처리량을 크게 개선합니다.

유연한 배포

Lightning Engine은 현재 프리뷰 버전으로 제공되며 Apache Spark용 Google Cloud 서버리스의 프리미엄 등급과 Dataproc의 관리형 클러스터에서 사용할 수 있습니다. 두 서비스 모두 이미 가속화된 머신러닝 워크로드를 위한 GPU 지원과 운영 효율성을 위한 동급 최고의 작업 모니터링 도구를 제공하고 있습니다. 유연한 Spark 구성과 대규모 레코드 크기 처리를 통해 안정적인 대규모 프로덕션 작업 지원을 제공하는 서버리스 Spark를 사용하면 거의 100%의 리소스 사용률을 달성할 수 있습니다.

작동 방식

Lightning Engine은 데이터 액세스를 최적화하고 지능형 캐싱을 구현하며 벡터화된 C++ 실행 엔진을 활용하여 Google Cloud에서 Spark의 성능을 크게 향상시켜 다양한 벤치마크에서 쿼리 시간을 크게 단축하고 리소스 소비를 줄일 수 있습니다.

일반적인 용도

대규모 ETL/ELT 워크로드

복잡한 SQL 변환으로 워크로드 성능 향상

복잡한 SQL 쿼리를 사용하는 대규모 ETL/ELT 워크로드는 CPU에 종속되는 경우가 많으며 대량의 데이터 셔플과 연산이 필요합니다. Lightning Engine의 열 형식 처리 및 벡터화된 실행은 이러한 복잡한 SQL 작업의 처리 시간을 크게 단축하여 데이터 파이프라인을 가속화하고 런타임 단축으로 인한 비용 절감과 더 빈번한 데이터 업데이트를 지원할 수 있습니다.

    복잡한 SQL 변환으로 워크로드 성능 향상

    복잡한 SQL 쿼리를 사용하는 대규모 ETL/ELT 워크로드는 CPU에 종속되는 경우가 많으며 대량의 데이터 셔플과 연산이 필요합니다. Lightning Engine의 열 형식 처리 및 벡터화된 실행은 이러한 복잡한 SQL 작업의 처리 시간을 크게 단축하여 데이터 파이프라인을 가속화하고 런타임 단축으로 인한 비용 절감과 더 빈번한 데이터 업데이트를 지원할 수 있습니다.

      AI/ML 워크로드

      기본 GPU 지원으로 AI/ML 워크로드 및 ETL 워크로드 가속화

      추가 설정이나 구성 없이 Spark ML 학습 및 일괄 추론 워크로드를 실행합니다. Spark 이미지에는 NVIDIA 드라이버와 널리 사용되는 ML 라이브러리가 사전 패키징되어 있습니다. Spark rapids에 대한 기본 제공 지원을 사용하면 Lightning Engine의 모든 성능 개선을 활용하고, GPU를 더 잘 활용할 수 있는 작업에 대한 최적의 기본 구성을 갖추고, 노드의 빠른 자동 확장을 사용할 수 있습니다.

        기본 GPU 지원으로 AI/ML 워크로드 및 ETL 워크로드 가속화

        추가 설정이나 구성 없이 Spark ML 학습 및 일괄 추론 워크로드를 실행합니다. Spark 이미지에는 NVIDIA 드라이버와 널리 사용되는 ML 라이브러리가 사전 패키징되어 있습니다. Spark rapids에 대한 기본 제공 지원을 사용하면 Lightning Engine의 모든 성능 개선을 활용하고, GPU를 더 잘 활용할 수 있는 작업에 대한 최적의 기본 구성을 갖추고, 노드의 빠른 자동 확장을 사용할 수 있습니다.

          솔루션 생성
          어떤 문제를 해결하려고 하시나요?
          What you'll get:
          단계별 안내
          참조 아키텍처
          사용 가능한 사전 빌드 솔루션
          이 서비스는 Vertex AI로 빌드되었습니다. 이 서비스를 사용하려면 만 18세 이상이어야 합니다. 민감한 정보, 기밀 정보 또는 개인 정보를 입력하지 마세요.

          가격 책정

          Lightning Engine 가격 책정 방식Apache Spark용 Lightning Engine이 프리뷰버전으로 제공되며 가격 책정은 곧 제공될 예정입니다.
          서비스 및 사용량설명가격(USD)

          데이터 컴퓨팅 단위(DCU)

          DCU 요금 세부정보는 곧 제공될 예정입니다


          제공 예정

          Lightning Engine(프리뷰) 가격 책정은 곧 제공될 예정입니다.

          Lightning Engine 가격 책정 방식

          Apache Spark용 Lightning Engine이 프리뷰버전으로 제공되며 가격 책정은 곧 제공될 예정입니다.

          데이터 컴퓨팅 단위(DCU)

          설명

          DCU 요금 세부정보는 곧 제공될 예정입니다


          가격(USD)

          제공 예정

          Lightning Engine(프리뷰) 가격 책정은 곧 제공될 예정입니다.

          가격 계산기

          리전별 가격 및 수수료를 포함한 월별 비용을 예측해 볼 수 있습니다.

          커스텀 견적

          영업팀에 문의하여 조직에 대한 커스텀 견적을 받아 보세요.

          개념 증명 시작

          Spark 작업 속도 향상

          대규모 프로젝트가 있나요?

          Apache Spark용 Google Cloud 서버리스 자세히 알아보기

          Apache Spark용 Lightning Engine을 사용해야 하는 경우

          Lightning Engine Spark 워크로드 조정

          Google Cloud