새로운 차원의 Spark 성능: Google Cloud 기반 Spark를 구동하는 벡터화된 엔진인 Lightning Engine은 4.3배 이상 빠른 Spark 성능을 제공합니다.
Apache Spark on Google Cloud
더 쉽고 스마트하며 빠르게 Spark를 실행하는 새로운 방법.
운영 오버헤드를 줄이고, AI 기반 지원을 늘리고, 가격 대비 성능을 개선하여 Google Cloud에서 Apache Spark 워크로드를 실행하세요. 인프라가 아닌 코드에 집중할 수 있습니다.
이점
Google Cloud 기반 Apache Spark를 위한 더 나은 환경
더 쉽게 - Spark의 운영 부담 해소
더 쉽게 - Spark의 운영 부담 해소
제로옵스(zero-ops) Apache Spark용 Google Cloud 서버리스 또는 관리형 Dataproc 클러스터 중에서 선택하세요. 두 서비스 모두 인프라 복잡성을 자동화하여 개발 수명 주기를 가속화할 수 있습니다.
더 스마트하게 - AI 지원 Spark 개발
더 스마트하게 - AI 지원 Spark 개발
Dataproc 및 Apache Spark용 Google Cloud 서버리스에서 Gemini를 사용하여 전체 워크플로를 가속화하세요. Gemini 기반 지원을 받아 코드를 생성 및 디버그하고 실패한 작업을 해결하세요.
더 빠르게 - Spark 성능 가속화
더 빠르게 - Spark 성능 가속화
업계를 선도하는 가격 대비 성능을 자동으로 확보하세요. 가장 까다로운 작업의 경우 Lightning Engine으로 4.3배 이상 빠른 성능을 실현할 수 있습니다. 이를 통해 TCO를 절감하고 인사이트 도출 시간을 단축할 수 있습니다.
주요 특징
워크로드에 적합한 Spark 선택
제로옵스(zero-ops) 단순성을 위한 Apache Spark용 서버리스 또는 심층적인 맞춤설정이 가능한 관리형 클러스터를 위한 Dataproc 중에서 선택하세요.
Apache Spark용 Google Cloud 서버리스
코드에만 집중하여 개발 속도를 높이세요. 비용 효율적인 일괄 처리와 고성능 AI/ML을 위한 등급을 모두 갖추고 있어 새로운 Apache Spark 파이프라인, 대화형 분석, 'NoOps' 모델이 선호되는 예측 불가능한 수요의 워크로드에 적합합니다.
권장: 데이터 과학자 및 ML 엔지니어, 임시 쿼리, 새로운 애플리케이션, 개발자 생산성
Dataproc
클러스터 환경을 최대한 제어하세요. 기존 Apache Hadoop/Spark 워크로드를 마이그레이션하거나, 장기 지속 영구 클러스터를 실행하거나, 다양한 오픈소스 생태계를 사용하는 데 적합합니다.
권장: 엔터프라이즈 엔지니어링 및 운영, 온프렘 마이그레이션, 장기 실행 작업, 심층적인 맞춤설정
관련 서비스
개방형 클라우드 데이터 레이크하우스를 위한 엔진
Google Cloud 기반 Spark는 단순한 처리 엔진이 아니라 최신 데이터 및 AI 기반의 핵심 구성요소입니다. 모든 데이터를 통합하고, 작업에 가장 적합한 엔진을 선택하고, 일관된 거버넌스를 유지하세요. 이 모든 것이 공급업체 종속 없이 가능합니다.
BigQueryGoogle Cloud의 완전 관리형 서버리스 엔터프라이즈 데이터-AI 플랫폼입니다. 통합 분석을 위해 BigQuery 인터페이스에서 직접 Apache Spark 작업을 실행하고 작성할 수 있습니다.
BigLake자동화된 데이터 관리 및 기본 제공 거버넌스를 통해 고급 분석 및 데이터 과학을 지원하는 개방 관리형 고성능 Iceberg 레이크하우스를 빌드하세요.
Vertex AI사전 학습된 커스텀 도구를 갖춘 Google의 통합 AI 플랫폼은 Spark 런타임 및 코드를 위한 원스톱 완전 관리형 인터페이스입니다.
Dataplex 범용 카탈로그데이터 플랫폼 전반에서 데이터 및 AI 아티팩트를 중앙 집중식으로 탐색, 관리, 모니터링, 제어하여 신뢰할 수 있는 데이터에 대한 액세스를 제공하고 대규모로 분석 및 AI를 지원합니다.
솔루션
Google Cloud의 데이터 과학통합 거버넌스를 보장하는 멀티모달 데이터 기반을 토대로 빌드된 전체 데이터 과학 및 머신러닝 수명 주기를 위한 통합 솔루션입니다. BigQuery SQL 및 Spark와 같은 강력한 분석 엔진을 활용한 다음 BigQuery ML 또는 Vertex AI를 사용하여 모델을 빌드합니다.
솔루션
데이터 클라우드Google의 데이터 클라우드를 사용하면 기본 제공되는 생성형 AI 기능을 사용하여 BigQuery, PostgreSQL용 AlloyDB, Spanner, Cloud SQL 등에서 엔터프라이즈 데이터를 활성화하고 기본 제공 기능을 사용하여 AI/ML을 데이터에 직접 적용할 수 있습니다.
문서
문서
분석 통합: 단일 데이터 사본에 SQL 및 Spark 활용
SQL의 강력한 기능과 Spark의 유연성 사이에서 고민하지 마세요. BigLake를 사용하면 제어 가능한 동일한 데이터에 두 엔진을 모두 사용할 수 있습니다. 모든 작업에 가장 적합한 도구를 사용할 수 있는 통합 환경입니다.
전체 AI 및 ML 수명 주기 가속화
데이터 준비부터 모델 학습 및 추론까지 더 빠르게 진행할 수 있습니다. 프리미엄 등급은 AI/ML용으로 설계되었으며 NVIDIA RAPIDS와 같은 GPU 지원이 기본 제공되는 사전 구성된 ML 런타임을 사용하여 복잡한 설정을 없앨 수 있습니다.
새로운 소식
Google Cloud 기반 Spark 최신 소식 확인
빌드 시작
대화형 튜토리얼 사용해 보기지금 바로 Google Cloud 사용
$300 크레딧 받기기술 세부정보 살펴보기
문서 보기
