Cloud Dataproc

Apache Spark 및 Apache Hadoop을 실행하는 빠르고 쉬우며 저렴한 방법

무료로 사용해 보기

클라우드 기반 Apache Hadoop 및 Apache Spark

Cloud Dataproc은 빠르고 사용하기 쉬운 완전 관리형 클라우드 서비스로서 Apache SparkApache Hadoop 클러스터를 더욱 간단하고 비용 효율적인 방식으로 실행합니다. 몇 시간이나 며칠씩 걸리던 작업이 몇 분이나 몇 초 만에 완료되고, 사용한 리소스에 대해서만 요금을 지불하면 됩니다(초당 청구). Cloud Dataproc은 다른 Google Cloud Platform(GCP) 서비스와도 쉽게 통합되어 데이터 처리, 분석, 머신러닝을 위한 강력하고도 완전한 플랫폼을 제공합니다.

관리형 Hadoop 및 Spark

빠르고 확장 가능한 데이터 처리

Cloud Dataproc 클러스터를 빠르게 생성함은 물론 언제든 노드 수를 3개에서 수백 개까지 조절할 수 있어 데이터 파이프라인이 클러스터보다 커질 일이 없습니다. 각 클러스터 작업은 평균 소요 시간이 90초 미만이므로 인프라 관리에 많은 시간을 뺏기지 않고 유용한 정보를 얻는 데 집중할 수 있습니다.

빠르고 확장 가능한 데이터 처리

저렴한 가격 책정

Google Cloud Platform 가격 책정 원칙을 채택한 Cloud Dataproc은 저렴한 비용과 이해하기 쉬운 실제 사용에 따른 초 단위 가격 구조를 취하고 있습니다. 또한 Cloud Dataproc 클러스터에 더 저렴한 선점형 인스턴스, 약정 사용 할인, 지속 사용 할인이 포함되므로 낮은 총 비용으로 강력한 클러스터를 얻을 수 있습니다.

저렴한 가격 책정

오픈소스 생태계

Cloud Dataproc에서 Spark 및 Hadoop 도구, 라이브러리, 문서를 사용할 수 있습니다. Cloud Dataproc은 Spark, Hadoop, Pig, Hive의 기본 버전을 자주 업데이트하므로 새로운 도구나 API를 배우지 않고도 시작할 수 있으며, 기존 프로젝트나 ETL 파이프라인을 다시 개발하지 않고 옮길 수 있습니다.

오픈소스 생태계

Cloud Dataproc 기능

Cloud Dataproc은 빠르고 사용이 간편하며 저렴한 관리형 Apache Spark 및 Apache Hadoop 서비스입니다.

자동화된 클러스터 관리
배포, 로깅, 모니터링이 관리되어 클러스터가 아닌 데이터에 집중할 수 있습니다. Cloud Dataproc 클러스터는 안정적이고 확장 가능하며 신속합니다.
크기 조절이 가능한 클러스터
클러스터를 만들고 다양한 가상 머신 유형, 디스크 크기, 노드 수, 네트워킹 옵션에 따라 빠르게 확장할 수 있습니다.
클러스터 자동 확장
Cloud Dataproc 자동 확장은 클러스터 리소스 관리를 자동화하는 메커니즘을 제공하고 클러스터 작업자(노드)를 자동으로 가감하는 기능을 지원합니다.
클라우드 통합
Cloud Storage, BigQuery, Cloud Bigtable, Stackdriver Logging, Stackdriver Monitoring, AI Hub와 기본적으로 통합되어 완전하고도 견고한 데이터 플랫폼을 제공합니다.
버전 관리
이미지 버전 차별화 덕분에 Apache Spark, Apache Hadoop, 기타 도구를 다양한 버전으로 전환할 수 있습니다.
고가용성
다수의 마스터 노드를 사용해 클러스터를 고가용성 모드로 실행하고 실패 시 다시 시작되도록 작업을 설정해 클러스터 및 작업의 고가용성을 보장할 수 있습니다.
엔터프라이즈 보안
Cloud Dataproc 클러스터를 만들 때 보안 구성을 추가하는 방법으로 Kerberos를 통해 Hadoop 보안 모드를 사용 설정할 수 있습니다. 또한 GCP와 Cloud Dataproc은 데이터 보호에 도움이 되는 보안 기능을 추가로 제공합니다. Cloud Dataproc과 함께 가장 일반적으로 사용되는 GCP만의 보안 기능으로는 기본 미사용 데이터 암호화, OS 로그인, VPC 서비스 제어, 고객 관리 암호화 키(CMEK) 등이 있습니다.
클러스터 예약 삭제
비활성 클러스터에 대한 요금 부과를 피하기 위해 Cloud Dataproc의 예약 삭제를 사용할 수 있습니다. 이 기능은 지정한 클러스터 유휴 시간이나 지정한 기간이 지난 후 또는 지정한 시간에 클러스터를 삭제하는 옵션을 제공합니다.
자동 또는 수동 구성
Cloud Dataproc은 하드웨어와 소프트웨어를 자동으로 구성하는 것은 물론 수동 제어 기능도 제공합니다.
개발자 도구
사용하기 쉬운 웹 UI, Cloud SDK, RESTful API, SSH 액세스 등 다양한 방식으로 클러스터를 관리할 수 있습니다.
초기화 작업
클러스터를 만들 때 초기화 작업을 실행해 필요한 설정 및 라이브러리를 설치하거나 맞춤설정할 수 있습니다.
선택적 구성요소
선택적 구성요소를 사용하여 클러스터에서 추가 구성요소를 설치하고 구성하세요. 선택적 구성요소는 Cloud Dataproc 구성요소와 통합되며 Zeppelin, Druid, Presto는 물론 Apache Hadoop 및 Apache Spark 생태계와 관련된 다른 오픈소스 소프트웨어 구성요소에도 완전히 구성된 환경을 제공합니다.
커스텀 이미지
Cloud Dataproc 클러스터는 사전 설치된 Linux 운영체제 패키지가 포함된 커스텀 이미지로 프로비저닝할 수 있습니다.
유연한 가상 머신
클러스터에서 커스텀 머신 유형선점형 가상 머신을 사용할 수 있어 사용자 요구에 최적화된 규모로 지원할 수 있습니다.
구성요소 게이트웨이 및 노트북 액세스
Cloud Dataproc 구성요소 게이트웨이는 클러스터에서 실행되는 Cloud Dataproc 기본 구성요소와 선택적 구성요소 웹 인터페이스에 안전하게 원클릭으로 액세스할 수 있는 환경을 제공합니다.
워크플로 템플릿
Cloud Dataproc 워크플로 템플릿은 워크플로 관리와 실행을 위한 간편하고 유연한 메커니즘을 제공합니다. 워크플로 템플릿은 재사용 가능한 워크플로 구성으로서 이러한 작업을 실행할 위치에 관한 정보와 함께 작업 그래프를 정의합니다.

Cloud Dataproc 가격

Cloud Dataproc은 클러스터에서 사용하는 Compute Engine 인스턴스의 가상 CPU에 따라 소액의 수수료가 단계적으로 늘어납니다1.

아이오와(us-central1) 오리건(us-west1) 북 버지니아(us-east4) 사우스캐롤라이나(us-east1) 몬트리올(northamerica-northeast1) 상파울루(southamerica-east1) 벨기에(europe-west1) 런던(europe-west2) 네덜란드(europe-west4) 취리히(europe-west6) 프랑크푸르트(europe-west3) 시드니(australia-southeast1) 뭄바이(asia-south1) 홍콩(asia-east2) 타이완(asia-east1) 도쿄(asia-northeast1) 오사카(asia-northeast2)
머신 유형 가격
표준 머신
가상 CPU 1-64개
고성능 메모리 머신
가상 CPU 2-64개
고성능 CPU 머신
가상 CPU 2-64개
맞춤 머신
vCPU 및 메모리 사용에 따라 다름
USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.

1Cloud Dataproc은 클러스터가 작동하는 동안 클러스터에서 사용되는 Compute Engine 인스턴스의 가상 CPU에 따라 소액의 수수료가 단계적으로 늘어납니다. Compute Engine 네트워크, BigQuery, Cloud Bigtable 등 Cloud Dataproc에서 사용하는 다른 리소스의 요금은 사용량에 따라 청구됩니다. 자세한 가격 책정 정보는 가격 책정 가이드를 참조하세요.

추천 블로그 글

클라우드상의 오픈소스 데이터 처리 방식에 대한 이해를 돕는 최신 블로그 글 읽기

Next ’19 하이라이트

고객이 Cloud Dataproc 사용을 통해 어떻게 조직에서 비용을 절감하고 데이터에 기반한 결정을 내리는지 살펴보세요.

Cloud Dataproc의 최신 기능
video_youtube
고객이 Hadoop을 Google Cloud Platform으로 마이그레이션하는 방식
video_youtube
Google Cloud

시작하기

학습 및 빌드

GCP를 처음 사용하시나요? $300 크레딧으로 모든 GCP 제품을 무료로 시작해 보세요.

도움이 더 필요하신가요?

요구사항에 맞는 솔루션을 구축하거나 파트너를 찾을 수 있도록 Google 전문가들이 도와 드립니다.

이 페이지에 나열된 제품은 알파, 베타 또는 사전 체험판 버전입니다. 제품 출시 단계에 대한 자세한 내용은 여기에서 확인하세요.

Cloud AI 제품은 여기에 명시된 SLA 정책을 준수합니다. 다른 Google Cloud 서비스에서 보장하는 지연 시간이나 가용성과는 다를 수 있습니다.

다음에 대한 의견 보내기...