Dataproc은 일괄 처리, 쿼리, 스트리밍, 머신러닝에 오픈소스 데이터 도구를 사용할 수 있는 관리형 Apache Spark 및 Apache Hadoop 서비스입니다. Dataproc 자동화를 통해 신속하게 클러스터를 만들고 손쉽게 관리하며 불필요한 클러스터를 사용 중지하여 비용을 절감할 수 있습니다. 관리 시간과 비용이 절감되므로 작업과 데이터에 집중할 수 있습니다. 자세히 알아보기

문서 리소스

빠른 시작 및 가이드를 찾고 주요 참조를 검토하며 일반적인 문제에 대한 도움을 받을 수 있습니다.
Google Cloud Skills Boost의 사용자 주도형 학습, 사용 사례, 참조 아키텍처, 코드 샘플을 통해 Google Cloud 서비스 사용 및 연결 방법의 예시를 살펴보세요.
학습
교육 및 튜토리얼

Google Kubernetes Engine에서 Spark 작업 실행

Dataproc Jobs API에서 실행 중인 Google Kubernetes Engine 클러스터에 Spark 작업을 제출합니다.

자세히 알아보기  
학습
교육 및 튜토리얼

Cloud Dataproc 소개: Google Cloud 기반 Hadoop 및 Spark

이 과정에서는 강의, 데모, 실무형 실습을 결합하여 Dataproc 클러스터를 만들고 Spark 작업을 제출하고 클러스터를 종료합니다.

자세히 알아보기  
학습
교육 및 튜토리얼

Dataproc의 Spark를 사용한 머신러닝

이 과정에서는 강의, 데모, 실무형 실습을 결합하여 Dataproc 클러스터에서 실행되는 Apache Spark용 머신 러닝 라이브러리를 사용하여 로지스틱 회귀를 구현해 다변수 데이터 세트의 데이터 모델을 개발합니다.

자세히 알아보기  
사용 사례
사용 사례

워크플로 예약 솔루션

Google Cloud에서 워크플로를 예약합니다.

자세히 알아보기  
사용 사례
사용 사례

온프레미스에서 Google Cloud로 HDFS 데이터 마이그레이션

온프레미스 Hadoop 분산 파일 시스템(HDFS)에서 Google Cloud로 데이터를 이전하는 방법.

자세히 알아보기  
사용 사례
사용 사례

Apache Spark용 자바 및 Scala 종속 항목 관리

Dataproc 클러스터에 Spark 작업을 제출할 때 종속 항목을 포함하는 경우 권장되는 방법입니다.

자세히 알아보기  
사용 사례
사용 사례

Dataproc에서 Apache Hive 사용하기

Dataproc에서 효율적이고 유연한 방식으로 Apache Hive를 사용하여 Hive 데이터를 Cloud Storage에 저장하고 Hive 메타스토어를 Cloud SQL의 MySQL 데이터베이스에 호스팅합니다.

자세히 알아보기  
코드 샘플
코드 샘플

Python API 샘플

Python에서 Dataproc API를 호출합니다.

GitHub 열기  
코드 샘플
코드 샘플

자바 API 샘플

자바에서 Dataproc API를 호출합니다.

GitHub 열기  
코드 샘플
코드 샘플

Node.js API 샘플

Node.js에서 Dataproc API를 호출합니다.

GitHub 열기  
코드 샘플
코드 샘플

Go API 샘플

Go에서 Dataproc API를 호출합니다.

GitHub 열기  

관련 동영상