가이드

Apache Hadoop

• BigQuery 커넥터로 MapReduce 작업 작성

  Apache Hadoop용 BigQuery 커넥터로 맵리듀스 작업을 작성하는 방법을 보여주는 코드 예시를 따릅니다.

Apache Hive

• Dataproc에서 Apache Hive 사용

  Cloud Dataproc에서 Apache Hive 워크로드를 효율적으로 배포하는 방법을 알아봅니다.

Apache Spark

• Cloud Dataproc 및 Apache Spark를 사용하는 Monte Carlo 방식

  Cloud Dataproc 및 Apache Spark를 사용하여 Python 및 Scala에서 Monte Carlo 시뮬레이션을 실행합니다.

• 머신러닝에 BigQuery 및 Spark ML 사용

  머신러닝에 Cloud Dataproc, BigQuery, Apache Spark ML을 사용합니다.

• Apache Spark로 BigQuery 커넥터 사용하기

  Apache Spark와 함께 Apache Hadoop용 BigQuery 커넥터를 사용하는 코드 예시를 따릅니다.

• Apache Spark로 Cloud Storage 커넥터 사용

  Apache Spark와 함께 Apache Hadoop용 Cloud Storage 커넥터를 사용하는 코드 예시를 따릅니다.

• Spark Scala 작업 작성 및 실행

  Cloud Dataproc를 사용하여 Spark Scala 작업을 만들고 제출합니다.

커넥터

• Apache Spark로 BigQuery 커넥터 사용하기

  Apache Spark와 함께 Apache Hadoop용 BigQuery 커넥터를 사용하는 코드 예시를 따릅니다.

• Apache Spark로 Cloud Storage 커넥터 사용

  Apache Spark와 함께 Apache Hadoop용 Cloud Storage 커넥터를 사용하는 코드 예시를 따릅니다.

• BigQuery 커넥터로 맵리듀스 작업 작성

  Apache Hadoop용 BigQuery 커넥터로 맵리듀스 작업을 작성하는 방법을 보여주는 코드 예시를 따릅니다.

언어

• 클러스터의 Python 환경 구성

  클러스터에서 PySpark 작업을 실행하도록 Python을 구성합니다.

• Python용 Cloud 클라이언트 라이브러리 사용

  Python API용 Cloud 클라이언트 라이브러리를 사용하여 Cloud Dataproc과 프로그래매틱 방식으로 상호작용합니다.

• Cloud Dataproc 클러스터에서 RStudio® Server 실행하기

  Cloud Dataproc 클러스터에서 RStudio Server를 실행하고 로컬 머신에서 RStudio 웹 UI에 액세스하는 방법을 알아봅니다.

• Spark Scala 작업 작성 및 실행

  Cloud Dataproc를 사용하여 Spark Scala 작업을 만들고 제출합니다.

메모장

• Jupyter 메모장 설치 및 실행

  Cloud Dataproc 클러스터에서 Jupyter 노트북을 설치, 실행, 액세스합니다.

• Dataproc Hub 개요

  Dataproc Hub 기본사항을 이해합니다.

• Dataproc Hub 구성

  단일 사용자 Dataproc 클러스터에서 JupyterLab UI를 열 수 있도록 Dataproc Hub를 구성합니다.

• Dataproc Hub 사용

  Dataproc Hub 인스턴스를 사용하여 단일 사용자 Dataproc 클러스터에서 JupyterLab UI를 엽니다.

Presto

• Dataproc과 함께 Presto 사용

  Cloud Dataproc과 함께 Presto를 설치하고 사용합니다.

워크플로

• Cloud Composer를 사용하는 워크플로

  Cloud Composer로 워크플로 템플릿을 트리거합니다.

• Cloud Functions를 사용하는 워크플로

  Cloud 함수로 워크플로 템플릿을 트리거합니다.

• Cloud Scheduler를 사용하는 워크플로

  워크플로 Cloud Scheduler를 트리거합니다.