튜토리얼

Apache Hadoop

• BigQuery 커넥터로 MapReduce 작업 작성

  Apache Hadoop용 BigQuery 커넥터로 맵리듀스 작업을 작성하는 방법을 보여주는 코드 예시를 따릅니다.

Apache Hive

• Kafka 주제를 Hive로 스트리밍

  Dataproc 클러스터를 사용하여 Kafka 주제를 Cloud Storage의 Apache Hive 테이블로 스트리밍한 후 스트리밍된 데이터를 쿼리합니다.

• Dataproc에서 Apache Hive 사용

  Dataproc에서 Apache Hive 워크로드를 효율적으로 배포하는 방법을 알아봅니다.

Apache Kafka

• Kafka 주제를 Hive로 스트리밍

  Dataproc 클러스터를 사용하여 Kafka 주제를 Cloud Storage의 Apache Hive 테이블로 스트리밍한 후 스트리밍된 데이터를 쿼리합니다.

Apache Spark

• Dataproc 및 Apache Spark를 사용하는 Monte Carlo 방식

  Dataproc 및 Apache Spark를 사용하여 Python 및 Scala에서 Monte Carlo 시뮬레이션을 실행합니다.

• 머신러닝에 BigQuery 및 Spark ML 사용

  머신러닝에 Dataproc, BigQuery, Apache Spark ML을 사용합니다.

• Apache Spark로 BigQuery 커넥터 사용

  Apache Spark와 함께 Apache Hadoop용 BigQuery 커넥터를 사용하는 코드 예시를 따릅니다.

• Apache Spark로 Cloud Storage 커넥터 사용하기

  Apache Spark와 함께 Apache Hadoop용 Cloud Storage 커넥터를 사용하는 코드 예시를 따릅니다.

• Spark Scala 작업 작성 및 실행

  Dataproc를 사용하여 Spark Scala 작업을 만들고 제출합니다.

커넥터

• Apache Spark로 BigQuery 커넥터 사용

  Apache Spark와 함께 Apache Hadoop용 BigQuery 커넥터를 사용하는 코드 예시를 따릅니다.

• Apache Spark로 Cloud Storage 커넥터 사용하기

  Apache Spark와 함께 Apache Hadoop용 Cloud Storage 커넥터를 사용하는 코드 예시를 따릅니다.

• BigQuery 커넥터로 MapReduce 작업 작성

  Apache Hadoop용 BigQuery 커넥터로 맵리듀스 작업을 작성하는 방법을 보여주는 코드 예시를 따릅니다.

언어

• Dataproc Python 환경 구성

  Dataproc 클러스터에서 PySpark 작업을 실행하도록 Python을 구성합니다.

• Python용 Cloud 클라이언트 라이브러리 사용

  Python API용 Cloud 클라이언트 라이브러리를 사용하여 Dataproc과 프로그래매틱 방식으로 상호작용합니다.

• Spark Scala 작업 작성 및 실행

  Dataproc를 사용하여 Spark Scala 작업을 만들고 제출합니다.

메모장

• Dataproc Hub 개요

  Dataproc Hub 기본사항을 이해합니다.

• Dataproc Hub 구성

  단일 사용자 Dataproc 클러스터에서 JupyterLab UI를 열 수 있도록 Dataproc Hub를 구성합니다.

• Dataproc Hub 사용

  Dataproc Hub 인스턴스를 사용하여 단일 사용자 Dataproc 클러스터에서 JupyterLab UI를 엽니다.

• Jupyter 메모장 설치 및 실행

  Dataproc 클러스터에서 Jupyter 메모장을 설치, 실행, 액세스합니다.

• Dataproc 클러스터에서 Vertex AI Workbench 노트북 실행

  Dataproc 클러스터에서 관리형 인스턴스의 노트북 파일을 실행합니다.

• Dataproc의 JupyterLab 노트북에서 유전체학 분석 실행

  Dataproc 클러스터에서 호스팅되는 JupyterLab 노트북에서 Dask, NVIDIA RAPIDS, GPU를 사용하여 단일 셀 유전체학 분석을 실행합니다.

Trino

• Dataproc으로 Trino 사용

  Dataproc으로 Trino(이전 Presto)를 설치하고 사용합니다.

워크플로

• Cloud Composer를 사용하는 워크플로

  Cloud Composer로 워크플로 템플릿을 트리거합니다.

• Cloud Functions를 사용하는 워크플로

  Cloud 함수로 워크플로 템플릿을 트리거합니다.

• Cloud Scheduler를 사용하는 워크플로

  워크플로 Cloud Scheduler를 트리거합니다.