Apache Hadoop
Apache Hive
-
Kafka 주제를 Hive로 스트리밍
Dataproc 클러스터를 사용하여 Kafka 주제를 Cloud Storage의 Apache Hive 테이블로 스트리밍한 후 스트리밍된 데이터를 쿼리합니다.
-
Dataproc에서 Apache Hive 사용
Dataproc에서 Apache Hive 워크로드를 효율적으로 배포하는 방법을 알아봅니다.
Apache Kafka
Apache Spark
-
Dataproc 및 Apache Spark를 사용하는 Monte Carlo 방식
Dataproc 및 Apache Spark를 사용하여 Python 및 Scala에서 Monte Carlo 시뮬레이션을 실행합니다.
-
머신러닝에 BigQuery 및 Spark ML 사용
머신러닝에 Dataproc, BigQuery, Apache Spark ML을 사용합니다.
-
Apache Spark로 BigQuery 커넥터 사용
Apache Spark와 함께 Apache Hadoop용 BigQuery 커넥터를 사용하는 코드 예시를 따릅니다.
-
Apache Spark에서 Spark Spanner 커넥터 사용
Apache Spark에서 Apache Hadoop용 Spark Spanner 커넥터를 사용하는 코드 예시를 따릅니다.
-
Apache Spark로 Cloud Storage 커넥터 사용
Apache Spark와 함께 Apache Hadoop용 Cloud Storage 커넥터를 사용하는 코드 예시를 따릅니다.
-
Spark Scala 작업 작성 및 실행
Dataproc를 사용하여 Spark Scala 작업을 만들고 제출합니다.
커넥터
-
Apache Spark로 BigQuery 커넥터 사용
Apache Spark와 함께 Apache Hadoop용 BigQuery 커넥터를 사용하는 코드 예시를 따릅니다.
-
Apache Spark에서 Spark Spanner 커넥터 사용
Apache Spark에서 Apache Hadoop용 Spark Spanner 커넥터를 사용하는 코드 예시를 따릅니다.
-
Apache Spark로 Cloud Storage 커넥터 사용
Apache Spark와 함께 Apache Hadoop용 Cloud Storage 커넥터를 사용하는 코드 예시를 따릅니다.
-
BigQuery 커넥터로 MapReduce 작업 작성
Apache Hadoop용 BigQuery 커넥터로 맵리듀스 작업을 작성하는 방법을 보여주는 코드 예시를 따릅니다.
언어
-
Dataproc Python 환경 구성
Dataproc 클러스터에서 PySpark 작업을 실행하도록 Python을 구성합니다.
-
Python용 Cloud 클라이언트 라이브러리 사용
Python API용 Cloud 클라이언트 라이브러리를 사용하여 Dataproc과 프로그래매틱 방식으로 상호작용합니다.
-
Spark Scala 작업 작성 및 실행
Dataproc를 사용하여 Spark Scala 작업을 만들고 제출합니다.
메모장
-
Dataproc Hub 개요
Dataproc Hub 기본사항을 이해합니다.
-
Dataproc Hub 구성
단일 사용자 Dataproc 클러스터에서 JupyterLab UI를 열 수 있도록 Dataproc Hub를 구성합니다.
-
Dataproc Hub 사용
Dataproc Hub 인스턴스를 사용하여 단일 사용자 Dataproc 클러스터에서 JupyterLab UI를 엽니다.
-
Jupyter 메모장 설치 및 실행
Dataproc 클러스터에서 Jupyter 노트북을 설치, 실행, 액세스합니다.
-
Dataproc의 JupyterLab 노트북에서 유전체학 분석 실행
Dataproc 클러스터에서 호스팅되는 JupyterLab 노트북에서 Dask, NVIDIA RAPIDS, GPU를 사용하여 단일 셀 유전체학 분석을 실행합니다.