안내 가이드

핵심 및 일반 태스크

• Dataproc에 인증

  Dataproc에 인증하는 방법을 알아봅니다.

• 클러스터 만들기

  Google Cloud 콘솔 또는 Google Cloud CLI를 사용하여 클러스터를 만듭니다.

• 부분 클러스터 만들기

  기본 작업자의 최소 수를 포함하는 부분 클러스터를 만듭니다.

• 커스텀 이미지 만들기

  커스텀 이미지를 만들고 Dataproc 클러스터에 설치하는 방법을 알아봅니다.

• 라벨 생성 및 관리

  Dataproc 사용자 라벨을 만들고 관리합니다.

• Spark용 자바 및 Scala 종속 항목 관리

  Apache Spark 애플리케이션의 자바 및 Scala 종속 항목을 관리하고 충돌을 해결하는 방법을 알아봅니다.

• 클러스터 관리

  클러스터를 업데이트하거나 종료할 수 있습니다.

• Dataproc 클러스터에서 Vertex AI Workbench 노트북 실행

  Dataproc 클러스터에서 관리형 인스턴스의 노트북 파일을 실행합니다.

• 프로젝트 설정

  Dataproc을 사용할 새 프로젝트를 설정합니다.

• 클러스터 시작 및 중지

  Dataproc 클러스터를 시작하고 중지합니다.

• 작업 제출

  Google Cloud Console 또는 Google Cloud CLI를 사용하거나 클러스터 인스턴스에 SSH로 연겨하여 다른 작업 유형을 제출합니다.

GKE 기반 Dataproc

• GKE 기반 Dataproc 개요

  GKE 기반 Dataproc을 간단히 살펴봅니다.

• 빠른 시작: GKE 기반 Dataproc에서 Spark 작업 실행

  GKE 기반 Dataproc 가상 클러스터를 만든 후 가상 클러스터에서 Spark 작업을 실행합니다.

• GKE 기반 Dataproc 가상 클러스터 다시 만들기 및 업데이트

  GKE 기반 Dataproc 가상 클러스터를 다시 만들고 업데이트합니다.

• GKE 기반 Dataproc 가상 클러스터 삭제

  GKE 기반 Dataproc 가상 클러스터를 삭제합니다.

• 커스텀 GKE 기반 Dataproc 컨테이너 이미지

  GKE 기반 Dataproc 컨테이너 이미지를 만드는 방법을 알아봅니다.

• GKE 기반 Dataproc 클러스터 진단

  GKE 기반 Dataproc 클러스터를 진단하는 방법을 설명합니다.

• GKE 기반 Dataproc IAM 역할 및 ID

  GKE 기반 Dataproc IAM 권한에 대해 알아봅니다.

• GKE 기반 Dataproc 로깅

  GKE 기반 Dataproc 로그를 확인합니다.

• GKE 기반 Dataproc 노드 풀

  GKE 기반 Dataproc 노드 풀을 관리합니다.

• GKE 기반 Dataproc 출시 버전

  GKE 기반 Dataproc 출시 버전 정보를 소개합니다.

• GKE 기반 Dataproc 클러스터 확장

  GKE 기반 Dataproc 클러스터를 확장하는 방법을 설명합니다.

Dataproc Hub

• Dataproc Hub 개요

  Dataproc Hub 기본사항을 이해합니다.

• Dataproc Hub 구성

  단일 사용자 Dataproc 클러스터에서 JupyterLab UI를 열 수 있도록 Dataproc Hub를 구성합니다.

• Dataproc Hub 사용

  Dataproc Hub 인스턴스를 사용하여 단일 사용자 Dataproc 클러스터에서 JupyterLab UI를 엽니다.

Dataproc 노드 그룹

• Dataproc 드라이버 노드 그룹

  Dataproc 드라이버 노드 그룹을 이해합니다.

Dataproc 템플릿

• Dataproc 템플릿

  Dataproc 템플릿을 사용하여 Dataproc 워크로드와 작업을 설정하고 실행합니다.

로그 기록 및 모니터링

• Dataproc 로그

  Cloud Logging을 사용하여 Dataproc 클러스터 및 작업 로그를 확인합니다.

• Dataproc 작업 출력 및 로그

  Dataproc 작업 출력을 구성하고 확인합니다.

• Dataproc 감사 로그 보기

  Dataproc 감사 로그를 보는 방법을 설명합니다.

• Cloud Monitoring

  Cloud Monitoring을 사용하여 Dataproc 클러스터 측정항목을 봅니다.

• Dataproc 측정항목 알림 만들기

  Dataproc 클러스터 및 작업 측정항목 알림을 만듭니다.

• Cloud Profiler

  Cloud Profiler를 사용하여 Spark 및 Hadoop 작업 CPU 사용량과 메모리 할당을 프로파일링합니다.

Dataproc으로 마이그레이션

• HDFS 데이터 마이그레이션

  Dataproc 및 기타 서비스에서 사용할 수 있도록 Hadoop 파일 시스템(HDFS)에서 Cloud Storage로 데이터를 마이그레이션합니다.

• 클러스터 마이그레이션

  Apache Spark 및 Apache Hadoop 클러스터를 Dataproc으로 마이그레이션합니다.

• 작업 마이그레이션

  Spap, Hadoop, Hive, Pig 등의 작업 유형을 Dataproc으로 이동합니다.

Dataproc 성능 향상

• 성능 향상

  Dataproc Spark 및 Dataproc 커넥터 성능 향상을 사용 설정합니다.

Data Lineage 통합 사용 설정

• Dataproc에서 데이터 계보 사용

  Dataproc 클러스터에서 데이터 계보를 사용 설정하여 Dataproc Spark 작업의 계보 이벤트를 캡처하고 Data Lineage API에 게시합니다.