기본 콘텐츠로 건너뛰기
Google Cloud
문서 기술 영역
  • AI 및 ML
  • 애플리케이션 개발
  • 애플리케이션 호스팅
  • 컴퓨팅
  • 데이터 분석 및 파이프라인
  • 데이터베이스
  • 분산, 하이브리드, 멀티 클라우드
  • 생성형 AI
  • 업종별 솔루션
  • 네트워킹
  • 관측 가능성 및 모니터링
  • 보안
  • Storage
크로스 프로덕트 도구
  • 액세스 및 리소스 관리
  • 비용 및 사용량 관리
  • Google Cloud SDK, 언어, 프레임워크, 도구
  • 코드형 인프라
  • 이전
관련 사이트
  • Google Cloud 홈
  • 무료 체험판 및 무료 등급
  • 아키텍처 센터
  • 블로그
  • 영업팀에 문의
  • Google Cloud Developer Center
  • Google Developer Center
  • Google Cloud Marketplace
  • Google Cloud Marketplace 문서
  • Google Cloud Skills Boost
  • Google Cloud Solutions Center
  • Google Cloud 지원팀
  • Google Cloud Tech YouTube 채널
/
  • English
  • Deutsch
  • Español – América Latina
  • Français
  • Indonesia
  • Italiano
  • Português – Brasil
  • 中文 – 简体
  • 中文 – 繁體
  • 日本語
  • 한국어
콘솔 로그인
  • Dataproc
가이드 참조 샘플 리소스
문의하기 무료로 시작하기
Google Cloud
  • 문서
    • 가이드
    • 참조
    • 샘플
    • 리소스
  • 기술 영역
    • 더보기
  • 크로스 프로덕트 도구
    • 더보기
  • 관련 사이트
    • 더보기
  • 콘솔
  • 문의하기
  • 무료로 시작하기
  • Discover
  • 제품 개요
  • 구성요소
    • 개요
    • Delta Lake
    • Docker
    • Flink
    • HBase
    • Hive WebHCat
    • Hudi
    • Iceberg
    • Jupyter
    • Pig
    • Presto
    • Ranger
      • Ranger 설치
      • Kerberos와 Ranger 사용
      • Ranger를 사용하여 캐싱 사용 설정 및 권한 축소
      • Ranger 스키마 백업 및 복원
    • Solr
    • Trino
    • Zeppelin
    • Zookeeper
  • 서비스
  • 컴퓨팅 옵션
    • 머신 유형
    • GPU
    • 최소 CPU 플랫폼
    • 보조 작업자
    • 로컬 솔리드 스테이트 드라이브
    • 부팅 디스크
  • 버전 관리
    • 개요
    • 2.3.x 출시 버전
    • 2.2.x 출시 버전
    • 2.1.x 출시 버전
    • 2.0.x 출시 버전
    • 클러스터 이미지 버전 목록
  • 자주 묻는 질문(FAQ)
  • 시작하기
  • Dataproc에서 Spark 실행
    • 콘솔 사용
    • 명령줄 사용하기
    • REST API 탐색기 사용
      • 클러스터 만들기
      • Spark 작업 실행
      • 클러스터 업데이트
      • 클러스터 삭제
    • 클라이언트 라이브러리 사용
    • Kubernetes를 사용하여 Spark 실행
  • 만들기
  • 프로젝트 설정
  • Dataproc 템플릿 사용
  • Dataproc 클러스터 만들기
    • 클러스터 만들기
    • 고가용성 클러스터 만들기
    • 노드 그룹 클러스터 만들기
    • 부분 클러스터 만들기
    • 단일 노드 클러스터 만들기
    • 단독 테넌트 클러스터 만들기
    • 클러스터 다시 만들기
    • 커스텀 이미지 만들기
  • Kubernetes 클러스터 만들기
    • 개요
    • 출시 버전
    • 클러스터 다시 만들기
    • 노드 풀 만들기
    • 커스텀 이미지 만들기
  • BigQuery metastore에서 메타데이터가 포함된 Apache Iceberg 테이블 만들기
  • 개발
  • Apache Hadoop
  • Apache HBase
  • Apache Hive 및 Kafka
  • Apache Spark
    • 구성
      • Spark 종속 항목 관리
      • Spark 환경 맞춤설정
      • 동시 쓰기 사용 설정
      • Spark 성능 향상
      • Spark 조정
    • 환승
      • Spark BigQuery 커넥터 사용
      • Cloud Storage 커넥터 사용
      • Spark Spanner 커넥터 사용
    • 실행
      • HBase 사용
      • Monte Carlo 시뮬레이션 사용
      • Spark ML 사용
      • Spark Scala 사용
  • 노트북 사용
    • 개요
    • Dataproc 클러스터에서 Jupyter 노트북 실행
    • 노트북에서 유전체학 분석 실행
    • Dataproc Serverless에서 JupyterLab 플러그인 사용
  • Python
    • 환경 구성
    • Cloud 클라이언트 라이브러리 사용
  • Trino
  • 배포
  • 작업 실행
    • 작업 수명
    • 작업 제출
    • 작업 다시 시작
    • 작업 기록 보기
  • 워크플로 템플릿 사용
    • 개요
    • 매개변수화
    • YAML 파일 사용
    • 클러스터 선택기 사용
    • 인라인 워크플로 사용
  • 워크플로 조정
    • 워크플로 예약 솔루션
    • Dataproc 워크플로 템플릿 사용
    • Cloud Composer 사용
    • Cloud Functions 사용
    • Cloud Scheduler 사용
  • 성능 조정
    • Spark 성능 최적화
    • Dataproc 측정항목
    • 측정항목 알림 만들기
    • 리소스 사용량 프로파일링
  • 관리
  • 클러스터 관리
    • 클러스터 시작 및 중지
      • 수동으로 클러스터 시작 및 중지
      • 클러스터 중지 예약
    • 클러스터 업데이트 및 삭제
    • 클러스터 순환
    • 클러스터 구성
      • 클러스터 속성 설정
      • 리전 선택
      • 영역 자동 선택
      • 초기화 작업 정의
      • VM 유형 우선순위 지정
      • 클러스터 삭제 예약
    • 클러스터 확장
      • 클러스터 확장
      • 클러스터 자동 확장
    • 데이터 관리
      • Hadoop 데이터 스토리지
      • 스토리지 유형 선택
      • 클러스터 데이터 캐시
      • 셔플 데이터 오프로드
    • 네트워크 관리하기
      • 네트워크 구성
      • Private Service Connect를 사용한 Dataproc 클러스터 네트워킹
  • Kubernetes 클러스터 관리
    • 클러스터 확장
    • 클러스터 삭제
  • 클러스터 액세스
    • SSH 사용
    • 웹 인터페이스에 연결
    • 구성요소 게이트웨이 사용
    • 직원 액세스 권한 설정
  • 메타데이터 및 라벨 관리
    • Spark 데이터 계보 사용 설정
    • Hive 데이터 계보 사용 설정
    • 메타데이터 설정
    • 필터링 라벨 설정
    • 보안 태그 사용
  • Dataproc에 연결
    • Hadoop 마이그레이션
    • BigQuery와 연결
      • BigQuery 커넥터
      • Hive-BigQuery 커넥터
      • 코드 샘플
    • Bigtable과 연결
    • Cloud Storage와 연결
    • Pub/Sub Lite와 연결
  • 프로덕션 권장사항
  • 보안 및 규정 준수
  • 보안 권장사항
  • 사용자 인증
    • Dataproc에 인증
    • 개인 클러스터 인증
  • 역할 및 권한 할당
    • Dataproc 역할 및 권한
    • Dataproc 주 구성원
    • 세분화된 IAM
    • Kubernetes 역할 할당
  • 서비스 계정 만들기
  • 클러스터 보호
    • Kerberos를 통한 멀티테넌시 보호
    • 서비스 계정을 통한 멀티테넌시 보호
    • 메모리 암호화
    • 데이터 암호화 키 관리
    • Ranger 승인 서비스 사용 설정
    • Secret Manager 사용자 인증 정보 공급자 사용
    • Hive metastore 클러스터 만들기 및 보호
  • 커스텀 제약조건 만들기
  • Assured Workloads
  • FedRAMP 규정 준수
  • 결제 확인
  • 문제 해결
  • 개요
  • 로그 분석
    • Dataproc 로그
    • 작업 출력 로그
    • 감사 로그
  • 클러스터 문제 해결
    • 클러스터 진단 데이터 보기
    • 클러스터 생성 문제 해결
    • Kubernetes 클러스터 진단
    • Kubernetes 로깅 사용 설정
  • 작업 문제 해결
    • 작업 문제 해결
    • 메모리 오류 문제 해결
    • 작업 지연 문제 해결
    • 작업 기록 보기
    • 워크플로 템플릿 문제 해결
  • AI 및 ML
  • 애플리케이션 개발
  • 애플리케이션 호스팅
  • 컴퓨팅
  • 데이터 분석 및 파이프라인
  • 데이터베이스
  • 분산, 하이브리드, 멀티 클라우드
  • 생성형 AI
  • 업종별 솔루션
  • 네트워킹
  • 관측 가능성 및 모니터링
  • 보안
  • Storage
  • 액세스 및 리소스 관리
  • 비용 및 사용량 관리
  • Google Cloud SDK, 언어, 프레임워크, 도구
  • 코드형 인프라
  • 이전
  • Google Cloud 홈
  • 무료 체험판 및 무료 등급
  • 아키텍처 센터
  • 블로그
  • 영업팀에 문의
  • Google Cloud Developer Center
  • Google Developer Center
  • Google Cloud Marketplace
  • Google Cloud Marketplace 문서
  • Google Cloud Skills Boost
  • Google Cloud Solutions Center
  • Google Cloud 지원팀
  • Google Cloud Tech YouTube 채널
  • Home
  • 문서
  • Dataproc
  • Documentation
  • 가이드

Hadoop 마이그레이션
컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

Apache Hadoop 워크플로 및 데이터를 Google Cloud및 Dataproc으로 마이그레이션하려면 다음 문서를 참조하세요.

  • 온프레미스 Hadoop 인프라를 Google Cloud로 마이그레이션
  • 온프레미스에서 Google Cloud로 HDFS 데이터 마이그레이션

달리 명시되지 않는 한 이 페이지의 콘텐츠에는 Creative Commons Attribution 4.0 라이선스에 따라 라이선스가 부여되며, 코드 샘플에는 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 Google Developers 사이트 정책을 참조하세요. 자바는 Oracle 및/또는 Oracle 계열사의 등록 상표입니다.

최종 업데이트: 2025-08-13(UTC)

  • Google을 사용해야 하는 이유

    • Google Cloud 선택
    • 신뢰성 및 보안
    • 최신 인프라 클라우드
    • 멀티 클라우드
    • 글로벌 인프라
    • 고객 및 우수사례
    • 분석 보고서
    • 백서
  • 제품 및 가격 책정

    • 모든 제품 보기
    • 모든 솔루션 보기
    • 스타트업을 위한 Google Cloud
    • Google Cloud Marketplace
    • Google Cloud 가격 책정
    • 영업팀에 문의
  • 지원

    • Google Cloud 커뮤니티
    • 지원
    • 출시 노트
    • 시스템 상태
  • 리소스

    • GitHub
    • Google Cloud 시작하기
    • Google Cloud 문서
    • 코드 샘플
    • 클라우드 아키텍처 센터
    • 교육 및 자격증
    • Developer Center
  • 참여

    • 블로그
    • 이벤트
    • X(트위터)
    • YouTube의 Google Cloud 채널
    • Google Cloud Tech의 YouTube 채널
    • 파트너 되기
    • Google Cloud Affiliate Program
    • 보도자료 코너
  • Google 정보
  • 개인정보처리방침
  • 사이트 약관
  • Google Cloud 약관
  • Manage cookies
  • Google의 기후 행동 30년: 동참하기
  • Google Cloud 뉴스레터 구독하기 구독
  • English
  • Deutsch
  • Español – América Latina
  • Français
  • Indonesia
  • Italiano
  • Português – Brasil
  • 中文 – 简体
  • 中文 – 繁體
  • 日本語
  • 한국어