Dataproc 선택적 Zeppelin 구성요소

선택적 구성요소 기능을 사용하여 Dataproc 클러스터를 만들 때 Zeppelin과 같은 추가 구성요소를 설치할 수 있습니다. 이 페이지에서는 Zeppelin 구성요소에 대해 설명합니다.

Zeppelin 노트북 구성요소는 대화형 데이터 분석을 위한 웹 기반 노트북입니다. Zeppelin 웹 UI는 클러스터의 첫 번째 마스터 노드에 있는 포트 8080에서 사용할 수 있습니다.

기본적으로 메모장은 사용자가 지정하거나 클러스터를 만들 때 자동 생성되는 Cloud Dataproc 스테이징 버킷의 Cloud Storage에 저장됩니다. 위치는 클러스터를 만드는 시점에 zeppelin:zeppelin.notebook.gcs.dir 속성을 통해 변경할 수 있습니다.

• Zeppelin은 zeppelin 및 zeppelin-env라는 프리픽스가 붙은 클러스터 속성을 제공하여 구성할 수 있습니다.
  • 보안되지 않은 메모장 서버 API에 대한 원격 코드 실행 위험을 줄이려면 이미지 버전 1.3+인 경우 기본 zeppelin:zeppelin.server.addr 클러스터 속성 설정은 127.0.0.1로, 구성요소 게이트웨이가 사용 설정된 경우 localhost으로 연결을 제한합니다.

구성요소 설치

Dataproc 클러스터를 만들 때 구성요소를 설치합니다. 구성요소는 Dataproc 버전 1.3 이상으로 만든 클러스터에 추가할 수 있습니다.

각 Dataproc 이미지 출시에 포함된 구성요소 버전은 지원되는 Dataproc 버전을 참조하세요.

gcloud 명령어

Zeppelin 구성요소가 포함된 Dataproc 클러스터를 만들려면 gcloud dataproc clusters create cluster-name 명령어를 --optional-components 플래그와 함께 사용합니다.

클러스터(이미지 버전 1.3.29 이상)를 만들 때 구성요소 게이트웨이를 사용하여 Zeppelin 메모장 웹 UI 연결을 사용 설정하려면 아래와 같이 gcloud dataproc clusters create 명령어를 --enable-component-gateway 플래그와 함께 사용합니다.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Zeppelin 구성요소는 SoftwareConfig.Component를 clusters.create 요청에 사용하여 Dataproc API를 통해 지정할 수 있습니다.

Dataproc v1 API를 사용할 때 구성요소 게이트웨이에서 Zeppelin 노트북 웹 UI 연결을 사용 설정하려면 clusters.create 요청에서 EndpointConfig.enableHttpPortAccess 속성을 true로 설정하세요.

콘솔

1. 구성요소 및 구성요소 게이트웨이를 사용 설정합니다.
   • Google Cloud 콘솔에서 Dataproc 클러스터 만들기 페이지를 엽니다. 클러스터 설정 패널이 선택되었습니다.
   • 구성요소 섹션에서 다음을 수행합니다.
     • 선택적 구성요소 아래에서 클러스터에 설치할 Zeppelin 및 기타 선택적인 구성요소를 선택합니다.
     • 구성요소 게이트웨이 아래에서 구성요소 게이트웨이 사용 설정을 선택합니다(구성요소 게이트웨이 URL 보기 및 액세스 참조).

Zeppelin 노트북 열기

클러스터 마스터 노드에서 실행 중인 Zeppelin 노트북 UI를 로컬 브라우저에서 열기 위해 Google Cloud 콘솔에서 구성요소 게이트웨이 링크를 클릭하려면 구성요소 게이트웨이 URL 보기 및 액세스를 참조하세요.