Dataproc 선택적 Solr 구성요소

선택적 구성요소 기능을 사용하여 Dataproc 클러스터를 만들 때 Solr과 같은 추가 구성요소를 설치할 수 있습니다. 이 페이지에서는 Solr 구성요소를 설명합니다.

Apache Solr 구성요소는 오픈소스 기반의 엔터프라이즈 검색 플랫폼입니다. Solr 서버 및 웹 UI는 클러스터의 마스터 노드에 있는 포트 8983에서 사용할 수 있습니다.

Solr 파일 유지: 기본적으로 Solr는 HDFS에서 색인 및 트랜잭션 로그 파일을 쓰고 읽습니다. Solr 파일을 유지하려면 구성요소를 설치할 때 dataproc:solr.gcs.path 클러스터 속성을 설정하여 Cloud Storage 경로를 Solr 홈 디렉터리로 사용합니다.

구성요소 설치

Dataproc 클러스터를 만들 때 구성요소를 설치합니다. 구성요소는 Dataproc 버전 1.3 이상으로 만든 클러스터에 추가할 수 있습니다.

각 Dataproc 이미지 출시에 포함된 구성요소 버전은 지원되는 Dataproc 버전을 참조하세요.

gcloud 명령어

Solr 구성요소를 포함하는 Dataproc 클러스터를 만들려면 --optional-components 플래그와 함께 gcloud dataproc clusters create cluster-name 명령어를 사용합니다. 아래의 샘플 명령어는 선택적인 properties 플래그를 사용하여 Cloud Storage 경로를 Solr 홈 디렉터리로 설정합니다.

클러스터를 만들 때 구성요소 게이트웨이를 사용하여 Solr 웹 UI 연결을 사용 설정하려면 아래와 같이 gcloud dataproc clusters create 명령어와 --enable-component-gateway 플래그(아래 참조)를 함께 사용합니다.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

클러스터 속성 --properties="dataproc:solr.gcs.path=gs://bucket-name/"을 gcloud dataproc clusters create명령어에 추가하여 Solr 문서가 저장될 Cloud Storage 버킷을 설정합니다(Solr 홈 디렉터리)

REST API

Solr 구성요소는 clusters.create 요청의 일부로 SoftwareConfig.Component를 사용하여 Dataproc API를 통해 지정할 수 있습니다.

clusters.create 요청의 일부로 다음을 수행할 수 있습니다.

EndpointConfig.enableHttpPortAccess 속성을 true로 설정하여 구성요소 게이트웨이를 사용하여 Solr 웹 UI에 연결합니다.
SoftwareConfig.Component.properties 필드에서 "dataproc:solr.gcs.path=gs://bucket-name" 클러스터 속성을 설정하여 Solr 문서를 저장할 Cloud Storage 버킷을 설정합니다(Solr 홈 디렉터리).

Console

구성요소 및 구성요소 게이트웨이를 사용 설정합니다.
- Google Cloud 콘솔에서 Dataproc 클러스터 만들기 페이지를 엽니다. 클러스터 설정 패널이 선택되었습니다.
- 구성요소 섹션에서 다음을 수행합니다.
  - 선택적 구성요소 아래에서 클러스터에 설치할 Solr 및 기타 선택적인 구성요소를 선택합니다.
  - 구성요소 게이트웨이 아래에서 구성요소 게이트웨이 사용 설정을 선택합니다(구성요소 게이트웨이 URL 보기 및 액세스 참조).