선택적 구성요소 기능을 사용하여 Dataproc 클러스터를 만들 때 Presto와 같은 추가 구성요소를 설치할 수 있습니다. 이 페이지에서는 Dataproc 클러스터에 Presto 구성요소를 선택적으로 설치하는 방법을 설명합니다.
Presto(Trino)는 오픈소스 기반의 분산 SQL 쿼리 엔진입니다. Presto 서버 및 웹 UI는 기본적으로 클러스터의 첫 번째 마스터 노드에 있는 포트 8060
(또는 Kerberos가 사용 설정된 경우 포트 7778
)에서 사용할 수 있습니다.
기본적으로 Dataproc의 Presto는 Hive
, BigQuery
, Memory
, TPCH
, TPCDS
커넥터에서 작동하도록 구성됩니다.
Presto 구성요소로 클러스터를 만든 후 쿼리를 실행할 수 있습니다.
gcloud dataproc jobs submit presto
명령어를 사용하여 로컬 터미널에서 다음을 수행합니다.- 클러스터의 첫 번째 마스터 노드에 있는 터미널 창에서
presto
CLI(명령줄 인터페이스)를 사용—Dataproc과 함께 Trino 사용 참조
구성요소 설치
Dataproc 클러스터를 만들 때 구성요소를 설치합니다. 구성요소는 Dataproc 버전 1.3 이상으로 만든 클러스터에 추가할 수 있습니다.
각 Dataproc 이미지 출시에 포함된 구성요소 버전은 지원되는 Dataproc 버전을 참조하세요.
gcloud 명령어
Presto 구성 요소가 포함된 Dataproc 클러스터를 만들려면 gcloud dataproc clusters create cluster-name 명령어에 --optional-components
플래그를 사용하세요.
gcloud dataproc clusters create cluster-name \ --optional-components=PRESTO \ --region=region \ --enable-component-gateway \ ... other flags
속성 구성
--properties
플래그를 gcloud dataproc clusters create
명령어를 실행하여 Presto, Presto-jvm, Presto-catalog 구성 속성을 설정합니다.
-
애플리케이션 속성:
presto:
프리픽스가 있는 클러스터 속성을 사용하여 Presto 애플리케이션 속성(예:--properties="presto:join-distribution-type=AUTOMATIC"
)을 구성합니다. - JVM 구성 속성:
presto-jvm:
프리픽스가 있는 클러스터 속성을 사용하여 Presto 조정자 및 작업자 자바 프로세스(예:--properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError"
)의 JVM 속성을 구성합니다. - 새 카탈로그 만들기 및 카탈로그 속성 추가:
presto-catalog:catalog-name.property-name
를 사용하여 Presto 카탈로그를 구성합니다.예: 다음 '속성' 플래그를 'gcloud dataproc clusters create' 명령어와 함께 사용하여 'prodhive' Hive 카탈로그가 있는 Presto 클러스터를 만들 수 있습니다.
prodhive.properties
파일이/usr/lib/presto/etc/catalog/
아래에 생성되어 Prodive 카탈로그를 사용 설정합니다.--properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083
REST API
Presto 구성요소는 SoftwareConfig.Component를 clusters.create 요청에 사용하여 Dataproc API를 통해 지정할 수 있습니다.
Console
- 구성요소 및 구성요소 게이트웨이를 사용 설정합니다.
- Google Cloud 콘솔에서 Dataproc 클러스터 만들기 페이지를 엽니다. 클러스터 설정 패널이 선택되었습니다.
- 구성요소 섹션에서 다음을 수행합니다.
- 선택적 구성요소 아래에서 클러스터에 설치할 Presto 및 기타 선택적인 구성요소를 선택합니다.
- 구성요소 게이트웨이 아래에서 구성요소 게이트웨이 사용 설정을 선택합니다(구성요소 게이트웨이 URL 보기 및 액세스 참조).