개요
Dataproc 클러스터를 만들면 Apache Hive 애플리케이션과 Hive metastore를 포함한 구성요소가 클러스터에 설치되고 클러스터 마스터 노드에 있는 hive-site.xml 파일에 기본 비밀번호가 설정됩니다.
다음 목표를 달성하려면 고유한 Hive metastore 비밀번호를 지정하는 것이 좋습니다.
권장 보안 조치로 고유한 비밀번호를 제공하여 로컬 Hive metastore에 대한 액세스를 제어하려는 경우
서로 다른 클러스터 간에 공유되는 외부 데이터베이스에 사용되는 외부 Hive metastore에 대한 액세스를 제어하는 알려진 비밀번호를 지정하려는 경우
Hive metastore 비밀번호 설정
다음 Google Cloud CLI Dataproc clusters create 명령어를 실행하여 Dataproc 클러스터를 만들고 Hive metastore 비밀번호를 지정합니다.
gcloud dataproc clusters create cluster-name --properties="hive:javax.jdo.option.ConnectionPassword=HIVE_METASTORE_PASSWORD"
참고:
- Cloud Key Management Service에서 키를 만들려면 키 만들기를 참조하세요.
- Hive metastore 비밀번호는 워커 노드가 아닌 클러스터 마스터 노드에만 저장됩니다.
Dataproc 클러스터 보안에 대한 자세한 내용은 Dataproc 보안 권장사항을 참조하세요.
지원되지 않는 시나리오
Dataproc은 기본 또는 사용자가 제공한 Hive metastore 비밀번호를 사용하는 여부에 관계없이 Hive metastore 시나리오를 지원하지 않습니다.
클러스터 모드에서 실행되는 Spark 드라이버에서 삽입된 metastore 클라이언트를 사용하므로 워커 노드에 Hive 비밀번호가 필요합니다. 이 시나리오에서는 연결이 Dataproc 마스터 노드에서 실행되는
HiveMetaStore프로세스를 통해 수행되지 않으므로 metastore 데이터베이스에 연결 문제가 발생할 수 있습니다.자체 MySQL 데이터베이스를 사용하려면 Hive metastore 및
hive-server2를 비활성화합니다. 이 시나리오에서는spark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://CLUSTER_NAME-m/metastore속성이 영향을 미치지 않습니다.