Panoramica
Quando crei un cluster Dataproc, l'applicazione Apache Hive e i relativi
componenti, incluso il metastore Hive, sono installati sul cluster
sia impostata una password predefinita nel file hive-site.xml all'interno della
nodo master del cluster.
Ti consigliamo di specificare la tua password metastore Hive per svolgere seguenti obiettivi:
Come misura di sicurezza best practice, per assicurarti di controllare l'accesso al metastore Hive locale fornendo la tua password
Per specificare una password nota che controlla l'accesso ai metastore Hive esterni utilizzati con database esterni condivisi tra diversi cluster
Imposta la password del metastore Hive
Esegui questo comando Creazione di cluster Dataproc di Google Cloud CLI per creare un cluster Dataproc e specificare un Hive la password del metastore.
gcloud dataproc clusters create cluster-name --properties="hive:javax.jdo.option.ConnectionPassword=HIVE_METASTORE_PASSWORD"
Note:
- Consulta Creare una chiave per creare una chiave in Cloud Key Management Service.
- La password del metastore Hive è archiviata solo sui nodi master del cluster, non nodi worker.
Per ulteriori informazioni sulla protezione dei cluster Dataproc, consulta le best practice per la sicurezza di Dataproc.
Scenari non supportati
Dataproc non supporta i seguenti scenari del metastore Hive, indipendentemente dall'utilizzo della password predefinita o di una fornita dall'utente per il metastore Hive:
Utilizzi un client metastore incorporato nel driver Spark in esecuzione in modalità cluster, in modo che i nodi worker richiedano le password Hive. Questo scenario può causare problemi di connettività con il database metastore a partire dalla non viene effettuata tramite il processo
HiveMetaStorein esecuzione Nodo master Dataproc.Disattiva il metastore Hive e
hive-server2per utilizzare il tuo database MySQL. In questo scenario,spark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://CLUSTER_NAME-m/metastorenon ha alcun effetto.