Crea y protege un clúster de Hive Metastore

Descripción general

Cuando creas un clúster de Dataproc, la aplicación de Apache Hive y sus componentes, incluido el almacén de metadatos de Hive, se instalan en el clúster y se establece una contraseña predeterminada en el archivo hive-site.xml ubicado en el nodo instancia principal del clúster.

Se recomienda especificar tu propia contraseña del almacén de metadatos de Hive para lograr los siguientes objetivos:

  • Como medida de seguridad recomendada, proporciona tu propia contraseña para controlar el acceso al almacén de metadatos de Hive local.

  • Para especificar una contraseña conocida que controle el acceso a metastores externos de Hive que se usan con bases de datos externas que se comparten entre diferentes clústeres

Cómo configurar la contraseña del almacén de metadatos de Hive

Ejecuta el siguiente comando Google Cloud CLI Dataproc clusters create para crear un clúster de Dataproc y especificar una contraseña de metastore de Hive.

gcloud dataproc clusters create cluster-name
 --properties="hive:javax.jdo.option.ConnectionPassword=HIVE_METASTORE_PASSWORD"

Notas:

  • Consulta Crea una clave para crear una clave en Cloud Key Management Service.
  • La contraseña del almacén de metadatos de Hive se almacena solo en los nodos instancia principal del clúster, no en los nodos trabajadores.

Para obtener más información sobre cómo proteger los clústeres de Dataproc, consulta las prácticas recomendadas de seguridad de Dataproc.

Situaciones no admitidas

Dataproc no admite las siguientes situaciones de Hive Metastore, independientemente de si usas la contraseña predeterminada o una proporcionada por el usuario:

  • Usas un cliente de metastore incorporado en el controlador de Spark que se ejecuta en modo de clúster, de modo que los nodos de trabajo requieran contraseñas de Hive. Esta situación puede causar problemas de conectividad con la base de datos del almacén de metadatos, ya que la conexión no se realiza a través del proceso HiveMetaStore que se ejecuta en el nodo principal de Dataproc.

  • Desactivas el almacén de metadatos de Hive y hive-server2 para usar tu propia base de datos de MySQL. En este caso, la propiedad spark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://CLUSTER_NAME-m/metastore no tiene efecto.