Hive-Metastore-Cluster erstellen und sichern

Übersicht

Wenn Sie einen Dataproc-Cluster erstellen, werden die Apache Hive-Anwendung und ihre Komponenten, einschließlich des Hive-Metastores, auf dem Cluster installiert. In der Datei hive-site.xml auf dem Clustermasterknoten wird ein Standardpasswort festgelegt.

Es wird empfohlen, ein eigenes Hive-Metastore-Passwort anzugeben, um die folgenden Ziele zu erreichen:

  • Als Best Practice für die Sicherheit sollten Sie den Zugriff auf den lokalen Hive-Metastore durch Angabe eines eigenen Passworts steuern.

  • Hiermit wird ein bekanntes Passwort angegeben, das den Zugriff auf externe Hive-Metastores steuert, die mit externen Datenbanken verwendet werden, die für verschiedene Cluster freigegeben sind.

Hive-Metastore-Passwort festlegen

Führen Sie den folgenden Befehl Google Cloud CLI Dataproc clusters create aus, um einen Dataproc-Cluster zu erstellen und ein Hive-Metastore-Passwort anzugeben.

gcloud dataproc clusters create cluster-name
 --properties="hive:javax.jdo.option.ConnectionPassword=HIVE_METASTORE_PASSWORD"

Hinweise:

  • Weitere Informationen zum Erstellen eines Schlüssels im Cloud Key Management Service finden Sie unter Schlüssel erstellen.
  • Das Hive-Metastore-Passwort wird nur auf den Cluster-Masterknoten und nicht auf den Worker-Knoten gespeichert.

Weitere Informationen zum Schützen von Dataproc-Clustern finden Sie unter Best Practices für die Sicherheit von Dataproc.

Nicht unterstützte Szenarien

Dataproc unterstützt die folgenden Hive-Metastore-Szenarien nicht, unabhängig davon, ob Sie das Standard- oder ein vom Nutzer angegebenes Hive-Metastore-Passwort verwenden:

  • Sie verwenden einen eingebetteten Metastore-Client im Spark-Treiber, der im Clustermodus ausgeführt wird, sodass für die Worker-Knoten Hive-Passwörter erforderlich sind. Dieses Szenario kann Verbindungsprobleme mit der Metastore-Datenbank verursachen, da die Verbindung nicht über den HiveMetaStore-Prozess hergestellt wird, der auf dem Dataproc-Masterknoten ausgeführt wird.

  • Sie deaktivieren den Hive-Metastore und hive-server2, um Ihre eigene MySQL-Datenbank zu verwenden. In diesem Szenario hat die Property spark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://CLUSTER_NAME-m/metastore keine Auswirkungen.