Funktionsweise von Kerberos mit Dataproc Metastore

Auf dieser Seite wird beschrieben, wie Dataproc Metastore das Kerberos-Protokoll unterstützt.

Kerberos ist ein Netzwerkauthentifizierungsprotokoll, das mithilfe von Secret-Key-Kryptografie eine starke Authentifizierung für Client- und Serveranwendungen bietet. Es wird häufig im Hadoop-Stack zur Authentifizierung im gesamten Softwaresystem verwendet.

Sie können Kerberos in den folgenden Dataproc Metastore-Diensten konfigurieren:

Das Verfahren zur Konfiguration von Kerberos unterscheidet sich je nach Diensttyp.

Erforderliche Kerberos-Assets

Der folgende Abschnitt enthält allgemeine Informationen zu den Kerberos-Assets, die Sie zum Konfigurieren von Kerberos für einen Dataproc Metastore-Dienst benötigen.

Kerberos-KDC

Ein Kerberos-KDC ist erforderlich. Sie können das lokale KDC eines Dataproc-Clusters verwenden oder ein eigenes KDC erstellen und hosten.

Kerberos-Hauptkonto

Wenn Sie Kerberos für einen Dataproc Metastore-Dienst konfigurieren, generieren Sie die Hauptkontodatei mithilfe eines Dataproc-Clusters.

Keytab-Datei

Eine Keytab-Datei enthält Paare aus Kerberos-Principals und verschlüsselten Schlüsseln, die zur Authentifizierung eines Diensthauptkontos mit einem Kerberos-KDC verwendet werden.

Wenn Sie Kerberos für einen Dataproc Metastore-Dienst konfigurieren, generieren Sie die Keytab-Datei mithilfe eines Dataproc-Clusters.

  • Die generierte Keytab-Datei enthält den Namen und den Speicherort Ihres Hive-Metastore-Diensthauptkontos.

  • Die generierte Keytab-Datei wird automatisch in Google Cloud Secret Manager gespeichert.

    Das angegebene Secret Manager-Secret muss an eine bestimmte Secret-Version angepinnt werden. Sie müssen die Secret-Version angeben, die Sie verwenden möchten. Dataproc Metastore wählt die neueste Version nicht automatisch aus.

Datei krb5.conf

Eine gültige krb5.conf-Datei enthält Kerberos-Konfigurationsinformationen wie die KDC-IP-Adresse, den Port und den Bereichsnamen.

Wenn Sie Kerberos für einen Dataproc Metastore-Dienst konfigurieren, generieren Sie die Keytab-Datei mithilfe eines Dataproc-Clusters.

  • Geben Sie beim Konfigurieren der Datei krb5.conf die KDC-IP-Adresse an, auf die über das Peering-Netzwerk zugegriffen werden kann. Geben Sie nicht den KDC-FQDN an.
  • Wenn Sie den Thrift-Endpunkt verwenden, müssen Sie die Datei in einem Cloud Storage-Bucket speichern. Sie können einen vorhandenen Bucket verwenden oder einen neuen erstellen.

Nächste Schritte