Projektübergreifende Bereitstellung einrichten

Sie können eine projektübergreifende Bereitstellung für Dataproc Metastore einrichten, um die folgenden Ressourcen zu trennen:

• Der Dataproc Metastore-Dienst.
• Der Dataproc-Cluster, der mit dem Dataproc Metastore-Dienst verbunden ist.
• Das vom Dataproc-Cluster verwendete Netzwerk.

Hinweise

• Aktivieren Dataproc Metastore in Ihrem Projekt.
• Dataproc Metastore erstellen
• Netzwerkanforderungen für Ihr Projekt kennenlernen

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc Metastore und eines Dataproc-Clusters benötigen, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen:

• So gewähren Sie die vollständige Kontrolle über Dataproc Metastore-Ressourcen: Dataproc Metastore Editor (roles/metastore.editor) für das Metastore-Projekt.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Zugriff mit IAM verwalten.

Projektübergreifende Bereitstellungen

Eine projektübergreifende Bereitstellung für Dataproc Metastore kann aus den folgenden Konfigurationen bestehen:

• Zwei Projekte:

  • Projekt 1 enthält den Dataproc-Cluster (Clusterprojekt).
  • Projekt 2 enthält den Dataproc Metastore-Dienst und das Netzwerk (Metastore-Projekt und Netzwerkprojekt).

• Zwei Projekte:

  • Projekt 1 enthält den Dataproc-Cluster.
  • Projekt 2 enthält den Dataproc Metastore-Dienst und das Netzwerk (Metastore-Projekt und Netzwerkprojekt).

• Zwei Projekte:

  • Projekt 1 enthält den Dataproc-Cluster und den Dataproc Metastore-Dienst (Clusterprojekt und Metastore-Projekt).
  • Projekt 2 enthält das Netzwerk (Netzwerkprojekt).

• Drei Projekte:

  • Projekt 1 enthält den Dataproc-Cluster (Clusterprojekt).
  • Projekt 2 enthält den Dataproc Metastore-Dienst (Metastore-Projekt).
  • Projekt drei enthält das Netzwerk (Netzwerkprojekt).

Das folgende Diagramm bietet einen Überblick über das mögliche Projekt Konfigurationen, die Sie verwenden können.

Projektübergreifende Berechtigungen

Bevor Sie projektübergreifende Berechtigungen einrichten, sollten Sie prüfen, ob sie für Ihre Konfiguration erforderlich sind:

Sie müssen zusätzliche projektübergreifende Berechtigungen einrichten.

• Wenn Ihr Dataproc-Cluster und Dataproc Metastore befinden sich in separaten Projekten.

• Wenn sich der Dataproc Metastore-Dienst und das Netzwerk in separaten Bereichen befinden Projekten.

Projektübergreifende Berechtigungen einrichten

Wenn sich das Clusterprojekt und das Metaspeicherprojekt in separaten Projekten befinden, gewähren Sie folgende Rollen:

• roles/metastore.user für das Dataproc-Dienst-Agent-Konto des Clusterprojekts (enthalten in der IAM-Richtlinie des Metastore-Projekts). Dieses Konfiguration gilt sowohl für die Thrift- als auch für die gRPC-Endpunktprotokolle.

Wenn sich das Netzwerkprojekt und das Metaspeicherprojekt in separaten Projekten befinden, gewähren Sie folgende Rollen:

• roles/metastore.serviceAgent an den Dienst-Agent des Metastore-Projekts (in der IAM-Richtlinie des Netzwerkprojekts enthalten). Nur diese Konfiguration gilt für das Thrift-Endpunktprotokoll.

Console

So finden Sie Ihre Projektnummer:

1. Rufen Sie die IAM- und Verwaltung Einstellungen:

2. Wählen Sie aus der Projektliste oben auf der Seite das Projekt aus, mit denen der Dataproc-Cluster erstellt werden soll.

3. Notieren Sie die Projektnummer.

Konfigurieren Sie die Berechtigungen:

1. Rufen Sie den Tab IAM auf.

2. Wählen Sie aus der Projektliste oben auf der Seite den Metastore aus Projekt arbeiten.

3. Klicken Sie auf Hinzufügen.

4. Geben Sie das Dienstkonto in das Feld Neue Hauptkonten ein.

5. Wählen Sie im Menü „Rollen“ die Option Dataproc Metastore > Dataproc Metastore-Betrachter aus.

6. Klicken Sie auf Hinzufügen.

Nachdem Sie die vorherigen Schritte ausgeführt haben, können Sie einen Dataproc-Cluster erstellen, der an einen Dataproc Metastore-Dienst angehängt ist. Dazu muss die Netzwerk- oder Subnetzwerkkonfiguration des Dataproc-Clusters mit dem Netzwerk oder Subnetzwerk des Dataproc Metastore übereinstimmen.

Hinweis: Wenn Sie ein VPC-Netzwerk verwenden, das zu einem anderen Projekt gehört als der Dienst, müssen Sie den gesamten relativen Ressourcennamen in gcloud metastore services create SERVICE angeben.

Beispiel:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Nächste Schritte

• Kurzanleitung zur Bereitstellung von Dataproc Metastore
• Dataproc Metastore – Übersicht
• Übersicht zu Dataproc