Projektübergreifende Bereitstellung einrichten

Sie können eine projektübergreifende Bereitstellung für Dataproc Metastore einrichten, um die folgenden Ressourcen voneinander zu trennen:

  • Dataproc Metastore-Dienst.
  • Der Dataproc-Cluster, der an den Dataproc Metastore-Dienst angehängt ist.
  • Das vom Dataproc-Cluster verwendete Netzwerk.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc Metastores und eines Dataproc-Clusters benötigen:

  • So gewähren Sie die vollständige Kontrolle über Dataproc Metastore-Ressourcen: Dataproc Metastore-Bearbeiter (roles/metastore.editor) für das Metastore-Projekt.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Zugriff mit IAM verwalten.

Projektübergreifende Bereitstellungen

Eine projektübergreifende Bereitstellung von Dataproc Metastore kann die folgenden Konfigurationen umfassen:

  • Zwei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster (Clusterprojekt).
    • Projekt 2 enthält den Dataproc Metastore-Dienst und das Netzwerk (Metastore-Projekt und Netzwerkprojekt).

  • Zwei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster.
    • Projekt 2 enthält den Dataproc Metastore-Dienst und das Netzwerk (Metastore-Projekt und Netzwerkprojekt).

  • Zwei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster und den Dataproc Metastore-Dienst (Clusterprojekt und Metastore-Projekt).
    • Projekt 2 enthält und das Netzwerk (Netzwerkprojekt).

  • Drei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster (Clusterprojekt).
    • Projekt 2 enthält den Dataproc Metastore-Dienst (Metastore-Projekt).
    • Projekt drei enthält das Netzwerk (Netzwerkprojekt).

Das folgende Diagramm bietet einen Überblick über die möglichen Projektkonfigurationen, die Sie verwenden können.

Übersicht über die möglichen Projektkonfigurationen beim Bereitstellen eines Dataproc Metastore- und Dataproc-Clusters

Projektübergreifende Berechtigungen

Ermitteln Sie vor dem Einrichten projektübergreifender Berechtigungen, ob dies für Ihre Konfiguration erforderlich ist:

Sie müssen zusätzliche projektübergreifende Berechtigungen einrichten.

  • Wenn sich der Dataproc-Cluster und der Dataproc Metastore-Dienst in separaten Projekten befinden.

  • Ob sich der Dataproc Metastore-Dienst und das Netzwerk in separaten Projekten befinden.

Projektübergreifende Berechtigungen einrichten

Wenn sich das Clusterprojekt und das Metastore-Projekt in separaten Projekten befinden, gewähren Sie die folgenden Rollen:

  • roles/metastore.user zum Dataproc-Dienst-Agent-Konto des Clusterprojekts hinzu (in der IAM-Richtlinie des Metastore-Projekts enthalten). Diese Konfiguration gilt sowohl für die Thrift- als auch für die gRPC-Endpunktprotokolle.

Wenn sich das Netzwerkprojekt und das Metastore-Projekt in separaten Projekten befinden, gewähren Sie die folgenden Rollen:

  • roles/metastore.serviceAgent zum Dienst-Agent des Metastore-Projekts (in der IAM-Richtlinie des Netzwerkprojekts enthalten). Diese Konfiguration gilt nur für das Thrift-Endpunktprotokoll.

Console

So finden Sie Ihre Projektnummer:

  1. Rufen Sie den Tab Einstellungen unter „IAM und Verwaltung“ auf.

  2. Wählen Sie in der Projektliste oben auf der Seite das Projekt aus, das Sie zum Erstellen des Dataproc-Clusters verwenden möchten.

  3. Notieren Sie die Projektnummer.

Konfigurieren Sie die Berechtigungen:

  1. Rufen Sie den Tab IAM auf.

  2. Wählen Sie in der Projektliste oben auf der Seite das Metastore-Projekt aus.

  3. Klicken Sie auf Hinzufügen.

  4. Geben Sie das Dienstkonto in das Feld Neue Hauptkonten ein.

  5. Wählen Sie im Menü „Rollen“ die Option Dataproc Metastore > Dataproc Metastore-Betrachter aus.

  6. Klicken Sie auf Hinzufügen.

Nachdem Sie die vorherigen Schritte ausgeführt haben, können Sie einen Dataproc-Cluster erstellen, der an einen Dataproc Metastore-Dienst angehängt ist. Dazu muss die Netzwerk- oder Subnetzwerkkonfiguration des Dataproc-Clusters mit dem Netzwerk oder Subnetzwerk von Dataproc Metastore übereinstimmen.

Beispiel:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Nächste Schritte