Configura un deployment tra progetti

Puoi configurare un deployment tra progetti per Dataproc Metastore per separare le seguenti risorse:

  • Il servizio Dataproc Metastore.
  • Il cluster Dataproc collegato al servizio Dataproc Metastore.
  • La rete utilizzata dal cluster Dataproc.

Prima di iniziare

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un cluster Dataproc Metastore e un cluster Dataproc, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Per concedere il controllo completo delle risorse Dataproc Metastore: Dataproc Metastore Editor (roles/metastore.editor) sul progetto metastore.

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso con IAM.

Informazioni sui deployment tra progetti

Un deployment tra progetti per Dataproc Metastore può consistere nelle seguenti configurazioni:

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc (progetto cluster).
    • Il progetto 2 contiene il servizio Dataproc Metastore e la rete (progetto Metastore e progetto di rete).

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc.
    • Il progetto 2 contiene il servizio Dataproc Metastore e la rete (progetto Metastore e progetto di rete).

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc e il servizio Dataproc Metastore (progetto cluster e progetto metastore).
    • Il progetto 2 contiene e la rete (progetto di rete).

  • Tre progetti:

    • Il progetto 1 contiene il cluster Dataproc (progetto cluster).
    • Il progetto 2 contiene il servizio Dataproc Metastore (progetto metastore).
    • Il progetto tre contiene la rete (progetto di rete).

Il seguente diagramma fornisce una panoramica delle possibili configurazioni di progetto che puoi utilizzare.

Panoramica delle possibili configurazioni di progetto per il deployment di un cluster Dataproc Metastore e

Autorizzazioni tra progetti

Prima di impostare le autorizzazioni tra progetti, determina se sono necessarie per la configurazione:

Devi configurare autorizzazioni tra progetti aggiuntive

  • Se il cluster Dataproc e il servizio Dataproc Metastore si trovano in progetti separati,

  • Se il servizio e la rete Dataproc Metastore si trovano in progetti separati.

Configurare le autorizzazioni tra progetti

Se il progetto cluster e il progetto Metastore si trovano in progetti separati, concedi questi ruoli:

  • roles/metastore.user all'account dell'agente di servizio Dataproc del progetto cluster (incluso nel criterio IAM del progetto metastore). Questa configurazione si applica ai protocolli degli endpoint Thrift e gRPC.

Se il progetto di rete e il progetto Metastore si trovano in progetti separati, concedi questi ruoli:

Console

Per trovare il numero del progetto:

  1. Vai alla scheda Impostazioni di IAM e amministrazione.

  2. Dall'elenco dei progetti nella parte superiore della pagina, seleziona il progetto che vuoi utilizzare per creare il cluster Dataproc.

  3. Prendi nota del numero del progetto.

Configura le autorizzazioni:

  1. Vai alla scheda IAM.

  2. Nell'elenco dei progetti nella parte superiore della pagina, seleziona il progetto metastore.

  3. Fai clic su Aggiungi.

  4. Inserisci l'account di servizio nel campo Nuove entità.

  5. Dal menu Ruoli, seleziona Dataproc Metastore > Visualizzatore Dataproc Metastore.

  6. Fai clic su Aggiungi.

Dopo aver completato i passaggi precedenti, puoi creare un cluster Dataproc collegato a un servizio Dataproc Metastore. A questo scopo, la configurazione della subnet o della rete del cluster Dataproc deve corrispondere alla subnet o alla rete Dataproc Metastore.

Ad esempio:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Passaggi successivi