Configurare un deployment tra progetti

Puoi configurare un deployment tra progetti per Dataproc Metastore per separare le seguenti risorse:

  • Il servizio Dataproc Metastore.
  • Il cluster Dataproc collegato al servizio Dataproc Metastore.
  • La rete utilizzata dal cluster Dataproc.

Prima di iniziare

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un cluster Dataproc Metastore e un cluster Dataproc, chiedi all'amministratore di concederti seguenti ruoli IAM:

  • Per concedere il controllo completo delle risorse Dataproc Metastore: Editor Dataproc Metastore (roles/metastore.editor) sul progetto metastore.

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

Per ulteriori informazioni su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso con IAM.

Informazioni sui deployment tra progetti

Un deployment tra progetti per Dataproc Metastore può essere costituito dalle seguenti configurazioni:

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc (project cluster).
    • Il progetto 2 contiene il servizio Dataproc Metastore della rete (progetto metastore e progetto di rete).

  • Due progetti:

    • Il progetto 1 contiene il cluster Dataproc.
    • Il progetto 2 contiene il servizio Dataproc Metastore della rete (progetto metastore e progetto di rete).

  • Due progetti:

    • Il primo progetto contiene il cluster Dataproc e il servizio Dataproc Metastore (progetto cluster e progetto metastore).
    • Il progetto 2 contiene la rete (progetto di rete).

  • Tre progetti:

    • Il progetto 1 contiene il cluster Dataproc (project cluster).
    • Il secondo progetto contiene il servizio Dataproc Metastore (progetto metastore).
    • Il progetto 3 contiene la rete (progetto di rete).

Il seguente diagramma fornisce una panoramica del possibile progetto configurazioni che puoi utilizzare.

Panoramica delle possibili configurazioni del progetto durante il deployment di Dataproc Metastore e di un cluster Dataproc

Autorizzazioni tra progetti

Prima di impostare le autorizzazioni tra progetti, determina se sono necessarie la tua configurazione:

Devi configurare autorizzazioni interprogetto aggiuntive

  • Se il cluster Dataproc e il servizio Dataproc Metastore si trovano in progetti separati.

  • Se il servizio Dataproc Metastore e la rete si trovano in progetti distinti.

Configurare le autorizzazioni tra progetti

Se il progetto del cluster e il progetto metastore si trovano in progetti separati, concedi i seguenti ruoli:

  • roles/metastore.user all'account Dataproc Service Agent del progetto del cluster (contenuta nel criterio IAM del progetto Metastore). Questa configurazione si applica sia ai protocolli di endpoint Thrift sia a quelli gRPC.

Se il progetto di rete e il progetto metastore si trovano in progetti separati, concedi i seguenti ruoli:

Console

Per trovare il numero del progetto:

  1. Vai alla scheda Impostazioni IAM e amministrazione.

  2. Dall'elenco dei progetti nella parte superiore della pagina, seleziona il progetto da usare per creare il cluster Dataproc.

  3. Prendi nota del numero del progetto.

Configura le autorizzazioni:

  1. Vai alla scheda IAM.

  2. Nell'elenco dei progetti nella parte superiore della pagina, seleziona il progetto del metastore.

  3. Fai clic su Aggiungi.

  4. Inserisci l'account di servizio nel campo Nuove entità.

  5. Nel menu Ruoli, seleziona Dataproc Metastore > Visualizzatore Dataproc Metastore.

  6. Fai clic su Aggiungi.

Dopo aver completato i passaggi precedenti, puoi creare un cluster Dataproc collegato a un servizio Dataproc Metastore. Tieni presente che per farlo, la configurazione di rete o subnet del cluster Dataproc deve corrispondere alla rete o alla subnet Dataproc Metastore.

Ad esempio:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Passaggi successivi