Configurar uma implantação entre projetos

É possível configurar uma implantação entre projetos do metastore do Dataproc para separar os seguintes recursos:

  • O serviço Metastore do Dataproc.
  • O cluster do Dataproc anexado ao serviço Metastore do Dataproc.
  • A rede usada pelo cluster do Dataproc.

Antes de começar

Papéis necessários

Para receber as permissões necessárias para criar um metastore e um cluster do Dataproc, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Talvez você também consiga receber as permissões necessárias por meio de papéis personalizados ou outros papéis predefinidos.

Para saber mais sobre papéis e permissões específicos do Dataproc Metastore, consulte Gerenciar acesso com o IAM.

Sobre as implantações entre projetos

Uma implantação entre projetos do Dataproc Metastore pode consistir nas seguintes configurações:

  • Dois projetos:

    • O projeto um contém o cluster do Dataproc (projeto de cluster).
    • O projeto 2 contém o serviço Metastore do Dataproc e a rede (projeto metastore e projeto de rede).

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc.
    • O projeto 2 contém o serviço Metastore do Dataproc e a rede (projeto metastore e projeto de rede).

  • Dois projetos:

    • O projeto um contém o cluster do Dataproc e o serviço do Metastore do Dataproc (projeto de cluster e do metastore).
    • O projeto 2 contém a rede (projeto de rede).

  • Três projetos:

    • O projeto um contém o cluster do Dataproc (projeto de cluster).
    • O projeto 2 contém o serviço Dataproc Metastore (projeto metastore).
    • O projeto três contém a rede (projeto de rede).

O diagrama a seguir fornece uma visão geral das possíveis configurações de projeto que podem ser usadas.

Visão geral das possíveis configurações de projeto ao implantar um cluster do Dataproc e um metastore do Dataproc

Permissões entre projetos

Antes de configurar permissões entre projetos, determine se ele é necessário para sua configuração:

É necessário configurar outras permissões entre projetos

  • Se o cluster do Dataproc e o serviço Metastore do Dataproc estiverem em projetos separados.

  • Se o serviço e a rede do Dataproc Metastore estiverem em projetos separados.

Configurar permissões entre projetos

Se o projeto de cluster e o projeto metastore estiverem em projetos separados, conceda os seguintes papéis:

  • roles/metastore.user à conta do agente de serviço do Dataproc do projeto de cluster (contida na política do IAM do projeto metastore). Essa configuração se aplica aos protocolos de endpoint do Thrift e do gRPC.

Se o projeto de rede e o projeto metastore estiverem em projetos separados, conceda os seguintes papéis:

  • roles/metastore.serviceAgent para o Agente de serviço do projeto metastore (contido na política do IAM do projeto de rede). Essa configuração só se aplica ao protocolo de endpoint do Thrift.

Console

Para encontrar o número do projeto:

  1. Navegue até a guia Configurações do IAM e administrador.

  2. Na lista de projetos na parte superior da página, selecione o projeto que você quer usar para criar o cluster do Dataproc.

  3. Anote o número do projeto.

Configure as permissões:

  1. Navegue até a guia IAM.

  2. Na lista de projetos na parte de cima da página, selecione o projeto metastore.

  3. Clique em Add.

  4. Digite a conta de serviço no campo Novos principais.

  5. No menu "Papéis", selecione Metastore do Dataproc > Leitor do Metastore do Dataproc.

  6. Clique em Add.

Depois de concluir as etapas anteriores, crie um cluster do Dataproc anexado a um serviço Metastore do Dataproc. Observe que, para isso, a configuração de rede ou sub-rede do cluster do Dataproc precisa corresponder à rede ou sub-rede do metastore do Dataproc.

Exemplo:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

A seguir