Configurar uma implantação entre projetos

É possível configurar uma implantação entre projetos para o metastore do Dataproc para separar os seguintes recursos:

  • O serviço Dataproc Metastore.
  • O cluster do Dataproc anexado ao serviço do Metastore do Dataproc.
  • A rede usada pelo cluster do Dataproc.

Antes de começar

Papéis necessários

Para ter as permissões necessárias para criar um metastore do Dataproc e um cluster do Dataproc, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para mais informações sobre permissões e papéis específicos do metastore do Dataproc, consulte Gerenciar acesso com o IAM.

Sobre implantações entre projetos

Uma implantação entre projetos no metastore do Dataproc podem consistir nas seguintes configurações:

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc projeto).
    • O projeto 2 contém o serviço Metastore do Dataproc e rede (projeto de metastore e projeto de rede).

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc.
    • O projeto 2 contém o serviço Metastore do Dataproc e rede (projeto de metastore e projeto de rede).

  • Dois projetos:

    • O projeto um contém o cluster do Dataproc Serviço Metastore do Dataproc (projeto de cluster e metastore projeto).
    • O projeto dois contém e a rede (projeto de rede).

  • Três projetos:

    • O projeto 1 contém o cluster do Dataproc (projeto de cluster).
    • O projeto dois contém o serviço Metastore do Dataproc (projeto de metastore).
    • O projeto três contém a rede (projeto de rede).

O diagrama a seguir fornece uma visão geral das possíveis configurações do projeto que você pode usar.

Visão geral das possíveis configurações do projeto ao implantar um metastore e um cluster do Dataproc

Permissões entre projetos

Antes de configurar as permissões entre projetos, determine se é necessário sua configuração:

É necessário configurar outras permissões entre projetos

  • Se o cluster e o metastore do Dataproc de rede estão em projetos separados.

  • Se o serviço e a rede do metastore do Dataproc estiverem em projetos separados.

Configurar permissões entre projetos

Se o projeto de cluster e o projeto de metastore estiverem em projetos separados, conceda os seguintes papéis:

  • roles/metastore.user à conta do agente de serviço do Dataproc do projeto do cluster (contida na política do IAM do projeto do metastore). Isso se aplica aos protocolos de endpoint Thrift e gRPC.

Se o projeto de rede e o projeto de metastore estiverem em projetos separados, conceda os seguintes papéis:

Console

Para encontrar o número do projeto:

  1. Acesse o painel do IAM Administrador Guia Configurações.

  2. Na lista de projetos na parte superior da página, selecione o projeto em que você quer usar para criar o cluster do Dataproc.

  3. Anote o número do projeto.

Configure as permissões:

  1. Acesse a guia IAM.

  2. Na lista de projetos na parte superior da página, selecione o metastore projeto.

  3. Clique em Adicionar.

  4. Digite a conta de serviço no campo Novos principais.

  5. No menu "Papéis", selecione Metastore do Dataproc > Leitor do metastore do Dataproc.

  6. Clique em Adicionar.

Depois de concluir as etapas anteriores, você pode criar um bucket do Dataproc cluster anexado a um serviço do metastore do Dataproc. Observe que A configuração de rede ou sub-rede do cluster do Dataproc precisa corresponder à rede ou sub-rede do metastore do Dataproc.

Exemplo:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

A seguir