Configurar uma implantação entre projetos

É possível configurar uma implantação entre projetos para o metastore do Dataproc e separar os seguintes recursos:

  • O serviço do metastore do Dataproc.
  • O cluster do Dataproc anexado ao serviço do Metastore do Dataproc.
  • A rede usada pelo cluster do Dataproc.

Antes de começar

Papéis necessários

Para receber as permissões necessárias para criar uma metastore e um cluster do Dataproc, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para mais informações sobre papéis e permissões específicos do Dataproc Metastore, consulte Gerenciar o acesso com o IAM.

Sobre as implantações entre projetos

Uma implantação entre projetos do metastore do Dataproc pode consistir nas seguintes configurações:

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc (projeto de cluster).
    • O projeto dois contém o serviço Metastore do Dataproc e a rede (projeto de metastore e de rede).

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc.
    • O projeto dois contém o serviço Metastore do Dataproc e a rede (projeto de metastore e de rede).

  • Dois projetos:

    • O projeto 1 contém o cluster do Dataproc e o serviço do metastore do Dataproc (projeto de cluster e metastore).
    • O projeto dois contém a rede (projeto de rede).

  • Três projetos:

    • O projeto 1 contém o cluster do Dataproc (projeto de cluster).
    • O projeto dois contém o serviço Metastore do Dataproc (projeto de metastore).
    • O projeto três contém a rede (projeto de rede).

O diagrama a seguir fornece uma visão geral das possíveis configurações do projeto que você pode usar.

Visão geral das possíveis configurações do projeto ao implantar um metastore e um cluster do Dataproc

Permissões entre projetos

Antes de configurar as permissões entre projetos, determine se elas são necessárias para sua configuração:

É necessário configurar outras permissões entre projetos

  • Se o cluster do Dataproc e o serviço do Dataproc Metastore estão em projetos separados.

  • Se o serviço e a rede do metastore do Dataproc estiverem em projetos separados.

Configurar permissões entre projetos

Se o projeto do cluster e o projeto da metastore estiverem em projetos separados, conceda os seguintes papéis:

  • roles/metastore.user à conta do agente de serviço do Dataproc do projeto do cluster (contida na política do IAM do projeto do metastore). Essa configuração se aplica aos protocolos de endpoint Thrift e gRPC.

Se o projeto de rede e o projeto de metastore estiverem em projetos separados, conceda os seguintes papéis:

Console

Para encontrar o número do projeto:

  1. Acesse a guia Configurações do IAM e do administrador.

  2. Na lista de projetos na parte de cima da página, selecione o projeto que você quer usar para criar o cluster do Dataproc.

  3. Anote o número do projeto.

Configure as permissões:

  1. Acesse a guia IAM.

  2. Na lista de projetos na parte de cima da página, selecione o projeto da metastore.

  3. Clique em Adicionar.

  4. Digite a conta de serviço no campo Novos principais.

  5. No menu "Papéis", selecione Metastore do Dataproc > Leitor do metastore do Dataproc.

  6. Clique em Adicionar.

Depois de concluir as etapas anteriores, você pode criar um cluster do Dataproc anexado a um serviço do Metastore do Dataproc. Para fazer isso, a configuração de rede ou sub-rede do cluster do Dataproc precisa corresponder à rede ou sub-rede do metastore do Dataproc.

Exemplo:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

A seguir