É possível configurar uma implantação entre projetos do metastore do Dataproc para separar os seguintes recursos:
- O serviço Metastore do Dataproc.
- O cluster do Dataproc anexado ao serviço Metastore do Dataproc.
- A rede usada pelo cluster do Dataproc.
Antes de começar
- Ative o Metastore do Dataproc no seu projeto.
- Crie um serviço Metastore do Dataproc.
- Entenda os requisitos de rede específicos do seu projeto.
Papéis necessários
Para receber as permissões necessárias para criar um metastore e um cluster do Dataproc, peça ao administrador para conceder a você os seguintes papéis do IAM:
-
Para conceder controle total dos recursos do Dataproc Metastore:
Editor do Metastore do Dataproc (
roles/metastore.editor
) no projeto metastore.
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Talvez você também consiga receber as permissões necessárias por meio de papéis personalizados ou outros papéis predefinidos.
Para saber mais sobre papéis e permissões específicos do Dataproc Metastore, consulte Gerenciar acesso com o IAM.Sobre as implantações entre projetos
Uma implantação entre projetos do Dataproc Metastore pode consistir nas seguintes configurações:
Dois projetos:
- O projeto um contém o cluster do Dataproc (projeto de cluster).
- O projeto 2 contém o serviço Metastore do Dataproc e a rede (projeto metastore e projeto de rede).
Dois projetos:
- O projeto 1 contém o cluster do Dataproc.
- O projeto 2 contém o serviço Metastore do Dataproc e a rede (projeto metastore e projeto de rede).
Dois projetos:
- O projeto um contém o cluster do Dataproc e o serviço do Metastore do Dataproc (projeto de cluster e do metastore).
- O projeto 2 contém a rede (projeto de rede).
Três projetos:
- O projeto um contém o cluster do Dataproc (projeto de cluster).
- O projeto 2 contém o serviço Dataproc Metastore (projeto metastore).
- O projeto três contém a rede (projeto de rede).
O diagrama a seguir fornece uma visão geral das possíveis configurações de projeto que podem ser usadas.
Permissões entre projetos
Antes de configurar permissões entre projetos, determine se ele é necessário para sua configuração:
É necessário configurar outras permissões entre projetos
Se o cluster do Dataproc e o serviço Metastore do Dataproc estiverem em projetos separados.
Se o serviço e a rede do Dataproc Metastore estiverem em projetos separados.
Configurar permissões entre projetos
Se o projeto de cluster e o projeto metastore estiverem em projetos separados, conceda os seguintes papéis:
roles/metastore.user
à conta do agente de serviço do Dataproc do projeto de cluster (contida na política do IAM do projeto metastore). Essa configuração se aplica aos protocolos de endpoint do Thrift e do gRPC.
Se o projeto de rede e o projeto metastore estiverem em projetos separados, conceda os seguintes papéis:
roles/metastore.serviceAgent
para o Agente de serviço do projeto metastore (contido na política do IAM do projeto de rede). Essa configuração só se aplica ao protocolo de endpoint do Thrift.
Console
Para encontrar o número do projeto:
Navegue até a guia Configurações do IAM e administrador.
Na lista de projetos na parte superior da página, selecione o projeto que você quer usar para criar o cluster do Dataproc.
Anote o número do projeto.
Configure as permissões:
Navegue até a guia IAM.
Na lista de projetos na parte de cima da página, selecione o projeto metastore.
Clique em Add.
Digite a conta de serviço no campo Novos principais.
No menu "Papéis", selecione Metastore do Dataproc > Leitor do Metastore do Dataproc.
Clique em Add.
Depois de concluir as etapas anteriores, crie um cluster do Dataproc anexado a um serviço Metastore do Dataproc. Observe que, para isso, a configuração de rede ou sub-rede do cluster do Dataproc precisa corresponder à rede ou sub-rede do metastore do Dataproc.
Exemplo:
gcloud metastore services create SERVICE \ --network=projects/HOST_PROJECT/global/networks/NETWORK_ID
A seguir
- Guia de início rápido sobre como implantar o metastore do Dataproc
- Visão geral do metastore do Dataproc
- Visão geral do Dataproc