Configurar o acesso à rede para o Dataproc Metastore

Esta página fornece orientações detalhadas sobre a configuração do acesso à rede para as suas instâncias do Dataproc Metastore. A configuração correta da rede é essencial para que os clusters do Dataproc e as cargas de trabalho sem servidor do Dataproc comuniquem de forma segura e privada com o seu serviço Dataproc Metastore gerido.

Conceitos de redes principais

Normalmente, as instâncias do Dataproc Metastore residem numa rede de produtores de serviços gerida pela Google e comunicam com a sua rede de nuvem privada virtual através de conetividade privada. Compreender os seguintes conceitos é fundamental para uma configuração bem-sucedida:

  • Nuvem privada virtual partilhada: se os seus clusters do Dataproc ou cargas de trabalho do Dataproc Serverless estiverem num projeto de serviço que use uma rede de nuvem privada virtual partilhada de um projeto anfitrião, verifique se as configurações de rede adequadas foram feitas no projeto anfitrião. Para mais informações, consulte o artigo Vista geral da nuvem privada virtual partilhada.
  • Acesso privado Google: as instâncias do Dataproc Metastore dependem frequentemente do acesso privado Google para a comunicação privada com a sua rede de nuvem virtual privada. Isto permite que as instâncias de máquinas virtuais (VM) na sua nuvem privada virtual se liguem às APIs e aos serviços Google através de endereços IP internos. Para mais informações, consulte o artigo Acesso privado à Google.
  • Intercâmbio da rede da VPC: este mecanismo permite a conetividade IP privada entre duas redes da nuvem virtual privada, o que permite que os recursos numa rede comuniquem com os recursos na outra através de endereços IP internos. O Dataproc Metastore estabelece uma ligação de intercâmbio da rede da VPC gerida à sua rede da nuvem virtual privada como parte da respetiva configuração. Para mais informações, consulte o artigo Intercâmbio da rede da VPC.
  • Regras de firewall: as regras de firewall adequadas são necessárias para permitir o tráfego entre as cargas de trabalho do Dataproc e a instância do Dataproc Metastore.
  • Resolução de DNS na nuvem: verifique se a resolução de DNS está corretamente configurada na sua rede de nuvem privada virtual para resolver o URI do ponto final do Dataproc Metastore para o respetivo endereço IP privado.

Passos de configuração

Para verificar o acesso adequado à rede da sua instância do Dataproc Metastore, siga estes passos:

1. Configure o acesso privado ao serviço

O Dataproc Metastore usa o acesso privado ao serviço para estabelecer uma ligação privada entre a sua rede de nuvem privada virtual e a rede do produtor de serviços gerida pela Google onde reside a sua instância do Dataproc Metastore.

  • Valide a ligação de acesso ao serviço privado:
    1. Na Google Cloud consola, aceda a Rede da nuvem virtual privada > Intercâmbio da rede da VPC.
    2. Verifique se existe uma ligação de peering com o nome servicenetworking-googleapis-com e se o respetivo estado é ACTIVE.
    3. Se esta ligação estiver em falta ou não estiver ativa, siga as instruções em Configurar o acesso a serviços privados. Isto inclui a atribuição de um intervalo de endereços IP para a rede do produtor de serviços.

2. Configure regras de firewall

Verifique se as regras de firewall na sua rede de nuvem virtual privada (ou no projeto anfitrião da nuvem virtual privada partilhada, se aplicável) permitem o tráfego necessário.

  • Regra de saída da carga de trabalho para o metastore:
    • Verifique se uma regra de firewall de saída permite o tráfego TCP de saída do cluster do Dataproc ou das cargas de trabalho sem servidor do Dataproc para o intervalo de endereços IP da sua instância do Dataproc Metastore na porta 9083. Esta é a porta predefinida para o Hive Metastore.
    • Se usar o acesso privado a serviços, este tráfego é encaminhado de forma privada.
  • Regras de entrada (menos comuns para cliente para Metastore):
    • Geralmente, não precisa de configurar regras de entrada na sua nuvem privada virtual para tráfego de instância do Dataproc Metastore para a sua carga de trabalho, uma vez que a comunicação tem normalmente origem na carga de trabalho. No entanto, verifique se não existem regras de entrada excessivamente restritivas que estejam a bloquear inadvertidamente as respostas necessárias.

3. Valide a resolução de DNS

As cargas de trabalho do Dataproc têm de resolver o URI do ponto final do Dataproc Metastore para o respetivo endereço IP privado.

  • Interligação de DNS ou zonas privadas: se estiver a usar servidores DNS personalizados ou zonas privadas do Cloud DNS, verifique se as consultas DNS para o ponto final do Dataproc Metastore (por exemplo, your-metastore-endpoint.us-central1.dataproc.cloud.google.com) são corretamente encaminhados ou resolvidos para o intervalo de IP privado usado pelo acesso privado ao serviço.
  • Testar a resolução de DNS: a partir de uma VM na mesma sub-rede que a sua carga de trabalho do Dataproc, use nslookup ou dig para verificar se o ponto final do Dataproc Metastore resolve para um endereço IP privado.

Resolução de problemas de conetividade de rede

Se encontrar problemas de conetividade após configurar o acesso à rede, considere os seguintes passos de resolução de problemas:

O que se segue?