Private Service Connect com o metastore do Dataproc

Com o Private Service Connect, é possível criar um serviço do metastore do Dataproc que não usa o peering de VPC. Nesta página, explicamos o que é o Private Service Connect e como usá-lo como uma opção de rede alternativa para a Metastore do Dataproc.

Como o metastore do Dataproc funciona com a VPC

O metastore do Dataproc protege o acesso aos metadados ao expor apenas dados endpoints de IP. Ele também restringe a conectividade a VMs na sua rede VPC usando o peering de VPC.

O metastore do Dataproc requer as seguintes configurações por região para cada rede VPC:

Como resultado, a configuração do peering de VPC e das reservas de endereços IP pode ser difícil em redes VPC lotadas. Da mesma forma, uma rede VPC pode não ter cota de peering suficiente para acomodar solicitações de peering adicionais. Essas duas limitações podem impedir a criação de novos serviço Metastore do Dataproc.

Para contornar esses problemas, você pode usar Metastore do Dataproc com o Private Service Connect.

Como o metastore do Dataproc funciona com o Private Service Connect

O Private Service Connect fornece uma conexão particular com os metadados do metastore do Dataproc nas redes VPC.

Para usar o Private Service Connect com o metastore do Dataproc, as seguintes configurações são necessárias:

  • Uma reserva de endereço único na sub-rede.
  • Uma regra de encaminhamento direcionada ao anexo de serviço que expõe o metastore do Dataproc endpoint do Google Cloud. A reserva de endereço e a regra de encaminhamento são criadas como parte da chamada de criação do serviço Metastore do Dataproc.

Considerações

  • Os serviços do metastore do Dataproc que usam o Private Service Connect são compatíveis apenas com o acesso de redes VPC das sub-redes especificadas durante a criação do serviço.

  • O metastore do Dataproc reserva endereços e cria regras de encaminhamento em cada uma das sub-redes especificadas. Cada sub-rede tem um URI de endpoint do Thrift que pode ser usado para acessar o endpoint de metadados do metastore do Dataproc.

Limitações

  • Serviços do Dataproc Metastore que usam o protocolo de endpoints gRPC não têm suporte para o Private Service Connect.
  • A conectividade reversa não tem suporte com o Private Service Connect. Isso significa que não é possível usar uma configuração do Kerberos com o Private Service Connect.
  • Não é possível adicionar ou remover sub-redes de um serviço do metastore do Dataproc dinamicamente quando ele está configurado com o Private Service Connect. Em vez disso, precisa recriar um serviço para adicionar ou remover sub-redes.
  • Não é possível atualizar um serviço do metastore do Dataproc que usa o Private Service Connect usar a VPC ou vice-versa.

Criar um serviço do metastore do Dataproc com o Private Service Connect

As instruções a seguir demonstram como configurar o Private Service Connect durante a criação do serviço.

Console

  1. No console do Google Cloud, abra a página do metastore do Dataproc:

    Acesse Dataproc Metastore

  2. Na parte superior da página Metastore do Dataproc, clique em Criar.

    A página Criar serviço é aberta.

  3. Configure o serviço conforme necessário.

  4. Em Configuração de rede, clique em Tornar os serviços acessíveis em várias subredes da VPC.

  5. Selecione Sub-redes. É possível especificar até cinco subredes.

  6. Clique em Concluído.

  7. Clique em Enviar.

Verifique a configuração de rede do serviço:

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Acesse Dataproc Metastore

  2. Na página Metastore do Dataproc, clique no nome do serviço do que um serviço queira visualizar.

    A página Detalhes do serviço desse serviço é aberta.

  3. Na guia Configuração, verifique se os detalhes mostram várias redes VPC URIs da sub-rede.

gcloud

  1. Execute o seguinte comando gcloud metastore services create para criar um serviço com o Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    ou

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifique se a criação foi bem-sucedida.

REST

Siga as instruções da API para criar um serviço usando a API Explorer.

Nos parâmetros de solicitação create, use o campo Network Config para configurar o Private Service Connect. É possível especificar de 1 a 5 subredes.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

A seguir