Private Service Connect com o metastore do Dataproc

Com o Private Service Connect, é possível criar Serviço Metastore do Dataproc que não usa VPC peering de rede VPC. Esta página explica o que é o Private Service Connect e como usá-lo como opção alternativa de rede para Metastore do Dataproc.

Como o metastore do Dataproc funciona com a VPC

O metastore do Dataproc protege o acesso aos metadados ao expor apenas dados endpoints de IP. Ele também restringe a conectividade com VMs na sua rede VPC, usando peering de VPC.

O metastore do Dataproc requer as seguintes configurações por região para cada rede VPC:

Como resultado, a configuração do peering de VPC e das reservas de endereços IP pode ser difícil em redes VPC lotadas. Da mesma forma, uma rede VPC pode não ter cota de peering suficiente para acomodar solicitações de peering adicionais. Essas duas limitações podem impedir você de criar novos serviço Metastore do Dataproc.

Para contornar esses problemas, você pode usar Metastore do Dataproc com o Private Service Connect.

Como o metastore do Dataproc funciona com o Private Service Connect

O Private Service Connect fornece uma conexão particular para Metadados do metastore do Dataproc em redes VPC.

Para usar o Private Service Connect com o metastore do Dataproc, as seguintes configurações são necessárias:

  • Uma única reserva de endereço na sub-rede.
  • Uma regra de encaminhamento direcionada ao anexo de serviço que expõe o metastore do Dataproc endpoint do Google Cloud. A reserva de endereço e a regra de encaminhamento são criadas como parte da chamada de criação do serviço Metastore do Dataproc.

Considerações

  • Serviços do metastore do Dataproc que usam o Private Service Connect oferecem suporte apenas ao acesso de redes VPC das sub-redes especificadas durante o serviço criação.

  • O metastore do Dataproc reserva endereços e cria regras de encaminhamento em cada uma das sub-redes especificadas. Cada sub-rede tem um URI de endpoint do Thrift que pode ser usado para acessar o endpoint de metadados do metastore do Dataproc.

Limitações

  • Serviços do Dataproc Metastore que usam o protocolo de endpoints gRPC não têm suporte para o Private Service Connect.
  • A conectividade reversa não tem suporte com o Private Service Connect. Isso significa que não é possível usar uma configuração do Kerberos com o Private Service Connect.
  • Não é possível adicionar ou remover dinamicamente sub-redes de um metastore do Dataproc configurado com o Private Service Connect. Em vez disso, precisa recriar um serviço para adicionar ou remover sub-redes.
  • Não é possível atualizar um serviço do metastore do Dataproc que usa o Private Service Connect usar a VPC ou vice-versa.

Criar um serviço do metastore do Dataproc com o Private Service Connect

As instruções a seguir demonstram como configurar o Private Service Connect durante a criação do serviço.

Console

  1. No console do Google Cloud, abra a página do metastore do Dataproc:

    Acesse Dataproc Metastore

  2. Na parte superior da página Metastore do Dataproc, clique em Criar.

    A página Criar serviço é aberta.

  3. Configure o serviço conforme necessário.

  4. Em Configuração de rede, clique em Tornar os serviços acessíveis em várias sub-redes VPC.

  5. Selecione Sub-redes. É possível especificar até cinco sub-redes.

  6. Clique em Concluído.

  7. Clique em Enviar.

Verifique a configuração de rede do serviço:

  1. No console do Google Cloud, abra a página do metastore do Dataproc:

    Acesse Dataproc Metastore

  2. Na página Metastore do Dataproc, clique no nome do serviço do que um serviço quer visualizar.

    A página Detalhes do serviço desse serviço abre.

  3. Na guia Configuração, verifique se os detalhes mostram várias redes VPC URIs da sub-rede.

gcloud

  1. Execute o seguinte comando gcloud metastore services create para criar um serviço com o Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    ou

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifique se a criação foi bem-sucedida.

REST

Siga as instruções da API para criar um serviço usando a API Explorer.

Nos parâmetros de solicitação create, use o Network Config registrado para configurar o Private Service Connect. Você pode especificar de 1 a 5 sub-redes.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

A seguir