Private Service Connect com o metastore do Dataproc

Com o Private Service Connect, é possível criar um serviço do metastore do Dataproc que não usa o peering de VPC. Nesta página, explicamos o que é o Private Service Connect e como usá-lo como uma opção de rede alternativa para a Metastore do Dataproc.

Como o metastore do Dataproc funciona com a VPC

O Metastore do Dataproc protege o acesso a metadados expondo apenas endpoints de IP privados. Ele também restringe a conectividade a VMs na sua rede VPC usando o peering de VPC.

O metastore do Dataproc requer as seguintes configurações por região para cada rede VPC:

Como resultado, a configuração do peering de VPC e das reservas de endereços IP pode ser difícil em redes VPC lotadas. Da mesma forma, uma rede VPC pode não ter cota de peering suficiente para acomodar solicitações de peering adicionais. Ambas as limitações podem impedir a criação de um novo serviço do metastore do Dataproc.

Para contornar esses problemas, use o metastore do Dataproc com o Private Service Connect.

Como o metastore do Dataproc funciona com o Private Service Connect

O Private Service Connect fornece uma conexão particular com os metadados do metastore do Dataproc nas redes VPC.

Para usar o Private Service Connect com o metastore do Dataproc, as seguintes configurações são necessárias:

  • Uma reserva de endereço único na sub-rede.
  • Uma regra de encaminhamento que segmenta o anexo de serviço que expõe o endpoint do Metastore do Dataproc. A reserva de endereço e a regra de encaminhamento são criadas como parte da chamada de criação do serviço Metastore do Dataproc.

Considerações

  • Os serviços do metastore do Dataproc que usam o Private Service Connect são compatíveis apenas com o acesso de redes VPC das sub-redes especificadas durante a criação do serviço.

  • O metastore do Dataproc reserva endereços e cria regras de encaminhamento em cada uma das sub-redes especificadas. Cada sub-rede tem um URI de endpoint do Thrift que pode ser usado para acessar o endpoint de metadados do metastore do Dataproc.

Limitações

  • Os serviços do metastore do Dataproc que usam o protocolo de endpoints gRPC não são compatíveis com o Private Service Connect.
  • A conectividade reversa não é compatível com o Private Service Connect. Isso significa que não é possível usar uma configuração do Kerberos com o Private Service Connect.
  • Não é possível adicionar ou remover sub-redes de um serviço do metastore do Dataproc dinamicamente quando ele está configurado com o Private Service Connect. Em vez disso, será necessário recriar um serviço se você quiser adicionar ou remover sub-redes.
  • Não é possível atualizar um serviço do metastore do Dataproc que usa o Private Service Connect para usar a VPC ou vice-versa.

Criar um serviço do metastore do Dataproc com o Private Service Connect

As instruções a seguir demonstram como configurar o Private Service Connect durante a criação do serviço.

Console

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Acesse Dataproc Metastore

  2. Na parte de cima da página Metastore do Dataproc, clique em Criar.

    A página Criar serviço é aberta.

  3. Configure o serviço conforme necessário.

  4. Em Configuração de rede, clique em Tornar os serviços acessíveis em várias subredes da VPC.

  5. Selecione Sub-redes. É possível especificar até cinco subredes.

  6. Clique em Concluído.

  7. Clique em Enviar.

Verifique a configuração de rede do serviço:

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Acesse Dataproc Metastore

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer acessar.

    A página Detalhes do serviço desse serviço é aberta.

  3. Na guia Configuration, verifique se os detalhes mostram vários URIs de subrede da VPC.

gcloud

  1. Execute o seguinte comando gcloud metastore services create para criar um serviço com o Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    ou

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifique se a criação foi bem-sucedida.

REST

Siga as instruções da API para criar um serviço usando a API Explorer.

Nos parâmetros de solicitação create, use o campo Network Config para configurar o Private Service Connect. É possível especificar de 1 a 5 subredes.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

A seguir