Private Service Connect com o metastore do Dataproc

Nesta página, você verá o que é o Private Service Connect e como usá-lo para rede como alternativa ao peering de VPC.

Serviço metastore do Dataproc sem peering de VPC

O metastore do Dataproc protege o acesso a metadados expondo somente endpoints de IP privados. Isso também restringe a conectividade às VMs na rede VPC do cliente fornecido por meio do peering de VPC.

O metastore do Dataproc requer o seguinte por região para cada rede VPC:

Configurar o peering de VPC e a reserva de endereço IP representa um desafio para redes VPC lotadas. Da mesma forma, uma rede VPC pode não ter cota de peering suficiente para acomodar solicitações de peering adicionais. Ambas as limitações impedem novas criações de serviço do metastore do Dataproc.

É possível criar um serviço do metastore do Dataproc sem peering de VPC e reservas de blocos de endereços usando o Private Service Connect para expor o endpoint do metastore do Dataproc. O Private Service Connect permite uma conexão particular com os metadados do metastore do Dataproc nas redes VPC.

Com o Private Service Connect, o metastore do Dataproc requer uma reserva de endereço único na sub-rede e uma regra de encaminhamento que segmente o anexo de serviço que expõe o endpoint do Metastore do Dataproc. A reserva de endereço e a regra de encaminhamento são criadas como parte da chamada de criação do serviço Metastore do Dataproc.

Criar um serviço do metastore do Dataproc com o Private Service Connect

As instruções a seguir demonstram como configurar o Private Service Connect durante a criação do serviço.

Console

  1. No console do Google Cloud, abra a página do metastore do Dataproc:

    Abra o metastore do Dataproc no Console do Google Cloud

  2. Na parte superior da página Metastore do Dataproc, clique no botão Criar. A página Criar serviço é aberta.

  3. Configure o serviço como quiser.

  4. Em Configuração de rede, clique em Tornar os serviços acessíveis em várias sub-redes VPC.

  5. Selecione as Sub-redes. É possível especificar até cinco sub-redes.

  6. Clique em Concluído.

  7. Clique em Enviar.

Verifique a configuração de rede do serviço:

  1. No console do Google Cloud, abra a página do metastore do Dataproc:

    Abra o metastore do Dataproc no Console do Google Cloud

  2. Na página Metastore do Dataproc, clique no nome do serviço que quer ver. A página Detalhes do serviço desse serviço é aberta.

  3. Na guia Configuração, verifique se os detalhes mostram vários URIs de sub-rede de VPC.

gcloud

  1. Execute o seguinte comando gcloud metastore services create para criar um serviço com o Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    ou

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifique se a criação foi bem-sucedida.

REST

Siga as instruções da API para criar um serviço usando a API Explorer.

Nos parâmetros de solicitação create, use o campo Network Config para configurar o Private Service Connect:

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

É possível especificar de 1 a 5 sub-redes.

O metastore do Dataproc reserva endereços e cria regras de encaminhamento em cada uma das sub-redes especificadas. Cada sub-rede tem um URI de endpoint do Thrift que pode ser usado para acessar o endpoint de metadados do metastore do Dataproc.

Anexe um cluster do Dataproc

Anexe um cluster do Dataproc que usa o serviço Metastore do Dataproc com o Private Service Connect como seu metastore Hive usando o URI do endpoint do serviço e o diretório de warehouse.

Para mais informações sobre como anexar um cluster do Dataproc, consulte Anexar um cluster do Dataproc usando ENDPOINT_URI e WAREHOUSE_DIR.

Advertências do Private Service Connect para o metastore do Dataproc

  • Os endpoints do serviço do metastore do Dataproc que usam o Private Service Connect são compatíveis apenas com o acesso de sub-redes na mesma região do serviço.
  • A conectividade reversa não é possível. Isso significa que a configuração do Kerberos com a configuração do Private Service Connect não é compatível.
  • A criação de um serviço do Dataproc Metastore com o protocolo de endpoint gRPC não é compatível com a configuração de rede.
  • Não é possível adicionar ou remover sub-redes de um serviço do metastore do Dataproc dinamicamente. Será necessário recriar um serviço se você quiser adicionar ou remover sub-redes.
  • Não é possível atualizar um serviço do metastore do Dataproc da configuração do Private Service Connect para a configuração de peering ou vice-versa.
  • Versões auxiliares não são compatíveis com a configuração do Private Service Connect.

A seguir