Private Service Connect com o Dataproc Metastore

Com o Private Service Connect, pode criar um serviço Dataproc Metastore que não use o VPC peering. Esta página explica o que é o Private Service Connect e como o usar como uma opção de rede alternativa para o Dataproc Metastore.

Como o Dataproc Metastore funciona com a VPC

O Dataproc Metastore protege o respetivo acesso aos metadados expondo apenas pontos finais de IP privado. Também restringe a conetividade a VMs na sua rede VPC através do intercâmbio de VPCs.

O Dataproc Metastore requer as seguintes configurações por região para cada rede VPC:

Consequentemente, a configuração do intercâmbio das redes da VPC e das reservas de endereços IP pode ser difícil em redes da VPC sobrecarregadas. Da mesma forma, uma rede de VPC pode não ter quota de peering suficiente para acomodar pedidos de peering adicionais. Ambas as limitações podem impedir a criação de um novo serviço do Dataproc Metastore.

Para contornar estes problemas, pode usar o Dataproc Metastore com o Private Service Connect.

Como funciona o Dataproc Metastore com o Private Service Connect

O Private Service Connect fornece uma ligação privada aos metadados do Dataproc Metastore nas redes VPC.

Para usar o Private Service Connect com o Dataproc Metastore, são necessárias as seguintes configurações:

  • Uma única reserva de endereço na sub-rede.
  • Uma regra de encaminhamento que segmenta a associação de serviço que expõe o ponto final do Dataproc Metastore. A reserva de endereço e a regra de encaminhamento são criadas como parte da chamada de criação do serviço Dataproc Metastore.

Considerações

  • Os serviços do Dataproc Metastore que usam o Private Service Connect só suportam o acesso a partir de redes VPC das sub-redes especificadas durante a criação do serviço.

  • O Dataproc Metastore reserva endereços e cria regras de encaminhamento em cada uma das sub-redes especificadas. Cada sub-rede tem um URI de ponto final Thrift que pode usar para aceder ao ponto final de metadados do Dataproc Metastore.

Limitações

  • Os serviços do Dataproc Metastore que usam o protocolo de pontos finais gRPC não suportam o Private Service Connect.
  • A conetividade inversa não é suportada com o Private Service Connect. Isto significa que não pode usar uma configuração do Kerberos com o Private Service Connect.
  • Não pode adicionar nem remover dinamicamente sub-redes de um serviço do Dataproc Metastore configurado com o Private Service Connect. Em alternativa, tem de recriar um serviço se quiser adicionar ou remover sub-redes.
  • Não pode atualizar um serviço do Dataproc Metastore que usa o Private Service Connect para usar a VPC ou vice-versa.

Crie um serviço do Dataproc Metastore com o Private Service Connect

As instruções seguintes demonstram como configurar o Private Service Connect durante a criação do serviço.

Consola

  1. Na Google Cloud consola, abra a página Dataproc Metastore:

    Aceda ao Dataproc Metastore

  2. Na parte superior da página Dataproc Metastore, clique em Criar.

    É apresentada a página Criar serviço.

  3. Configure o serviço conforme necessário.

  4. Em Configuração de rede, clique em Tornar os serviços acessíveis em várias sub-redes VPC.

  5. Selecione Sub-redes. Pode especificar até 5 sub-redes.

  6. Clique em Concluído.

  7. Clique em Enviar.

Valide a configuração de rede do serviço:

  1. Na Google Cloud consola, abra a página Dataproc Metastore:

    Aceda ao Dataproc Metastore

  2. Na página Dataproc Metastore, clique no nome do serviço que quer ver.

    É apresentada a página Detalhes do serviço para esse serviço.

  3. No separador Configuração, verifique se os detalhes mostram vários URIs de sub-rede da VPC.

gcloud

  1. Execute o seguinte comando gcloud metastore services create para criar um serviço com o Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    ou

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifique se a criação foi bem-sucedida.

REST

Siga as instruções da API para criar um serviço através do API Explorer.

Nos parâmetros de pedido create, use o campo Network Config para configurar o Private Service Connect. Pode especificar 1 a 5 sub-redes.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

O que se segue?