Esta página fornece orientações sobre a configuração da conetividade de rede para clusters do Dataproc quando usa o Private Service Connect. Explica a interação entre o Private Service Connect e o peering da Virtual Private Cloud para diferentes exemplos de utilização do Dataproc. Também resume as semelhanças e as diferenças entre o acesso privado à Google, o Private Service Connect e o Cloud NAT.
Vista geral
Os clusters do Dataproc requerem conetividade de rede com Google Cloud APIs e serviços, como a API Dataproc, o Cloud Storage e o Cloud Logging, e com recursos do utilizador, como origens de dados noutras redes de nuvem privada virtual ou em ambientes no local.
Por predefinição, os clusters do Dataproc criados com versões de imagens 2.2 e posteriores
são criados apenas com endereços IP internos. O Dataproc ativa automaticamente o acesso privado à Google na sub-rede regional usada pelo cluster apenas com IP interno para ativar as ligações às APIs e aos serviços Google sem ligação à Internet pública.
Para fornecer um controlo de rede mais detalhado, pode configurar um cluster para usar o Private Service Connect, que encaminha o tráfego para APIs e serviços Google suportados através de um ponto final privado na sua rede VPC. Isto pode ser benéfico para a segurança e a conformidade.
Opções comuns de redes privadas
Esta secção descreve as funcionalidades e as diferenças entre o acesso privado à Google, o Private Service Connect e o Cloud NAT.
O acesso privado à Google é um caminho unidirecional para as VMs alcançarem os serviços públicos da Google sem usar a Internet. É semelhante a uma saída especial da sua vizinhança (sub-rede da VPC) que leva diretamente ao centro comercial dos serviços Google, ignorando as estradas públicas. Todos os vizinhos podem usá-lo. O Dataproc ativa automaticamente o acesso privado à Google na sub-rede regional usada pelo Serverless para clusters do Apache Spark criados com a versão da imagem
2.2e posterior.O Private Service Connect cria um ponto final privado bidirecional para um serviço localizado na sua rede VPC. É semelhante a um caminho privado dedicado a partir da sua localização (rede VPC) diretamente para um serviço. Tem um endereço na sua localização (um endereço IP interno na sua rede VPC) e só pode usá-lo.
O Cloud NAT permite que as VMs com endereços IP privados acedam à Internet.
Funcionalidades e diferenças
| Funcionalidade | Acesso privado do Google (PGA) | Private Service Connect (PSC) |
|---|---|---|
| Como funciona | Direciona o tráfego de uma VM para um intervalo de endereços IP da Google especial (private.googleapis.com). |
Cria uma regra de encaminhamento (ponto final) na sua rede VPC que representa o serviço Google. |
| Endereço IP | A sua VM liga-se a um endereço IP pertencente à Google. | A sua VM liga-se a um endereço IP interno que lhe pertence na sua rede VPC. |
| Direção | Apenas saída: a VM inicia uma ligação à Google. | Bidirecional: a sua VM liga-se ao serviço e o serviço pode iniciar o tráfego de retorno. |
| Âmbito | Ativada ou desativada para toda uma sub-rede. | Implementado como um recurso de ponto final específico. |
| Serviços | Apenas se liga a APIs Google, como a API Cloud Storage, BigQuery ou Dataproc. | Estabelece ligação às APIs Google, aos serviços de outras empresas e aos seus próprios serviços. |
Para o Dataproc, o acesso privado à Google é o método mais simples e tradicional para permitir que as VMs do cluster contactem o plano de controlo do Dataproc. O Private Service Connect é uma abordagem mais recente e flexível que lhe dá um controlo detalhado, particularmente em redes complexas ou multi-inquilinos.
Porquê usar o Private Service Connect? Mesmo que o cluster do Dataproc tenha endereços IP apenas internos com o acesso privado à Google ativado (a configuração predefinida para clusters da versão da imagem 2.2+), o Private Service Connect oferece as seguintes vantagens:
Em vez de usar o conjunto partilhado de pontos finais do acesso privado à Google para estabelecer ligação às APIs e aos serviços Google, o Private Service Connect permite-lhe criar um ponto final privado com um endereço IP interno na sua rede VPC que é mapeado diretamente para um serviço Google específico.
Pode criar regras de firewall que permitam o tráfego apenas para o endereço IP do ponto final do Private Service Connect. Por exemplo, pode configurar uma regra que permita o tráfego de saída das VMs do cluster do Dataproc exclusivamente para o endereço IP interno do ponto final do Private Service Connect para o BigQuery, ao mesmo tempo que nega todo o outro tráfego de saída. Esta é uma abordagem mais segura do que criar regras de firewall mais amplas com o acesso privado à Google.
A utilização do ponto final do Private Service Connect na sua rede VPC torna o caminho de rede explícito e mais fácil de auditar para fins de segurança e conformidade, uma vez que o tráfego para um serviço, como o Cloud Storage, não partilha um caminho com outro tráfego API.
Caminhos privados e públicos
O acesso privado à Google, o Private Service Connect e o Cloud NAT permitem que os anfitriões com endereços RFC 1918 alcancem os serviçosGoogle Cloud . Também permitem que os recursos Google Cloud com endereços RFC 1918 privados iniciem ligações a serviços Google Cloud .
Uma distinção importante a fazer ao avaliar diferentes opções de ligação é se o tráfego que usa a ligação permanece privado ou viaja pela Internet pública.
O acesso privado à Google e o Private Service Connect mantêm o tráfego na rede privada da Google. Os dados não transitam pela Internet pública para chegar aos serviços Google Cloud , o que é ideal para a segurança e o desempenho previsível.
O NAT da nuvem alcança um Google Cloud serviço estabelecendo ligação a um ponto final público para o serviço. O tráfego sai da sua rede VPC através do gateway NAT e viaja pela Internet.
Como funciona cada opção
Segue-se uma análise detalhada de cada mecanismo de ligação:
| Método | Caminho para o serviço | Ponto final de destino | Exemplo de utilização principal |
|---|---|---|---|
| Acesso privado do Google | Rede privada da Google | Endereços IP especiais da Google (private.googleapis.com) |
Acesso simples ao nível da sub-rede para que as VMs alcancem as APIs Google de forma privada. |
| Private Service Connect | Rede privada da Google | Um ponto final de endereço IP privado na sua rede VPC | Acesso granular e seguro às APIs Google, a terceiros ou aos seus próprios serviços. |
| NAT na nuvem | Internet pública | Endereço IP público do serviço | Acesso à Internet de saída de uso geral para VMs com endereços IP privados. |
Configure o Private Service Connect
Para usar o Private Service Connect com o seu cluster do Dataproc, tem de configurar os pontos finais do Private Service Connect e o DNS necessários na sua rede VPC para todas as APIs Google das quais o Dataproc depende. Para ver instruções sobre como configurar a sua sub-rede e configurar o DNS, consulte o artigo Acerca do acesso às APIs Google através de pontos finais.
Ative a interligação, se necessário
Embora o Private Service Connect ofereça acesso privado a muitos serviços Google, também pode ter de ativar o VPC peering, especialmente nos seguintes cenários:
Outras redes da nuvem privada virtual: o Private Service Connect estabelece ligação a serviços geridos pela Google e não diretamente a outras redes da VPC de clientes. Se as suas origens de dados, aplicações personalizadas ou outros serviços estiverem localizados numa rede da VPC diferente da do cluster do Dataproc, normalmente, é necessário o intercâmbio da VPC para ativar a comunicação privada entre estas redes.
Redes nas instalações: se o seu cluster do Dataproc aceder a dados ou serviços no seu ambiente nas instalações, precisa de uma ligação do Cloud VPN ou do Cloud Interconnect à sua rede nas instalações, muitas vezes combinada com o peering de VPC.
Comunicação interna abrangente com os serviços Google: embora o Private Service Connect forneça acesso privado a serviços Google configurados, como o Cloud Storage e o BigQuery, as comunicações do plano de controlo interno ou funcionalidades específicas do Dataproc podem exigir o peering de VPC a uma rede com ampla acessibilidade aos serviços Google para aceder à infraestrutura Google subjacente ou a outras APIs Google.
Acesso a origens de dados noutras redes VPC: se os seus trabalhos do Dataproc lerem ou escreverem em origens de dados, como o Cloud SQL, bases de dados autogeridas e aplicações personalizadas, que se encontram numa rede VPC diferente, tem de estabelecer o intercâmbio da VPC entre a rede VPC do cluster do Dataproc e a rede VPC que contém essas origens de dados. O Private Service Connect não fornece comunicação de rede entre VPCs entre redes pertencentes ao cliente.
Conetividade híbrida: para implementações de nuvem híbrida em que os clusters do Dataproc precisam de interagir com recursos num centro de dados nas instalações, o peering de VPC é essencial para ligar a sua rede nas instalações à sua rede VPC através do Cloud VPN ou do Cloud Interconnect. Google Cloud
Resolva problemas do Private Service Connect
Se o seu cluster do Dataproc com o Private Service Connect (sem interligação de VPCs) não for criado ou tiver problemas de conetividade, use os seguintes passos para ajudar a resolver o problema:
Confirme o acesso à API necessário:
- Confirme se todas as APIs Google necessárias estão ativadas no seu Google Cloud projeto.
Valide a configuração do ponto final do Private Service Connect:
Verifique se um ponto final do Private Service Connect está configurado corretamente para todas as APIs Google que o cluster requer, como
dataproc.googleapis.com,storage.googleapis.com,logging.googleapis.com,bigquery.googleapis.comecompute.googleapis.com.Use ferramentas como
digounslookupa partir de uma VM na sub-rede da VPC para confirmar que os registos DNS dos serviços necessários resolvem corretamente os endereços IP privados na sua rede VPC através do ponto final do Private Service Connect.
Verifique as regras de firewall:
Verifique se as regras de firewall na sua rede da VPC permitem ligações de saída de instâncias do cluster do Dataproc a pontos finais do Private Service Connect.
Se estiver a usar uma VPC partilhada, verifique se as regras de firewall adequadas estão configuradas no projeto anfitrião.
Examine os registos do cluster do Dataproc:
- Reveja os registos de criação do cluster no Logging para verificar se existem erros relacionados com a rede, como
connection refused,timeoutou "unreachable host. Estes erros podem indicar uma rota em falta ou uma regra de firewall incorreta. Examine os registos da consola de série das instâncias do cluster.
- Reveja os registos de criação do cluster no Logging para verificar se existem erros relacionados com a rede, como
Avalie a necessidade de intercâmbio da VPC:
Com base nas dependências da carga de trabalho, se o seu cluster do Dataproc exigir conetividade a recursos que não sejam geridos pela Google, como bases de dados numa rede VPC separada e servidores no local, estabeleça o peering de VPC.
Examine os requisitos de rede dos Google Cloud serviços com os quais o seu cluster do Dataproc interage. Alguns serviços podem ter requisitos de peering específicos, mesmo quando usados com o Private Service Connect.
Siga as práticas recomendadas
Planeamento abrangente da arquitetura de rede: antes de implementar o Dataproc com o Private Service Connect, planeie cuidadosamente a arquitetura de rede, tendo em conta todas as dependências implícitas e explícitas, bem como os caminhos de fluxo de dados. Isto inclui a identificação de todas as APIs Google com as quais o cluster do Dataproc interage durante o aprovisionamento e a operação.
Testar a conetividade: teste exaustivamente a conetividade de rede do cluster do Dataproc a todos os serviços e origens de dados necessários durante as fases de desenvolvimento e preparação.
Use o Network Intelligence Center: use as ferramentas do Google Cloud Network Intelligence Center, como os testes de conetividade, para diagnosticar e resolver problemas de conetividade de rede.
O que se segue?
- Saiba mais sobre o Private Service Connect.
- Compreenda o intercâmbio da rede da VPC.
- Explore a configuração de rede do cluster do Dataproc.