Nesta página, você verá informações básicas sobre como se conectar às origens de dados a partir de instâncias públicas ou privadas do Cloud Data Fusion de ambientes de design e execução.
Antes de começar
Rede no Cloud Data Fusion requer uma compreensão básica da seguintes:
Projeto de locatário
O Cloud Data Fusion cria um projeto de locatário que contém os recursos
e os serviços necessários para gerenciar pipelines em seu nome, como quando
executa pipelines nos clusters do Dataproc que residem
projeto do cliente.
O projeto de locatário não é exposto diretamente a você, mas quando
você cria uma instância particular, usa o nome do projeto para configurar a VPC
peering de rede VPC. Cada instância particular no projeto de locatário tem a própria
rede VPC e sub-rede.
O projeto pode ter várias instâncias do Cloud Data Fusion. Você
os recursos e serviços que ela contém quando você acessa uma instância no
a interface do Cloud Data Fusion ou a Google Cloud CLI.
Para mais informações, acesse a documentação do Service Infrastructure
projetos de locatário.
Projeto do cliente
O cliente cria e é proprietário deste projeto. Por padrão, O Cloud Data Fusion cria um cluster temporário do Dataproc neste projeto para executar os pipelines.
Instância do Cloud Data Fusion
Uma instância do Cloud Data Fusion é uma implantação única Cloud Data Fusion, em que você projeta e executa pipelines. É possível criar várias instâncias em um único projeto e especificar a Região do Google Cloud em que o Cloud Data Fusion será criado instâncias. Com base nos seus requisitos e restrições de custo, você pode criar que usa o Desenvolvedor, Basic ou Enterprise edição do Cloud Data Fusion. Cada instância contém uma instância do Cloud Data Fusion implantação que contém um conjunto de serviços que lidam com o ciclo de vida do pipeline orquestração, coordenação, coordenação e gerenciamento de metadados. Esses serviços são executados usando recursos de longa duração projeto de locatário.
Diagrama de rede
Os diagramas a seguir mostram as conexões quando você cria pipelines de dados que extrair, transformar, combinar, agregar e carregar dados de vários ambientes fontes de dados na nuvem.
Veja os diagramas como controlar a saída em uma instância particular e como se conectar a uma fonte pública.
Design e execução de pipeline
O Cloud Data Fusion oferece a separação de ambientes de design e execução, que permite projetar um pipeline uma vez e, em seguida, executá-lo em vários ambientes. O ambiente de design reside no projeto de locatário, enquanto o ambiente de execução está em um ou mais projetos de cliente.
Exemplo: você projeta seu pipeline usando serviços do Cloud Data Fusion, como o Wrangler e a visualização. Esses serviços são executados no projeto de locatário, em que o acesso a são controlados pelo sistema de gerenciamento Agente de serviço do Cloud Data Fusion de rede. Em seguida, execute o pipeline no projeto do cliente para que ele use o cluster do Dataproc. No projeto do cliente, o padrão A conta de serviço do Compute Engine controla o acesso aos dados. É possível configurar o para usar uma conta de serviço personalizada.
Para mais informações sobre como configurar contas de serviço, consulte Contas de serviço do Cloud Data Fusion.
Ambiente de design
Quando você cria uma instância do Cloud Data Fusion no projeto do cliente, O Cloud Data Fusion cria automaticamente um locatário separado gerenciado pelo Google para executar os serviços necessários para gerenciar o ciclo de vida dos pipelines e metadados, a interface do Cloud Data Fusion e ferramentas de design, como Preview e o Wrangler.
Resolução de DNS no Cloud Data Fusion
Para resolver nomes de domínio em seu ambiente de tempo de design, quando você Wrangle e visualizar os dados que você está transferindo para o Google Cloud, usar o peering de DNS (disponível a partir do Cloud Data Fusion 6.7.0). Ele permite que você use domínios ou nomes de host para origens e coletores, que você não precisa reconfigurar com tanta frequência usando os endereços IP internos.
A resolução de DNS é recomendada no ambiente de tempo de design em Cloud Data Fusion, quando você testa conexões e visualiza pipelines que usam nomes de domínio de servidores locais ou outros servidores (como bancos de dados ou servidores FTP), em uma rede VPC particular.
Para mais informações, consulte Peering de DNS e Encaminhamento do Cloud DNS.
Ambiente de execução
Depois de verificar e implantar o pipeline em uma instância, execute-o manualmente ou em uma programação de tempo ou em um acionador de estado do pipeline.
Se o ambiente de execução é provisionado e gerenciado por Cloud Data Fusion ou o cliente, o ambiente existe no seu cliente projeto.
Instâncias públicas (padrão)
A maneira mais fácil de provisionar uma instância do Cloud Data Fusion é criar uma instância pública. Ele serve como ponto de partida e fornece acesso a endpoints externos na Internet pública.
Uma instância pública no Cloud Data Fusion usa a rede VPC padrão no seu projeto.
A rede VPC padrão tem as seguintes características:
- Sub-redes geradas automaticamente para cada região
- Como rotear tabelas
- regras de firewall para garantir a comunicação entre os recursos de computação;
Redes em várias regiões
Quando você cria um novo projeto, uma vantagem da rede VPC padrão é que ela preenche automaticamente uma sub-rede por região usando um intervalo de endereços IP predefinido, expresso como um bloco CIDR. Os intervalos de endereços IP começam com
10.128.0.0/20, 10.132.0.0/20, em todas as regiões globais do Google Cloud.
Para garantir que seus recursos de computação se conectem uns aos outros entre regiões, a rede VPC padrão define as rotas locais padrão para cada sub-rede. Ao configurar a rota padrão para a Internet (0.0.0.0/0), você tem acesso à Internet e captura qualquer tráfego de rede não roteado.
Regras de firewall
A rede VPC padrão fornece um conjunto de regras de firewall:
| Padrão | Descrição |
|---|---|
Permitir icmp padrão |
Ative o protocolo icmp para a origem 0.0.0.0/0 |
| Permitir padrão code | Ativar tcp:0-65535; udp:0-65535; icmp para a origem 10.128.0.0/9, que abrange o mínimo de 10.128.0.1 e o máximo de 10.255.255.254 endereços IP |
Permitir rdp padrão |
Ativar tcp:3389 para a origem 0.0.0.0/0 |
Permitir ssh padrão |
Ativar tcp:22 para a origem 0.0.0.0/0 |
Essas configurações de rede VPC padrão minimizam os pré-requisitos para configurar serviços em nuvem, incluindo o Cloud Data Fusion. Devido a preocupações sobre segurança de rede, as organizações geralmente não permitem que você use Rede VPC para operações comerciais. Sem o padrão Rede VPC, não é possível criar uma instância. Em vez disso, Crie uma instância particular.
A rede VPC padrão não concede acesso aberto aos recursos. Em vez disso, o Identity and Access Management (IAM) controla os acessos:
- É necessário ter uma identidade validada para fazer login no Google Cloud.
- Depois de fazer login, você precisará de permissão explícita (por exemplo, o Leitor) para consultar os serviços do Google Cloud.
Instâncias particulares
Algumas organizações exigem que todos os sistemas de produção sejam isolados de endereços IP públicos. Uma instância particular do Cloud Data Fusion atende a esse requisito em todos os tipos de configurações de rede VPC.
Acesso a dados em ambientes de design e execução
Em uma instância pública, a comunicação de rede acontece por meio da Internet aberta, o que não é recomendado para ambientes críticos. Para acessar suas fontes de dados com segurança, sempre execute os pipelines de uma instância privada no ambiente de execução.
Acesso a origens
Ao acessar fontes de dados, instâncias públicas e privadas:
- fazer chamadas para APIs do Google Cloud usando o Acesso privado do Google;
- se comunicar com um ambiente de execução (Dataproc) por meio de peering de VPC;
A tabela a seguir compara instâncias públicas e privadas durante o design e a execução de várias fontes de dados:
| Fonte de dados | Instância pública do Cloud Data Fusion (tempo de design) |
Dataproc público do Cloud Data Fusion (execução) |
Instância privada do Cloud Data Fusion (tempo de design) |
Dataproc do Cloud Data Fusion privado (execução) |
|---|---|---|---|---|
| Origem do Google Cloud (depois de conceder permissões e definir regras de firewall) |
||||
| Fonte no local (depois de configurar VPN/Interconexão, conceder permissões e definir regras de firewall) |
||||
| Fonte de Internet pública (depois de conceder permissões e definir regras de firewall) |
A seguir
- Controle de acesso no Cloud Data Fusion
- Contas de serviço no Cloud Data Fusion
- Como criar uma instância pública
- Como criar uma instância privada