Se você planeja criar um Instância do Cloud Data Fusion com um endereço IP particular , forneça segurança extra estabelecendo primeiro um perímetro de segurança para a instância usando VPC Service Controls (VPC-SC). O perímetro de segurança VPC-SC em torno da instância particular do Cloud Data Fusion e de outros recursos do Google Cloud ajuda a reduzir o risco de exfiltração de dados. Por exemplo, com o VPC Service Controls, se um pipeline do Cloud Data Fusion ler dados de um recurso compatível, como um conjunto de dados do BigQuery, localizado no perímetro, e tentar gravar a saída em um recurso fora do perímetro, o pipeline falhará.
Os recursos do Cloud Data Fusion são expostos em duas plataformas de API:
A plataforma da API do plano de controle
datafusion.googleapis.com
, que permite realizar operações no nível da instância, como criar e excluir instâncias.A superfície da API do plano de dados
datafusion.googleusercontent.com
(a IU da Web do Cloud Data Fusion no console do Google Cloud), que é executada em uma instância do Cloud Data Fusion para criar e executar pipelines de dados.
Você configura o VPC Service Controls com o Cloud Data Fusion restringindo a conectividade a essas duas plataformas de API.
Estratégias:
Os pipelines do Cloud Data Fusion são executados em clusters do Dataproc. Para proteger um cluster do Dataproc com um perímetro de serviço, siga as instruções para configurar a conectividade privada e permitir que o cluster funcione dentro do perímetro.
Não use plug-ins que usem as APIs Google Cloud que sejam incompatíveis com o VPC Service Controls. Se você usar plug-ins incompatíveis, o Cloud Data Fusion bloqueará as chamadas de API, resultando em falha na visualização e execução do pipeline.
Para usar o Cloud Data Fusion em um perímetro de serviço do VPC Service Controls, adicione ou configure várias entradas DNS para apontar os domínios a seguir para o VIP restrito (endereço IP virtual):
datafusion.googleapis.com
*.datafusion.googleusercontent.com
*.datafusion.cloud.google.com
Limitações:
Estabeleça o perímetro de segurança do VPC Service Controls antes de criar a instância particular do Cloud Data Fusion. A proteção de perímetro para instâncias criadas antes da configuração do VPC Service Controls não é compatível.
Atualmente, a IU do plano de dados do Cloud Data Fusion não é compatível com a especificação de níveis de acesso usando o acesso baseado em identidade.
Como restringir as plataformas da API Cloud Data Fusion
Como restringir a plataforma do plano de controle
Consulte Como configurar a conectividade privada para APIs e serviços do Google para restringir a conectividade à plataforma do plano de controle da API datafusion.googleapis.com
.
Como restringir a plataforma do plano de dados
Para configurar a conectividade privada com o plano de dados da API, configure o DNS concluindo as etapas a seguir para os domínios *.datafusion.googleusercontent.com
e *.datafusion.cloud.google.com
.
Crie uma nova zona particular usando o Cloud DNS:
- Tipo de zona: marque particular
- Nome da zona: datafusiongoogleusercontentcom
- Nome DNS: datafusion.googleusercontent.com
Rede: selecione a rede IP privada que você escolheu ao criar sua instância do Cloud Data Fusion.
Na página Cloud DNS, clique no nome da zona DNS
datafusiongoogleusercontent
para abrir a página Detalhes da zona. Dois registros são listados: um NS e um registro SOA. Use Adicionar padrão para adicionar os dois conjuntos de registros a seguir à sua zona DNS datafusiongoogleusercontent.Adicionar um registro CNAME: na caixa de diálogo Criar conjunto de registros, preencha os seguintes campos para mapear o nome DNS
*.datafusion.googleusercontent.com.
para o nome canônicodatafusion.googleusercontent.com
:- Nome DNS: "*.datafusion.googleusercontent.com"
Nome canônico: "datafusion.googleusercontent.com"
Adicionar um registro A: em uma nova caixa de diálogo Criar conjunto de registros, preencha os seguintes campos para mapear o nome do DNS
datafusion.googleusercontent.com.
para endereços IP199.36.153.4
-199.36.153.7
:- Nome DNS: ".datafusion.googleusercontent.com"
Endereço IPv4:
- 199.36.153.4
- 199.36.153.5
- 199.36.153.6
- 199.36.153.7
A página
datafusiongoogleusercontent
Detalhes da zona mostra os seguintes conjuntos de registros:
Siga as etapas acima para criar uma zona DNS particular e adicionar um conjunto de registros para o domínio
*.datafusion.cloud.google.com
.
A seguir
- Saiba mais sobre Como criar uma instância particular.
- Saiba mais sobre o VPC Service Controls.