Usar o VPC Service Controls com o Cloud Data Fusion

Se você planeja criar um Instância do Cloud Data Fusion com um endereço IP particular , forneça segurança extra estabelecendo primeiro um perímetro de segurança para a instância usando VPC Service Controls (VPC-SC). O perímetro de segurança VPC-SC em torno da instância particular do Cloud Data Fusion e de outros recursos do Google Cloud ajuda a reduzir o risco de exfiltração de dados. Por exemplo, com o VPC Service Controls, se um pipeline do Cloud Data Fusion ler dados de um recurso compatível, como um conjunto de dados do BigQuery, localizado no perímetro, e tentar gravar a saída em um recurso fora do perímetro, o pipeline falhará.

Os recursos do Cloud Data Fusion são expostos em duas plataformas de API:

  1. A plataforma da API do plano de controle datafusion.googleapis.com, que permite realizar operações no nível da instância, como criar e excluir instâncias.

  2. A superfície da API do plano de dados datafusion.googleusercontent.com (a IU da Web do Cloud Data Fusion no console do Google Cloud), que é executada em uma instância do Cloud Data Fusion para criar e executar pipelines de dados.

Você configura o VPC Service Controls com o Cloud Data Fusion restringindo a conectividade a essas duas plataformas de API.

Estratégias:

  • Os pipelines do Cloud Data Fusion são executados em clusters do Dataproc. Para proteger um cluster do Dataproc com um perímetro de serviço, siga as instruções para configurar a conectividade privada e permitir que o cluster funcione dentro do perímetro.

  • Não use plug-ins que usem as APIs Google Cloud que sejam incompatíveis com o VPC Service Controls. Se você usar plug-ins incompatíveis, o Cloud Data Fusion bloqueará as chamadas de API, resultando em falha na visualização e execução do pipeline.

  • Para usar o Cloud Data Fusion em um perímetro de serviço do VPC Service Controls, adicione ou configure várias entradas DNS para apontar os domínios a seguir para o VIP restrito (endereço IP virtual):

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

Limitações:

  • Estabeleça o perímetro de segurança do VPC Service Controls antes de criar a instância particular do Cloud Data Fusion. A proteção de perímetro para instâncias criadas antes da configuração do VPC Service Controls não é compatível.

  • Atualmente, a IU do plano de dados do Cloud Data Fusion não é compatível com a especificação de níveis de acesso usando o acesso baseado em identidade.

Como restringir as plataformas da API Cloud Data Fusion

Como restringir a plataforma do plano de controle

Consulte Como configurar a conectividade privada para APIs e serviços do Google para restringir a conectividade à plataforma do plano de controle da API datafusion.googleapis.com.

Como restringir a plataforma do plano de dados

Para configurar a conectividade privada com o plano de dados da API, configure o DNS concluindo as etapas a seguir para os domínios *.datafusion.googleusercontent.com e *.datafusion.cloud.google.com.

  1. Crie uma nova zona particular usando o Cloud DNS:

    1. Tipo de zona: marque particular
    2. Nome da zona: datafusiongoogleusercontentcom
    3. Nome DNS: datafusion.googleusercontent.com

    4. Rede: selecione a rede IP privada que você escolheu ao criar sua instância do Cloud Data Fusion.

      Como preencher os campos de zona.

  2. Na página Cloud DNS, clique no nome da zona DNS datafusiongoogleusercontent para abrir a página Detalhes da zona. Dois registros são listados: um NS e um registro SOA. Use Adicionar padrão para adicionar os dois conjuntos de registros a seguir à sua zona DNS datafusiongoogleusercontent.

    1. Adicionar um registro CNAME: na caixa de diálogo Criar conjunto de registros, preencha os seguintes campos para mapear o nome DNS *.datafusion.googleusercontent.com. para o nome canônico datafusion.googleusercontent.com:

      • Nome DNS: "*.datafusion.googleusercontent.com"

      • Nome canônico: "datafusion.googleusercontent.com"

        Como preencher os campos de zona.

    2. Adicionar um registro A: em uma nova caixa de diálogo Criar conjunto de registros, preencha os seguintes campos para mapear o nome do DNS datafusion.googleusercontent.com. para endereços IP 199.36.153.4 - 199.36.153.7:

      • Nome DNS: ".datafusion.googleusercontent.com"

      • Endereço IPv4:

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        Como preencher os campos de zona.

      A página datafusiongoogleusercontent Detalhes da zona mostra os seguintes conjuntos de registros:

      Como preencher os campos de zona.

  3. Siga as etapas acima para criar uma zona DNS particular e adicionar um conjunto de registros para o domínio *.datafusion.cloud.google.com.

A seguir