Esta página foi traduzida pela API Cloud Translation.
Switch to English

Como configurar o VPC Service Controls

O Virtual Private Cloud Service Controls (VPC Service Controls) permite que as organizações definam um perímetro em torno dos recursos do Google Cloud para reduzir os riscos de exfiltração de dados.

Os ambientes do Cloud Composer podem ser implantados dentro de um perímetro de serviço. Ao configurar seu ambiente com o VPC Service Controls, é possível manter os dados confidenciais em sigilo enquanto aproveita os recursos de orquestração de fluxo de trabalho totalmente gerenciados do Cloud Composer.

A compatibilidade do VPC Service Controls com o Cloud Composer significa que:

  • O Cloud Composer agora pode ser selecionado como um serviço seguro dentro de um perímetro do VPC Service Controls.
  • Todos os recursos subjacentes usados pelo Cloud Composer estão configurados para serem compatíveis com a arquitetura do VPC Service Controls e seguem as regras dela.

A implantação dos ambientes do Cloud Composer com o VPC Service Controls oferece:

  • Risco reduzido de exfiltração de dados.
  • Proteção contra exposição de dados devido a controles de acesso configurados incorretamente.
  • Risco reduzido de usuários mal-intencionados copiando dados para recursos não autorizados do Google Cloud ou invasores externos acessando recursos do Google Cloud pela Internet.

Como criar um perímetro de serviço

Consulte Como criar um perímetro de serviço para saber como criar e configurar perímetros de serviço. Selecione o Cloud Composer como um dos serviços protegidos dentro do perímetro.

Como criar ambientes em um perímetro

Há algumas etapas adicionais necessárias para implantar o Cloud Composer em um perímetro. Ao criar o ambiente do Cloud Composer:

  1. Ative a API Access Context Manager e a API do Cloud Composer no projeto. Consulte Como ativar APIs para referência.

  2. Adicione os seguintes serviços ao perímetro para ter a proteção máxima do seu ambiente: Cloud SQL, Pub/Sub, Monitoring, Cloud Storage, Kubernetes Engine, Container Registry, Artifact Registry e Compute Engine.

  3. Use a versão composer-1.10.4 ou posterior.

  4. Ative a serialização dos DAGs no banco de dados do Airflow. Para fazer isso, adicione a configuração [core] store_serialized_dags=True e [core] store_dag_code=True na seção core ao criar um ambiente. Para detalhes, consulte Serialização do DAG.

  5. Crie um novo ambiente do Cloud Composer com o IP privado ativado. Essa configuração precisa ser definida durante a criação do ambiente.

  6. Ao criar seu ambiente, lembre-se de configurar o acesso ao servidor da Web do Airflow. Para proteção máxima, permita o acesso ao servidor da Web somente a partir de intervalos de IP específicos. Para mais detalhes, consulte a etapa 5 em Como criar um novo ambiente.

Como configurar ambientes atuais com o VPC Service Controls

Para configurar o Cloud Composer para trabalhar em um perímetro, ative a serialização do DAG e crie o ambiente no modo IP privado. Se os ambientes executarem o Composer versão 1.0.4 ou superior, você poderá ativar a serialização do DAG após a criação do ambiente. Caso contrário, será necessário criar um novo ambiente para ativar o VPC Service Controls

Se essa condição for atendida, adicione o projeto que contém o ambiente ao perímetro, supondo que o perímetro tenha sido criado conforme descrito na seção acima.

Como instalar pacotes PyPI

Na configuração padrão do VPC Service Controls (mostrada acima), o Cloud Composer é compatível apenas com a instalação de pacotes PyPI de repositórios particulares acessíveis a partir do espaço de endereços IP privados da rede VPC. A configuração recomendada para esse processo é definir um repositório PyPI particular, preenchê-lo com pacotes verificados usados pela organização e depois Configurar o Cloud Composer para instalar dependências do Python a partir de um repositório privado.

Também é possível instalar pacotes PyPI a partir de repositórios fora do espaço IP particular. Siga estas etapas:

  1. Configure o Cloud NAT para permitir que o Composer em execução no espaço IP privado se conecte a repositórios PyPI externos.
  2. Configure as regras de firewall para permitir conexões de saída do cluster do Composer para o repositório.

Ao usar essa configuração, entenda os riscos de usar repositórios externos e se sinta confortável com eles. Certifique-se de confiar no conteúdo e na integridade de qualquer repositório externo, já que essas conexões podem ser usadas como um vetor de exportação.

Lista de verificação da configuração de rede

Sua rede VPC precisa ser configurada corretamente para criar ambientes do Cloud Composer dentro de um perímetro. Certifique-se de seguir os requisitos de configuração listados abaixo.

  • Navegue até a seção Rede VPC -> Firewall no Console do Cloud e verifique se as seguintes regras de firewall estão configuradas:

    • Permitir a saída do intervalo de IP do nó do GKE para qualquer lugar, porta 53
    • Permitir a saída do intervalo de IP do nó do GKE para o intervalo de IP do nó do GKE, todas as portas
    • Permitir a saída do intervalo de IP do nó do GKE para o intervalo de IP do mestre do GKE, todas as portas
    • Permitir a saída do intervalo de IP do nó do GKE para 199.36.153.4/30, porta 443 (restricted.googleapis.com)
    • Permitir a entrada de verificações de integridade do GCP 130.211.0.0/22,35.191.0.0/16 para o intervalo de IP do nó. Portas TCP 80 e 443
    • Permitir a saída do intervalo de IP do nó para as verificações de integridade do GCP. Portas TCP 80 e 443.

    Consulte Como usar regras de firewall para aprender a verificar, adicionar e atualizar regras para sua rede VPC.

  • Configure a conectividade com o endpoint restricted.googleapis.com.

    • Verifique a existência de um mapeamento DNS de *.googleapis.com para restricted.googleapis.com
    • O DNS *.gcr.io deve resolver com 199.36.153.4/30 de forma semelhante ao endpoint googleapis.com. Para fazer isso, crie uma nova zona como: CNAME *.gcr.io -> gcr.io. A gcr.io. -> 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

    Para saber mais, consulte Como configurar a conectividade privada para APIs e serviços do Google.

Limitações

  • Todas as restrições de rede do VPC Service Controls também se aplicam aos ambientes do Cloud Composer. Para mais detalhes, consulte a documentação do VPC Service Controls.

  • A exibição de um modelo renderizado com funções na IU da Web com a serialização do DAG ativada é compatível com ambientes que executam o Composer versão 1.12.0 ou posterior e o Airflow versão 1.10.9 ou mais recente.

  • A definição da sinalização async_dagbag_loader como True não é compatível enquanto a serialização do DAG está ativada.

  • A ativação da serialização do DAG desativa todos os plug-ins do servidor da Web do Airflow porque eles podem arriscar a segurança da rede VPC em que o Cloud Composer está implantado. Isso não afeta o comportamento dos plug-ins do programador ou worker, incluindo operadores do Airflow, sensores etc.

  • Quando o Cloud Composer está sendo executado em um perímetro, o acesso a repositórios PyPI públicos é restrito. Consulte Como instalar dependências do Python para aprender a instalar módulos do PyPi no modo de IP privado.