Configurar o VPC Service Controls

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Com o VPC Service Controls, as organizações podem definir um perímetro em torno dos recursos do Google Cloud para reduzir os riscos de exfiltração de dados.

Os ambientes do Cloud Composer podem ser implantados dentro de um perímetro de serviço. Ao configurar seu ambiente com o VPC Service Controls, é possível manter os dados confidenciais em sigilo enquanto aproveita os recursos de orquestração de fluxo de trabalho totalmente gerenciados do Cloud Composer.

A compatibilidade do VPC Service Controls com o Cloud Composer significa que:

• O Cloud Composer agora pode ser selecionado como um serviço seguro dentro de um perímetro do VPC Service Controls.
• Todos os recursos subjacentes usados pelo Cloud Composer estão configurados para serem compatíveis com a arquitetura do VPC Service Controls e seguem as regras dela.

A implantação dos ambientes do Cloud Composer com o VPC Service Controls oferece:

• Risco reduzido de exfiltração de dados.
• Proteção contra exposição de dados devido a controles de acesso configurados incorretamente.
• Risco reduzido de usuários mal-intencionados copiando dados para recursos não autorizados doGoogle Cloud ou invasores externos acessando recursos doGoogle Cloud pela Internet.

Sobre o VPC Service Controls no Cloud Composer

• Todas as restrições de rede do VPC Service Controls também se aplicam aos ambientes do Cloud Composer. Para mais detalhes, consulte a documentação do VPC Service Controls.

• Se um ambiente do Cloud Composer for protegido por um perímetro, o acesso a repositórios PyPI públicos será restrito. Consulte Instalar pacotes PyPI no VPC Service Controls para mais informações.

• Se o ambiente usar rede IP privada, todo o tráfego interno será roteado para sua rede VPC, exceto o tráfego para APIs, serviços e domínios do Google que estão disponíveis para ambientes de IP privado pelo Acesso privado do Google.

• Dependendo da configuração da rede VPC, um ambiente de IP privado pode acessar a Internet pela rede VPC.

• O Cloud Composer não é compatível com o uso de identidades de terceiros em regras de entrada e saída para permitir operações da interface do Apache Airflow. No entanto, é possível usar o tipo de identidade ANY_IDENTITY em regras de entrada e saída para permitir o acesso a todas as identidades, incluindo as de terceiros. Para mais informações sobre o tipo de identidade ANY_IDENTITY, consulte Regras de entrada e saída.

• No modo do VPC Service Controls, o acesso ao servidor da Web é protegido pelo perímetro, e o acesso de fora dele é bloqueado. Para permitir o acesso de fora do perímetro de serviço, configure níveis de acesso ou regras de entrada e saída conforme necessário. Além disso, é possível restringir o acesso ao servidor da Web a intervalos de IP específicos.

Sobre a conectividade com APIs e serviços do Google no VPC Service Controls

O Cloud Composer 3 encaminha o tráfego para os serviços do Google por meio de restricted.googleapis.com, o que permite o acesso a APIs, serviços e domínios do Google compatíveis com esse intervalo.

Atenção: se o ambiente estiver conectado a uma rede VPC, todo o tráfego interno que não for roteado para restricted.googleapis.com será roteado para a rede VPC. Dependendo de como você configura sua rede VPC, o ambiente pode acessar a Internet pela rede VPC.

Para mais informações e a lista de serviços e domínios disponíveis pelo restricted.googleapis.com, consulte Configuração de rede na documentação da nuvem privada virtual.

O Cloud Composer 3 bloqueia chamadas para APIs, serviços e domínios do Google que não estão na lista de APIs e serviços necessários. Se você quiser chamar uma API de um DAG, faça o seguinte:

• Adicionar o serviço aos serviços restritos
• Adicionar o serviço aos serviços acessíveis por VPC

Por exemplo, se você usar um operador do Vertex AI, adicione aiplatform.googleapis.com aos serviços restritos e aos serviços acessíveis por VPC.

Para mais informações, consulte Gerenciar perímetros de serviço na documentação do VPC Service Controls.

Criar ambientes em um perímetro

As etapas a seguir são necessárias para implantar o Cloud Composer em um perímetro:

1. Ative a API Access Context Manager e a API do Cloud Composer no projeto. Consulte Como ativar APIs para referência.

2. Siga as instruções de configuração de perímetro na documentação do VPC Service Controls para criar um perímetro. Verifique se a lista de serviços restritos inclui todos os serviços usados pelo Cloud Composer, além de outros serviços que você quer restringir:

   • API Cloud Composer (composer.googleapis.com)
   • API Artifact Registry (artifactregistry.googleapis.com)
   • API Compute Engine (compute.googleapis.com)
   • API Kubernetes Engine (container.googleapis.com)
   • API Container File System (containerfilesystem.googleapis.com)
   • API Cloud DNS (dns.googleapis.com)
   • API Service Account Credentials (iamcredentials.googleapis.com)
   • API Cloud Logging (logging.googleapis.com)
   • API Cloud Monitoring (monitoring.googleapis.com)
   • API Cloud Pub/Sub (pubsub.googleapis.com)
   • API Cloud SQL Admin (sqladmin.googleapis.com)

   • API Cloud Storage (storage.googleapis.com)

   • Para todos os outros serviços usados pelos seus DAGs:

     1. Adicione o serviço aos serviços restritos.
     2. Adicione o serviço aos serviços acessíveis por VPC.

3. Crie um ambiente do Cloud Composer:

   1. Use a Google Cloud CLI para criar seu ambiente.
   2. Ative o IP privado com o argumento --enable-private-environment.
   3. Especifique os parâmetros de acesso para o servidor da Web com argumentos --web-server-allow-all, --web-server-allow-ip ou --web-server-deny-all. Para mais informações sobre o uso desses argumentos, consulte Criar ambientes. Para melhorar a proteção, permita o acesso ao servidor da Web somente de intervalos de IP específicos.

   4. Não permita a instalação de pacotes de repositórios públicos da Internet com o argumento --enable-private-builds-only.

      Exemplo:

      gcloud composer environments create example-environment \
        --location us-central1 \
        --enable-private-environment \
        --web-server-allow-all \
        --enable-private-builds-only
      

4. Por padrão, o acesso à interface e à API do Airflow só é permitido de dentro do perímetro de segurança. Se quiser disponibilizar fora do perímetro de segurança, configure níveis de acesso ou regras de entrada e saída.

Adicionar um ambiente ao perímetro

É possível adicionar o projeto que contém seu ambiente a um perímetro se os ambientes usarem IP privado e a instalação de pacotes PyPI de repositórios públicos estiver desativada.

Para atualizar um ambiente do Cloud Composer 3 com essa configuração:

1. Verifique se você já criou ou configurou o perímetro conforme descrito na seção anterior.
2. Use a Google Cloud CLI para atualizar seu ambiente.
3. Ative o IP privado com o argumento --enable-private-environment.
4. Não permita a instalação de pacotes de repositórios públicos da Internet com o argumento --enable-private-builds-only.
5. Se necessário, configure o acesso ao servidor da Web do Airflow. Para aumentar a proteção, permita o acesso ao servidor da Web somente de intervalos de IP específicos.

Exemplo:

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment \
  --enable-private-builds-only

Instalar pacotes do PyPI no VPC Service Controls

Na configuração padrão do VPC Service Controls, o Cloud Composer é compatível apenas com a instalação de pacotes PyPI de repositórios particulares acessíveis do espaço de endereço IP interno da rede VPC.

Por padrão, todos os ambientes do Cloud Composer em um perímetro do VPC Service Controls não têm acesso a repositórios PyPI públicos.

Instalar de um repositório particular

A configuração recomendada é definir um repositório PyPI particular:

1. Preencha-o com pacotes verificados usados pela organização e configure o Cloud Composer para instalar dependências do Python a partir de um repositório particular.

Instalar de um repositório público

Atenção: ao usar essa configuração, entenda os riscos de usar repositórios externos. Certifique-se de confiar no conteúdo e na integridade de qualquer repositório externo, já que essas conexões podem ser usadas como um vetor de exfiltração.

Para instalar pacotes PyPI de um repositório externo:

1. Crie um repositório remoto do Artifact Registry.
2. Conceda a este repositório acesso a fontes upstream.
3. Configure o Airflow para instalar pacotes de um repositório do Artifact Registry.

Registros do VPC Service Controls

Ao solucionar problemas de criação de ambiente, é possível analisar os registros de auditoria gerados pelo VPC Service Controls.

Além de outras mensagens de registro, você pode verificar os registros para informações sobre [e-mail] e [e-mail] contas de serviço que configuram componentes dos seus ambientes.

O serviço do Cloud Composer usa a conta de serviço [e-mail] para gerenciar os componentes do projeto do locatário dos seus ambientes.

A conta de serviço [e-mail], também conhecida como conta de serviço do agente de serviço do Composer, gerencia componentes de ambiente em projetos de serviço e host.

A seguir

• Criar ambientes
• Instalar pacotes PyPI