Cloud Composer 1 | Cloud Composer 2
O VPC Service Controls permite que as organizações definam um perímetro em torno dos recursos do Google Cloud para reduzir os riscos de exfiltração de dados.
Os ambientes do Cloud Composer podem ser implantados dentro de um perímetro de serviço. Ao configurar seu ambiente com o VPC Service Controls, é possível manter os dados confidenciais em sigilo enquanto aproveita os recursos de orquestração de fluxo de trabalho totalmente gerenciados do Cloud Composer.
A compatibilidade do VPC Service Controls com o Cloud Composer significa que:
- O Cloud Composer agora pode ser selecionado como um serviço seguro dentro de um perímetro do VPC Service Controls.
- Todos os recursos subjacentes usados pelo Cloud Composer estão configurados para serem compatíveis com a arquitetura do VPC Service Controls e seguem as regras dela.
A implantação dos ambientes do Cloud Composer com o VPC Service Controls oferece:
- Risco reduzido de exfiltração de dados.
- Proteção contra exposição de dados devido a controles de acesso configurados incorretamente.
- Risco reduzido de usuários mal-intencionados copiando dados para recursos não autorizados do Google Cloud ou invasores externos acessando recursos do Google Cloud pela Internet.
Servidor da Web do Airflow no modo VPC Service Controls
No modo VPC Service Controls, o acesso ao servidor da Web é protegido pelo perímetro e o acesso de fora dele é bloqueado.
Para permitir o acesso de fora do perímetro de serviço, configure o nível de acesso corretamente.
Como criar um perímetro de serviço
Consulte Como criar um perímetro de serviço para saber como criar e configurar perímetros de serviço. Selecione o Cloud Composer como um dos serviços protegidos dentro do perímetro.
Como criar ambientes em um perímetro
Há algumas etapas adicionais necessárias para implantar o Cloud Composer em um perímetro. Ao criar o ambiente do Cloud Composer:
Ative a API Access Context Manager e a API do Cloud Composer no projeto. Consulte Como ativar APIs para referência.
Verifique se o perímetro de serviço tem os seguintes serviços acessíveis pela VPC, caso contrário, pode ser que o ambiente não seja criado:
- API Cloud Composer (composer.googleapis.com)
- API Compute Engine (compute.googleapis.com)
- API Kubernetes Engine (container.googleapis.com)
- API Container Registry (containerregistry.googleapis.com)
- API Artifact Registry (artifactregistry.googleapis.com)
- API Cloud Storage (storage.googleapis.com)
- API Cloud SQL Admin (sqladmin.googleapis.com)
- API Cloud Build (cloudbuild.googleapis.com)
- API Cloud Logging (logging.googleapis.com)
- API Cloud Monitoring (monitoring.googleapis.com)
- API Cloud Pub/Sub (pubsub.googleapis.com)
- API Security Token Service (sts.googleapis.com)
- API Cloud Resource Manager (cloudresourcemanager.googleapis.com)
- API Service Directory (servicedirectory.googleapis.com)
- API Cloud Key Management Service (cloudkms.googleapis.com), se você estiver usando chaves do Cloud KMS ou CMEK
- API Secret Manager (secretmanager.googleapis.com), se você estiver usando o Secret Manager como um back-end de secret
Crie um novo ambiente do Cloud Composer com o IP particular ativado. Observe que esta configuração precisa ser definida durante a criação do ambiente.
Por padrão, o acesso à interface e à API do Airflow só é permitido de dentro do perímetro de segurança. Se você quiser disponibilizá-lo fora do perímetro de segurança, configure o nível de acesso adequadamente, conforme descrito em Permitir acesso a recursos protegidos de fora de um perímetro.
Como configurar ambientes atuais com o VPC Service Controls
É possível adicionar o projeto que contém seu ambiente ao perímetro se:
Você criou o perímetro conforme descrito na seção anterior.
Os ambientes são de IP particular.
Como instalar pacotes PyPI
Na configuração padrão do VPC Service Controls, o Cloud Composer é compatível apenas com a instalação de pacotes PyPI de repositórios particulares acessíveis do espaço de endereço IP particular da rede VPC. A configuração recomendada para esse processo é definir um repositório PyPI particular, preenchê-lo com pacotes verificados usados pela organização e depois configurar o Cloud Composer para instalar dependências do Python a partir de um repositório particular.
Também é possível instalar pacotes PyPI a partir de repositórios fora do espaço IP particular. Siga estas etapas:
- Configure o Cloud NAT para permitir que o Cloud Composer em execução no espaço de IP particular se conecte a repositórios PyPI externos.
- Configure as regras de firewall para permitir conexões de saída do cluster do Composer para o repositório.
Ao usar esta configuração, entenda os riscos de usar repositórios externos. Certifique-se de confiar no conteúdo e na integridade de qualquer repositório externo, já que essas conexões podem ser usadas como um vetor de exfiltração.
Configurar a conectividade com as APIs e os serviços do Google
Em uma configuração do VPC Service Controls, para controlar o tráfego de rede, defina o acesso às APIs e serviços do Google por meio do restricted.googleapis.com
. Esse domínio bloqueia o acesso a APIs e serviços do Google que não são compatíveis com o VPC Service Controls.
Os ambientes do Cloud Composer usam os seguintes domínios:
O app
*.googleapis.com
é usado para acessar outros Serviços do Google.*.composer.cloud.google.com
é usado para tornar acessível o servidor da Web do Airflow do ambiente. Aplique essa regra antes de criar um ambiente.- Como alternativa, você pode criar uma regra para uma região específica. Para fazer isso,
use
REGION.composer.cloud.google.com
. SubstituaREGION
pela região em que o ambiente está localizado, por exemplo,us-central1
.
- Como alternativa, você pode criar uma regra para uma região específica. Para fazer isso,
use
(Opcional)
*.composer.googleusercontent.com
é usado ao acessar o servidor da Web Airflow do seu ambiente. Essa regra é obrigatória somente se você acessar o servidor da Web do Airflow de uma instância executada na rede VPC. Caso contrário, ela não será necessária. Um cenário comum para essa regra é quando você quer chamar a API REST do Airflow de dentro da rede VPC.- Como alternativa, você pode criar uma regra para um ambiente específico. Para
fazer isso, use
ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com
. SubstituaENVIRONMENT_WEB_SERVER_NAME
pela parte exclusiva do URL da interface do Airflow do ambiente, por exemplo,bffe6ce6c4304c55acca0e57be23128c-dot-us-central1
.
- Como alternativa, você pode criar uma regra para um ambiente específico. Para
fazer isso, use
O
*.pkg.dev
é usado para receber imagens de ambiente, por exemplo, ao criar ou atualizar um ambiente.*.gcr.io
O GKE requer conectividade com o domínio do Container Registry, independentemente da versão do Cloud Composer.
Configure a conectividade com o endpoint restricted.googleapis.com
:
Domínio | Nome do DNS | Registro CNAME | Registro A |
---|---|---|---|
*.googleapis.com
|
googleapis.com. |
Nome do DNS: *.googleapis.com. Tipo de registro de recurso: CNAME Nome canônico: googleapis.com. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
*.composer.cloud.google.com
|
composer.cloud.google.com. |
Nome do DNS: *.composer.cloud.google.com. Tipo de registro de recurso: CNAME Nome canônico: composer.cloud.google.com. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
*.composer.googleusercontent.com
(opcional, consulte a descrição) |
composer.googleusercontent.com. |
Nome do DNS: *.composer.googleusercontent.com. Tipo de registro de recurso: CNAME Nome canônico: composer.googleusercontent.com. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
*.pkg.dev
|
pkg.dev. |
Nome do DNS: *.pkg.dev. Tipo de registro de recurso: CNAME Nome canônico: pkg.dev. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
*.gcr.io
|
gcr.io. |
Nome do DNS: *.gcr.io. Tipo de registro de recurso: CNAME Nome canônico: gcr.io. |
Tipo de registro de recurso: A Endereços IPv4: 199.36.153.4 , 199.36.153.5 , 199.36.153.6 , 199.36.153.7
|
Para criar uma regra de DNS:
Crie uma nova zona de DNS e use o nome do DNS como o nome DNS dessa zona.
Exemplo:
pkg.dev.
Adicione um conjunto de registros para o registro CNAME.
Exemplo:
- Nome DNS:
*.pkg.dev.
- Tipo de registro de recurso:
CNAME
- Nome canônico:
pkg.dev.
- Nome DNS:
Adicione um conjunto de registros com para A Record:
Exemplo:
- Tipo de registro de recurso:
A
- Endereços IPv4:
199.36.153.4
,199.36.153.5
,199.36.153.6
,199.36.153.7
- Tipo de registro de recurso:
Para mais informações, consulte Como configurar a conectividade particular com APIs e serviços do Google.
Configurar regras de firewall
Se o projeto tiver regras de firewall não padrão, como regras que substituem regras de firewall implícitas ou modificam regras pré-preenchidas na rede padrão, verifique se as regras de firewall a seguir estão configuradas.
Por exemplo, o Cloud Composer pode não criar um ambiente se você tiver uma regra de firewall que negue todo o tráfego de saída. Para evitar problemas,
defina regras allow
seletivas que sigam a lista e tenham prioridade mais alta
que a regra deny
global.
Configure a rede VPC para permitir o tráfego do ambiente:
- Consulte Como usar regras de firewall para aprender a verificar, adicionar e atualizar regras para sua rede VPC.
- Use a Ferramenta de conectividade para validar a conectividade entre intervalos de IP.
- É possível usar tags de rede para limitar ainda mais o acesso. Você pode definir essas tags ao criar um ambiente.
Descrição | Direção | Ação | Origem ou destino | Protocolos | Portas |
---|---|---|---|---|---|
DNS Configure conforme descrito no Suporte do VPC Service Controls para Cloud DNS |
- | - | - | - | - |
APIs e serviços do Google | Saída | Permitir | Endereços IPv4 de restricted.googleapis.com que você usa para APIs e serviços do Google. |
TCP | 443 |
Nós do cluster do ambiente | Saída | Permitir | Intervalo de endereços IP primários da sub-rede do ambiente | TCP, UDP | todas |
Pods de cluster do ambiente | Saída | Permitir | Intervalo de endereços IP secundário para pods na sub-rede do ambiente | TCP, UDP | todas |
Plano de controle do cluster do ambiente | Saída | Permitir | Intervalo de IP do plano de controle do GKE | TCP, UDP | todas |
(Se o ambiente usar o Private Service Connect) Sub-rede da conexão | Saída | Permitir | Intervalo de sub-rede de conexão do Cloud Composer | TCP | 3306 e 3307 |
Se o ambiente usar peerings de VPC Rede de locatário | Saída | Permitir | Intervalo de IP da rede de locatário do Cloud Composer | TCP | 3306 e 3307 |
Para conferir os intervalos de IP:
Os intervalos de endereços de pods, serviços e plano de controle estão disponíveis na página Clusters do cluster do ambiente:
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.
Acesse a guia Configuração do ambiente.
Siga o link ver detalhes do cluster.
É possível ver o intervalo de IP da rede de locatário do Cloud Composer na guia Configuração do ambiente.
É possível ver o ID da sub-rede do ambiente e o ID da sub-rede da conexão do Cloud Composer na guia Configuração do ambiente. Para obter os intervalos de IP de uma sub-rede, acesse a página Redes VPC e clique no nome da rede para ver os detalhes:
Registros do VPC Service Controls
Ao solucionar problemas de criação do ambiente, é possível analisar os registros de auditoria gerados pelo VPC Service Controls.
Além de outras mensagens de registro, é possível verificar os registros para encontrar informações sobre as contas de serviço
cloud-airflow-prod@system.gserviceaccount.com
e
service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com
que configuram componentes dos seus ambientes.
O serviço do Cloud Composer usa a conta de serviço cloud-airflow-prod@system.gserviceaccount.com
para gerenciar componentes do projeto de locatário dos seus ambientes.
A
conta de serviço
service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com
, também conhecida como Composer Service Agent Service Account
, gerencia
componentes de ambiente em
projetos de serviço e host.
Limitações
- Todas as restrições de rede do VPC Service Controls também se aplicam aos ambientes do Cloud Composer. Para mais detalhes, consulte a documentação do VPC Service Controls.
- Quando o Cloud Composer está sendo executado dentro de um perímetro, o acesso a repositórios PyPI públicos é restrito. Consulte Como instalar dependências do Python para aprender a instalar módulos do PyPI no modo de IP particular.