Mudar o tipo de rede do ambiente (IP particular ou público)

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, explicamos a diferença entre os tipos de rede de ambientes de IP privado e público no Cloud Composer 3 e fornecemos instruções para mudar o tipo de rede do seu ambiente.

Se você quiser desativar ou ativar o acesso à Internet apenas ao instalar pacotes PyPI, consulte Configurar o acesso à Internet ao instalar pacotes PyPI.

Se você quiser ativar o acesso à rede VPC do seu ambiente, consulte Conectar um ambiente a uma rede VPC.

Sobre os tipos de rede de ambiente

O Cloud Composer 3 usa dois tipos de rede de ambiente:

  • Rede de IP público:

    • Os componentes do Airflow no ambiente podem acessar a Internet. Esse é o tipo de rede padrão.

    • Os componentes do Airflow em ambientes de IP público estabelecem conexões de saída de endereços IP públicos e portas alocados automaticamente. Se você quiser que seus ambientes de IP público usem endereços IP e portas predeterminados, conecte uma rede VPC ao ambiente e mude para IP particular. Nesse caso, o Cloud Composer encaminha todo o tráfego, exceto o tráfego para serviços do Google, por essa rede.

  • Rede de IP particular:

    • Os componentes do Airflow no ambiente não têm acesso à Internet.

    • Os ambientes de IP particular configuram o Acesso privado do Google pelo intervalo private.googleapis.com, que permite o acesso a APIs, serviços e domínios do Google compatíveis com esse intervalo.

      Para mais informações e a lista de serviços e domínios disponíveis pelo private.googleapis.com, consulte Configuração de rede na documentação da nuvem privada virtual.

    • Ambientes de IP particular com o VPC Service Controls configuram o Acesso privado do Google pelo intervalo restricted.googleapis.com, que permite o acesso a APIs, serviços e domínios do Google compatíveis com esse intervalo.

      Para mais informações e a lista de serviços e domínios disponíveis pelo restricted.googleapis.com, consulte Configuração de rede na documentação da nuvem privada virtual.

Além dos dois tipos de rede, é possível ativar ou desativar o acesso a uma rede VPC personalizada para qualquer tipo de ambiente. Dependendo da configuração da rede VPC, um ambiente de IP privado pode acessar a Internet por ela.

Rede do Cloud Composer 2 em comparação com o Cloud Composer 3

No Cloud Composer 3, os ambientes de IP particular não exigem configuração.

Os seguintes recursos de rede do Cloud Composer 2 não são mais relevantes no Cloud Composer 3:

Mudar o tipo de rede do ambiente

Console

  1. No console Google Cloud , acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. Na seção Configuração de rede, encontre o item Tipo de rede e clique em Editar.

  5. Na caixa de diálogo Tipo de rede, selecione:

    • Ambiente de IP público (padrão) para rede de IP público.
    • Ambiente de IP particular para rede de IP particular.

  6. Clique em Salvar.

gcloud

Os seguintes argumentos da Google Cloud CLI mudam o tipo de rede do ambiente:

  • --enable-private-environment: mudanças na rede de IP particular.
  • --disable-private-environment: mudanças na rede de IP público (padrão).

Mude para rede IP privada:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --enable-private-environment

Mude para a rede IP pública:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-private-environment

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente.
  • LOCATION: a região em que o ambiente está localizado.

Exemplo (IP particular):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment

Exemplo (IP público):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-private-environment

API

  1. Crie uma solicitação de API environments.patch.

  2. Nesta solicitação:

    1. No parâmetro updateMask, especifique a máscara config.private_environment_config.enable_private_environment.

    2. No corpo da solicitação, no campo enablePrivateEnvironment:

      • Especifique true para mudar para a rede de IP privado.
      • Especifique false para mudar para a rede de IP público (padrão).

Exemplo (IP particular):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.private_environment_config.enable_private_environment

"config": {
  "privateEnvironmentConfig": {
    "enablePrivateEnvironment": true
  }
}

Terraform

O campo enable_private_environment no bloco config especifica o tipo de rede do ambiente:

  • true: rede de IP particular.
  • false ou omitido: rede de IP público (padrão).
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    enable_private_environment = PRIVATE_IP_STATUS

  }
}

Substitua:

  • ENVIRONMENT_NAME: o nome do ambiente;
  • LOCATION: a região em que o ambiente está localizado.
  • PRIVATE_IP_STATUS: true para IP privado, false para IP público

Exemplo (IP particular):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    enable_private_environment = true

    ... other configuration parameters
  }
}

Configurar variáveis de servidor proxy

É possível definir variáveis de ambiente http_proxy e https_proxy no seu ambiente. Essas variáveis padrão do Linux são usadas por clientes da Web que são executados em contêineres do cluster do seu ambiente para encaminhar o tráfego pelos proxies especificados.

Por padrão, a variável NO_PROXY é definida como uma lista de domínios do Google e localhost para que sejam excluídos do proxy: .google.com,.googleapis.com,metadata.google.internal,localhost. Essa configuração permite criar um ambiente com variáveis de ambiente http_proxy e https_proxy definidas em casos em que o proxy não está configurado para processar o tráfego para os serviços do Google.

A seguir