Configurar a criptografia com chaves gerenciadas pelo cliente

Cloud Composer 1 | Cloud Composer 2

Nesta página, descrevemos como usar as chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês) para proteger os ambientes do Cloud Composer. As chaves de criptografia gerenciadas pelo cliente são usadas para criptografar/descriptografar dados do usuário no ambiente.

Antes de começar

• Só é possível configurar a CMEK quando você cria um ambiente. Não é possível ativar a CMEK em um ambiente atual.

• O Cloud Composer oferece suporte à criptografia CMEK usando chaves armazenadas em gerenciadores de chaves externos.

• Crie uma chave CMEK na mesma região em que seus ambientes estão localizados. Não é possível usar chaves globais ou multirregionais.

• Se você quiser que o ambiente seja executado dentro de um perímetro de VPC Service Controls, adicione a API Cloud Key Management Service e a API Artifact Registry ao perímetro.

• Ative a API Artifact Registry.

  Console

  Ative a API Artifact Registry.

  Ative a API

  gcloud

  Ative a API Artifact Registry:

  gcloud services enable artifactregistry.googleapis.com

Informações do usuário não protegidas com a criptografia da CMEK

O Cloud Monitoring não oferece suporte à criptografia CMEK. O nome do seu ambiente e os nomes dos DAGs são armazenados no banco de dados do Monitoring de forma criptografada usando chaves de criptografia gerenciadas pelo Google.

O Cloud Composer armazena as seguintes informações protegidas com chaves gerenciadas pelo Google, e não pelo cliente:

• Nome do ambiente
• Substituições da configuração do Airflow
• Variáveis de ambiente
• Descrições dos intervalos de IP permitidos
• Intervalos de IP
• Rótulos
• Os nomes de alguns parâmetros armazenados pelo Cloud Composer podem incluir uma substring do nome do ambiente.

Aviso: se você usar um bucket de ambiente personalizado, o Cloud Composer não alterará as configurações de criptografia do bucket especificado e, portanto, não o criptografa com uma chave CMEK, mesmo que as políticas do projeto exijam criptografia. Especificamente, a criptografia do bucket personalizado não é alterada se o ambiente usa criptografia CMEK. O bucket personalizado segue as políticas do projeto a que ele pertence. É possível criptografar manualmente o bucket do ambiente com chaves CMEK antes de criar um ambiente.

Usar uma chave de criptografia gerenciada pelo cliente no seu ambiente

Aviso :se você criar um ambiente com uma chave de criptografia gerenciada pelo cliente e depois desativar ou excluir a chave, o ambiente vai ficar inutilizável. Não será possível recuperar um ambiente se a chave de criptografia dele for excluída ou desativada.

Etapa 1: Criar uma chave de criptografia gerenciada pelo cliente

Siga as etapas descritas em Como criar chaves de criptografia simétrica para criar uma chave na região em que o ambiente está localizado.

Etapa 2: Conceder papéis a agentes de serviço

Importante: se seu projeto tiver uma política de compartilhamento restrito de domínio que exclua endereços do domínio google.com. Desative (ou expanda) essa política para conceder os papéis necessários aos agentes de serviço. Depois de conceder os papéis, é possível reverter as alterações na política. Essa política não afeta a criação de ambientes.

Console

Ignore esta etapa. Você concede permissões a agentes de serviço ao especificar uma chave para o ambiente.

gcloud

Os agentes de serviço a seguir precisam ter o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS na chave que você usa para seu ambiente.

Substitua PROJECT_NUMBER pelo número do projeto.

Nome do agente de serviço	E-mail da conta de serviço	Nome do serviço da API
Agente de serviços do Cloud Composer	serviç[e-mail]	composer.googleapis.com
Agente de serviço do Artifact Registry	[e-mail]	artifactregistry.googleapis.com
Agente de serviços do Kubernetes Engine	[e-mail]	container.googleapis.com
Agente de serviço do Pub/Sub	[e-mail]	pubsub.googleapis.com
Agente de serviço do Compute Engine	[e-mail]	compute.googleapis.com
Agente de serviço do Cloud Storage	[e-mail]	Conceder permissões de criptografia/descriptografia com gsutil kms authorize

1. (Se necessário) Se algumas dessas contas de serviço não estiverem presentes no projeto, isso significa que uma identidade para o serviço ainda não foi criada. Isso pode acontecer, por exemplo, se você ainda não tiver criado nenhum ambiente do Cloud Composer no seu projeto.

   Para adicionar essas contas de serviço, crie identidades para os serviços listados com o seguinte comando:

   gcloud beta services identity create \
     --service=API_SERVICE_NAME
   

   Substitua API_SERVICE_NAME pelo nome do serviço da API de um serviço que não tenha uma conta de serviço no projeto.

   Exemplo:

   gcloud beta services identity create \
     --service=composer.googleapis.com
   

2. Conceda permissões aos agentes de serviço:

   1. Conceda o papel ao Agente de serviço do Cloud Composer:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   2. Conceda o papel ao agente de serviço do Artifact Registry:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   3. Conceda o papel ao Agente de serviço do GKE:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   4. Conceda o papel ao Agente de serviço do Pub/Sub:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   5. Conceda o papel ao Agente de serviço do Compute Engine:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   6. Conceda permissões de criptografia/descriptografia ao Agente de serviço do Cloud Storage. Pule esta etapa se você usa um bucket do ambiente personalizado.

      gsutil kms authorize -k \
        projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
      

   Substitua:

   • PROJECT_ID pelo ID do projeto.
   • KEY_PROJECT_ID pelo ID do projeto que armazena sua chave gerenciada pelo cliente. Se você usar uma chave de outro projeto, esse valor será diferente do ID do seu projeto. Se você usar uma chave do mesmo projeto, esse valor será o ID do seu projeto.
   • PROJECT_NUMBER pelo número do projeto.
   • KEY_LOCATION pelo local da chave gerenciado pelo cliente. Esse local precisa ser o mesmo do seu ambiente.
   • KEY_NAME pelo nome da chave gerenciada pelo cliente.
   • KEY_RING_NAME pelo keyring que armazena sua chave gerenciada pelo cliente.

   Para receber esses valores, execute os comandos gcloud projects describe, gcloud kms keyrings list e gcloud kms keys describe.

Etapa 3. Criar um ambiente com a CMEK

Depois de criar uma chave de criptografia gerenciada pelo cliente, use-a para criar ambientes do Cloud Composer.

Console

Ao criar um ambiente:

1. Na seção Criptografia de dados, selecione Chave de criptografia gerenciada pelo cliente (CMEK).

2. Na lista suspensa Selecionar uma chave gerenciada pelo cliente, escolha sua chave.

3. Se for necessário fazer mais configurações, uma mensagem vai aparecer. Nesse caso:

   1. Clique em Abrir assistente.

   2. Na caixa de diálogo Preparar a chave CMEK para uso no Cloud Composer, confira a lista de agentes de serviço que precisam ter o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS na chave.

   3. Para conceder os papéis e as permissões necessários, clique em Conceder.

   Importante: se o projeto tiver uma política de compartilhamento restrito de domínio que exclua endereços do domínio google.com. Desative (ou expanda) essa política para conceder os papéis necessários aos agentes de serviço. Depois de conceder os papéis, é possível reverter as alterações na política. Essa política não afeta a criação de ambientes.

gcloud

O argumento --kms-key especifica uma chave de criptografia gerenciada pelo cliente para seu ambiente.

Para mais informações sobre como criar ambientes, consulte Criar ambientes. Por exemplo, talvez você queira especificar outros parâmetros para seu ambiente.

gcloud composer environments create ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version IMAGE_VERSION \
  --kms-key projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Substitua:

• ENVIRONMENT_NAME pelo nome do ambiente;
• IMAGE_VERSION pelo nome da imagem do Cloud Composer.
• KEY_PROJECT_ID pelo ID do projeto em que a chave está localizada. Se você usar uma chave de outro projeto, esse valor será diferente do ID do seu projeto. Se você usar uma chave do mesmo projeto, esse valor será o ID do seu projeto.
• LOCATION pela região em que o ambiente está localizado;
• KEY_LOCATION pelo local da chave gerenciada pelo cliente. Esse local precisa ser o mesmo do seu ambiente.
• KEY_NAME pelo nome da chave gerenciada pelo cliente.
• KEY_RING_NAME pelo keyring que armazena sua chave gerenciada pelo cliente.

Exemplo:

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-2.8.0-airflow-2.7.3 \
  --kms-key projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key

Conferir a configuração de criptografia do ambiente

É possível conferir a configuração de criptografia de um ambiente atual:

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. Os detalhes sobre a criptografia estão listados no item Chave de criptografia de dados.

gcloud

Execute o seguinte comando gcloud para conferir a configuração de criptografia

gcloud composer environments describe \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.encryptionConfig)"

Substitua:

• ENVIRONMENT_NAME pelo nome do ambiente
• LOCATION pela região em que o ambiente está localizado;

Exemplo:

gcloud composer environments describe \
  example-environment \
  --location us-central1 \
  --format="value(config.encryptionConfig)"

Usar CMEK nos registros do Cloud Composer

O Cloud Logging oferece suporte à criptografia do armazenamento de registros com chaves CMEK. Recomendamos usar o procedimento CMEK padrão para criptografar registros com chaves CMEK.

Para criptografar registros com chaves CMEK, siga as instruções descritas em Gerenciar as chaves que protegem os dados de armazenamento do Logging.

Descontinuado: as instruções a seguir sobre o redirecionamento de registros do Cloud Composer para um bucket do Cloud Storage criptografado por CMEK estão obsoletas. Se você usar essa abordagem no projeto, considere mudar para a criptografia do armazenamento de registros com chaves CMEK.

Redirecionar os registros do Cloud Composer para um bucket do Cloud Storage criptografado por CMEKs

Se você espera que os registros contenham dados confidenciais, use o Roteador de registros para redirecionar os registros do Cloud Composer para um bucket do Cloud Storage criptografado por CMEKs. Isso impede que os registros sejam enviados ao Monitoring.

Se você precisar de suporte do Cloud Customer Care, talvez seja necessário conceder aos engenheiros de suporte do Google acesso aos registros do Cloud Composer armazenados no Cloud Storage.

Observação: os registros de auditoria não podem ser excluídos. Eles são sempre enviados para o armazenamento padrão.

gcloud

1. Criar um novo bucket do Cloud Storage para armazenar os registros.

   gsutil mb -l LOCATION gs://BUCKET_NAME
   

   Substitua:

   • LOCATION pela região em que o ambiente está localizado;
   • BUCKET_NAME pelo nome do bucket.

   Exemplo:

   gsutil mb -l us-central1 gs://composer-logs-us-central1-example-environment
   

2. Criptografe o bucket com sua chave CMEK.

   gsutil kms encryption \
     -k projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME \
     gs://BUCKET_NAME
   

   Substitua:

   • KEY_PROJECT_ID pelo ID do projeto em que a chave está localizada. Se você usar uma chave de outro projeto, esse valor será diferente do ID do seu projeto. Se você usar uma chave do mesmo projeto, esse valor será o ID do seu projeto.
   • KEY_LOCATION pelo local da chave gerenciada pelo cliente. Esse local precisa ser o mesmo do seu ambiente.
   • KEY_RING_NAME pelo keyring que armazena sua chave gerenciada pelo cliente.
   • KEY_NAME pelo nome da chave gerenciada pelo cliente.
   • BUCKET_NAME pelo nome do bucket.

   Exemplo:

   gsutil kms encryption \
     -k projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key \
     gs://composer-logs-us-central1-example-environment
   

3. Crie um novo coletor de registros.

   gcloud logging sinks create \
   composer-log-sink-ENVIRONMENT_NAME \
   storage.googleapis.com/BUCKET_NAME \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Substitua:

   • ENVIRONMENT_NAME pelo nome do ambiente
   • LOCATION pela região em que o ambiente está localizado;
   • BUCKET_NAME pelo nome do bucket.

   Exemplo:

   gcloud logging sinks create \
   composer-log-sink-example-environment \
   storage.googleapis.com/composer-logs-us-central1-example-environment \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

4. Conceda o papel Criador de objetos do Storage à conta de serviço para esse bucket. A conta de serviço é mostrada no resultado do comando anterior).

   gcloud projects add-iam-policy-binding \
     PROJECT_ID \
     --member="serviceAccount:LOGGING_SERVICE_AGENT" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

   Substitua:

   • PROJECT_ID pelo ID do projeto;
   • LOGGING_SERVICE_AGENT pela conta do agente de serviço do Logging para o bucket. O nome dessa conta é obtido na etapa anterior.

   Exemplo:

   gcloud projects add-iam-policy-binding \
     example-project \
     --member="serviceAccount:[e-mail]" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

5. Exclua os registros do novo ambiente do Monitoring.

   gcloud beta logging sinks update _Default \
     --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Substitua:

   • ENVIRONMENT_NAME pelo nome do ambiente
   • LOCATION pela região em que o ambiente está localizado;

   Exemplo:

   gcloud beta logging sinks update _Default \
     --add-exclusion name=example-environment-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

6. Adicionar criptografia CMEK no nível da organização ao roteador de registros

   gcloud logging cmek-settings describe \
     --organization=ORGANIZATION_ID
   

   gcloud kms keys add-iam-policy-binding \
         --project=KEY_PROJECT_ID \
         --member LOGGING_SERVICE_AGENT \
         --role roles/cloudkms.cryptoKeyEncrypterDecrypter \
         --location=KEY_LOCATION \
         --keyring=KEY_RING_NAME \
         KEY_NAME
   

   gcloud logging cmek-settings update \
     --organization=ORGANIZATION_ID \
     --kms-project=KEY_PROJECT_ID \
     --kms-keyring=KEY_RING_NAME \
     --kms-location=KEY_LOCATION \
     --kms-key-name=KEY_NAME
   

   Substitua:

   • ORGANIZATION_ID pelo ID da organização.
   • KEY_PROJECT_ID pelo ID do projeto em que a chave está localizada. Se você usar uma chave de outro projeto, esse valor será diferente do ID do seu projeto. Se você usar uma chave do mesmo projeto, esse valor será o ID do seu projeto.
   • KEY_RING_NAME pelo keyring que armazena sua chave gerenciada pelo cliente.
   • KEY_LOCATION pelo local da chave gerenciada pelo cliente. Esse local precisa ser o mesmo do seu ambiente.
   • KEY_NAME pelo nome da chave gerenciada pelo cliente.

Rotação da chave CMEK para o Cloud Composer

Depois de configurar a criptografia no seu ambiente usando chaves CMEK, considere também alternar essas chaves regularmente, conforme descrito na documentação do KMS.

Quando você faz a rotação de uma chave CMEK, os dados criptografados com versões anteriores não são automaticamente recriptografados com a nova versão da chave. Saiba mais sobre como recriptografar dados. Especificamente, isso se aplica a:

• objetos armazenados no bucket do ambiente

• dados armazenados no banco de dados de metadados do Airflow

• imagens de contêiner armazenadas nos repositórios do Artifact Registry

e todos os outros objetos de dados criptografados com CMEK no ambiente do Cloud Composer.

A seguir

• Visão geral da segurança
• Criar ambientes