Configurar a criptografia com chaves gerenciadas pelo cliente

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nesta página, descrevemos como usar Chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês) para proteger ambientes do Cloud Composer. As chaves de criptografia gerenciadas pelo cliente para criptografar/descriptografar dados do usuário no ambiente.

Antes de começar

• Só é possível configurar a CMEK ao criar um ambiente. Não é ativar a CMEK para um ambiente atual.

• O Cloud Composer dá suporte à criptografia CMEK usando chaves armazenadas em gerenciadores de chaves externos.

• É preciso criar uma chave CMEK na mesma região onde seus ambientes estão localizados. Não é possível usar chaves multirregionais ou globais.

• Se você quiser que seu ambiente seja executado em um VPC Service Controls, é preciso adicionar a API Cloud Key Management Service e a API Artifact Registry ao perímetro.

• Ative a API Artifact Registry.

  Console

  Ative a API Artifact Registry.

  Ative a API

  gcloud

  Ative a API Artifact Registry:

  gcloud services enable artifactregistry.googleapis.com

Informações do usuário não protegidas com a criptografia CMEK

O Cloud Monitoring não oferece suporte à criptografia CMEK. O nome do seu e os nomes dos DAGs são armazenados no arquivo banco de dados criptografado usando chaves de propriedade e gerenciadas pelo Google.

O Cloud Composer armazena as seguintes informações protegidas com Chaves de propriedade e gerenciadas pelo Google, e não pelo cliente:

• Nome do ambiente
• Substituições da configuração do Airflow
• Variáveis de ambiente
• Descrições dos intervalos de IP permitidos
• Intervalos de IP
• Rótulos
• Os nomes de alguns parâmetros armazenados pelo Cloud Composer podem incluir uma substring do nome do ambiente.

.

Aviso: se você usar um bucket do ambiente personalizado, o Cloud Composer faz altera as configurações de criptografia do bloco especificado e, portanto, não criptografe-o com uma chave CMEK, mesmo que as políticas do projeto precisam de criptografia). Especificamente, a criptografia do bucket personalizado não é alterado caso seu ambiente use criptografia CMEK. Seu bucket personalizado segue e as políticas do projeto a que ele pertence. Você pode criptografe manualmente o bucket do ambiente com chaves CMEK antes você cria um ambiente.

Usar uma chave de criptografia gerenciada pelo cliente no seu ambiente

Aviso: se você criar um ambiente com uma chave de criptografia gerenciada pelo cliente e depois desativar ou excluir a chave, o ambiente se tornará inutilizável. Ela não é possível recuperar um ambiente quando a chave de criptografia é excluída. ou desativado.

Etapa 1. Criar uma chave de criptografia gerenciada pelo cliente

Siga as etapas descritas em Crie chaves de criptografia simétrica para gerar uma chave no a região onde o ambiente está.

Etapa 2. Conceder papéis a agentes de serviço

Importante: Se o projeto tiver um Compartilhamento restrito de domínios que exclui endereços do domínio google.com. Você precisa desativar (ou expanda) essa política para conceder os papéis necessários aos agentes de serviço. Depois de conceder os papéis, é possível reverter as alterações na política. Essa política não afetam a criação de ambientes.

Console

Pule esta etapa. Você concede permissões a agentes de serviço quando você especifique uma chave para seu ambiente.

gcloud

Os agentes de serviço a seguir precisam ter o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS na chave usar no seu ambiente.

Substitua PROJECT_NUMBER pelo seu número do projeto.

Nome do agente de serviço	E-mail da conta de serviço	Nome do serviço da API
Agente de serviços do Cloud Composer	[e-mail]	composer.googleapis.com
Agente de serviço do Artifact Registry	[e-mail]	artifactregistry.googleapis.com
Agente de serviço do Kubernetes Engine	[e-mail]	container.googleapis.com
Agente de serviço do Pub/Sub	[e-mail]	pubsub.googleapis.com
Agente de serviço do Compute Engine	[e-mail]	compute.googleapis.com
Agente de serviço do Cloud Storage	[e-mail]	Conceder permissões de criptografia/descriptografia com gsutil kms authorize

1. (Se necessário) Se algumas dessas contas de serviço não estiverem presentes no projeto, isso significa que uma identidade ainda não foi criada para esse serviço. Isso pode acontecer, por exemplo, se você ainda não criou ambientes do Cloud Composer no seu projeto.

   Para adicionar essas contas de serviço, crie identidades para os serviços listados pelo seguinte comando:

   gcloud beta services identity create \
     --service=API_SERVICE_NAME
   

   Substitua API_SERVICE_NAME pelo Nome do serviço da API de um serviço que não tenha uma conta de serviço no projeto.

   Exemplo:

   gcloud beta services identity create \
     --service=composer.googleapis.com
   

2. Conceda permissões aos agentes de serviço:

   1. Conceda o papel ao Agente de serviço do Cloud Composer:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   2. Conceda o papel ao Agente de serviço do Artifact Registry:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   3. Conceda o papel ao Agente de serviço do GKE:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   4. Conceda o papel ao agente de serviço do Pub/Sub:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   5. Conceda o papel ao Agente de serviço do Compute Engine:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   6. Conceder permissões de criptografia/descriptografia a Agente de serviço do Cloud Storage. Pule esta etapa se você usar um bucket de ambiente personalizado.

      gsutil kms authorize -k \
        projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
      

   Substitua:

   • PROJECT_ID com seus ID do projeto.
   • KEY_PROJECT_ID pelo ID do projeto que armazena seu chave gerenciada pelo cliente. Se você usa uma chave de outro projeto, esta é diferente do ID do projeto. Se você usar uma chave da mesmo projeto, esse valor será o ID do projeto.
   • PROJECT_NUMBER com seus número do projeto.
   • KEY_LOCATION pelo local da chave gerenciada pelo cliente. Este local precisa ser o mesmo do seu ambiente.
   • KEY_NAME pelo nome da chave gerenciada pelo cliente.
   • KEY_RING_NAME pelo keyring que armazena a chave gerenciada pelo cliente.

   Para ter esses valores, execute gcloud projects describe, gcloud kms keyrings list e gcloud kms keys describe.

Etapa 3. Criar um ambiente com a CMEK

Depois de criar uma chave de criptografia gerenciada pelo cliente, será possível usar para criar ambientes do Cloud Composer.

Console

Ao criar um ambiente:

1. Na seção Criptografia de dados, selecione Chave de criptografia gerenciada pelo cliente (CMEK).

2. Na lista suspensa Selecione uma chave gerenciada pelo cliente, escolha sua chave.

3. Se for necessária configuração adicional, uma mensagem informará você. Em neste caso:

   1. Clique em Abrir assistente.

   2. Em Preparar a chave CMEK para uso no Cloud Composer para conferir a lista de agentes de serviço que precisam ter o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS. na chave.

   3. Para conceder as permissões e os papéis necessários, clique em Conceder.

   .
   Importante: Se o projeto tiver um Compartilhamento restrito de domínios que exclui endereços do domínio google.com. Você precisa desativar (ou expanda) essa política para conceder os papéis necessários aos agentes de serviço. Depois de conceder os papéis, é possível reverter as alterações na política. Essa política não afetam a criação de ambientes.

gcloud

O argumento --kms-key especifica uma chave de criptografia gerenciada pelo cliente para sua de nuvem.

Para mais informações sobre como criar ambientes, consulte Criar ambientes. Por exemplo, talvez você queira especificar outros parâmetros para seu ambiente.

gcloud composer environments create ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version IMAGE_VERSION \
  --kms-key projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Substitua:

• ENVIRONMENT_NAME pelo nome do ambiente;
• IMAGE_VERSION pelo nome da imagem do Cloud Composer.
• KEY_PROJECT_ID pelo ID do projeto em que a chave está localizada. Se você usa uma chave de outro projeto, esse valor é diferente do ID do projeto. Se você usar uma chave do mesmo projeto, esse valor será sua ID do projeto.
• LOCATION pela região em que o ambiente está localizado;
• KEY_LOCATION pelo local da chave gerenciada pelo cliente. Isso O local precisa ser o mesmo do seu ambiente.
• KEY_NAME pelo nome da chave gerenciada pelo cliente.
• KEY_RING_NAME pelo keyring que armazena a chave gerenciada pelo cliente.

Exemplo:

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-2.8.5-airflow-2.7.3 \
  --kms-key projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key

Ver a configuração de criptografia do ambiente

É possível ver a configuração de criptografia de um ambiente atual:

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. Os detalhes sobre criptografia estão listados no item Chave de criptografia de dados.

gcloud

Execute o comando gcloud a seguir para visualizar a configuração de criptografia

gcloud composer environments describe \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.encryptionConfig)"

Substitua:

• ENVIRONMENT_NAME pelo nome do ambiente
• LOCATION pela região em que o ambiente está localizado;

Exemplo:

gcloud composer environments describe \
  example-environment \
  --location us-central1 \
  --format="value(config.encryptionConfig)"

Usar CMEK para registros do Cloud Composer

O Cloud Logging oferece suporte à criptografia do armazenamento de registros com chaves CMEK. Recomendamos para usar o procedimento padrão de CMEK para criptografar registros com chaves CMEK.

Para criptografar registros com chaves CMEK, siga as instruções descritas em Gerencie as chaves que protegem os dados de armazenamento do Logging.

Descontinuado: as seguintes instruções sobre redirecionamento Registros do Cloud Composer em um Cloud Storage criptografado por CMEK foram descontinuados. Se você usar essa abordagem em seu projeto, considere trocando para criptografar o armazenamento de registros com chaves CMEK.

Redirecionar os registros do Cloud Composer para um bucket do Cloud Storage criptografado por CMEK

Se você espera que seus registros contenham dados sensíveis, talvez seja útil redirecionar os registros do Cloud Composer para uma instância do bucket do Cloud Storage usando Roteador de registros. Isso evita que seu sejam enviados ao Monitoring.

Se você precisar de suporte do Cloud Customer Care, talvez seja necessário conceder dos engenheiros de suporte ao cliente acessar os registros do Cloud Composer armazenados em Cloud Storage.

Observação: os registros de auditoria não podem ser excluídos. Eles são sempre enviados para o armazenamento padrão.

gcloud

1. Crie um novo bucket do Cloud Storage para armazenar os registros.

   gsutil mb -l LOCATION gs://BUCKET_NAME
   

   Substitua:

   • LOCATION pela região em que o ambiente está localizado;
   • BUCKET_NAME pelo nome do bucket.

   Exemplo:

   gsutil mb -l us-central1 gs://composer-logs-us-central1-example-environment
   

2. Criptografe o bucket com a chave CMEK.

   gsutil kms encryption \
     -k projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME \
     gs://BUCKET_NAME
   

   Substitua:

   • KEY_PROJECT_ID pelo ID do projeto em que a chave está localizada. Se você usa uma chave de outro projeto, esse valor é diferente do ID do seu projeto. Se você usar uma chave do mesmo projeto, esse valor é o ID do seu projeto.
   • KEY_LOCATION pelo local da chave gerenciada pelo cliente. Isso O local precisa ser o mesmo do seu ambiente.
   • KEY_RING_NAME pelo keyring que armazena a chave gerenciada pelo cliente.
   • KEY_NAME pelo nome da chave gerenciada pelo cliente.
   • BUCKET_NAME pelo nome do bucket.

   Exemplo:

   gsutil kms encryption \
     -k projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key \
     gs://composer-logs-us-central1-example-environment
   

3. Crie um novo coletor de registros.

   gcloud logging sinks create \
   composer-log-sink-ENVIRONMENT_NAME \
   storage.googleapis.com/BUCKET_NAME \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Substitua:

   • ENVIRONMENT_NAME pelo nome do ambiente
   • LOCATION pela região em que o ambiente está localizado;
   • BUCKET_NAME pelo nome do bucket.

   Exemplo:

   gcloud logging sinks create \
   composer-log-sink-example-environment \
   storage.googleapis.com/composer-logs-us-central1-example-environment \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

4. Conceda o papel Criador de objetos do Storage à conta de serviço para esse do Google Cloud. A conta de serviço é mostrada no resultado da operação ).

   gcloud projects add-iam-policy-binding \
     PROJECT_ID \
     --member="serviceAccount:LOGGING_SERVICE_AGENT" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

   Substitua:

   • PROJECT_ID pelo ID do projeto;
   • LOGGING_SERVICE_AGENT com o serviço do Logging conta de agente para este bucket. O nome dessa conta é obtido na etapa anterior.

   Exemplo:

   gcloud projects add-iam-policy-binding \
     example-project \
     --member="serviceAccount:[e-mail]" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

5. Excluir os registros do novo ambiente dos e monitoramento.

   gcloud beta logging sinks update _Default \
     --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Substitua:

   • ENVIRONMENT_NAME pelo nome do ambiente
   • LOCATION pela região em que o ambiente está localizado;

   Exemplo:

   gcloud beta logging sinks update _Default \
     --add-exclusion name=example-environment-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

6. Adicionar criptografia CMEK no nível da organização ao roteador de registros

   gcloud logging cmek-settings describe \
     --organization=ORGANIZATION_ID
   

   gcloud kms keys add-iam-policy-binding \
         --project=KEY_PROJECT_ID \
         --member LOGGING_SERVICE_AGENT \
         --role roles/cloudkms.cryptoKeyEncrypterDecrypter \
         --location=KEY_LOCATION \
         --keyring=KEY_RING_NAME \
         KEY_NAME
   

   gcloud logging cmek-settings update \
     --organization=ORGANIZATION_ID \
     --kms-project=KEY_PROJECT_ID \
     --kms-keyring=KEY_RING_NAME \
     --kms-location=KEY_LOCATION \
     --kms-key-name=KEY_NAME
   

   Substitua:

   • ORGANIZATION_ID com seus ID da organização.
   • KEY_PROJECT_ID pelo ID do projeto em que a chave está localizada. Se você usa uma chave de outro projeto, esse valor é diferente do ID do seu projeto. Se você usar uma chave do mesmo projeto, esse valor é o ID do seu projeto.
   • KEY_RING_NAME pelo keyring que armazena a chave gerenciada pelo cliente.
   • KEY_LOCATION pelo local da chave gerenciada pelo cliente. Isso O local precisa ser o mesmo do seu ambiente.
   • KEY_NAME pelo nome da chave gerenciada pelo cliente.

Rotação de chaves CMEK para o Cloud Composer

Depois de configurar a criptografia no seu ambiente usando chaves CMEK, você vai precisar considere fazer a rotação dessas chaves regularmente, conforme descrito na documentação do KMS.

Quando você faz a rotação de uma chave CMEK, os dados criptografados com versões de chave anteriores são não são automaticamente recriptografadas com a nova versão da chave. Para mais informações, consulte Como criptografar dados novamente.

Especificamente, isso se aplica a:

• Objetos armazenados no bucket do ambiente.
• Cata armazenada no banco de dados do Airflow.
• Imagens de contêiner armazenadas em repositórios do Artifact Registry.
• Todos os outros objetos de dados criptografados com CMEK no ambiente do Cloud Composer.

A seguir

• Visão geral da segurança
• Criar ambientes