Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Nesta página, descrevemos como usar Chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês) para proteger ambientes do Cloud Composer. As chaves de criptografia gerenciadas pelo cliente para criptografar/descriptografar dados do usuário no ambiente.
Antes de começar
Só é possível configurar a CMEK ao criar um ambiente. Não é ativar a CMEK para um ambiente atual.
O Cloud Composer dá suporte à criptografia CMEK usando chaves armazenadas em gerenciadores de chaves externos.
É preciso criar uma chave CMEK na mesma região onde seus ambientes estão localizados. Não é possível usar chaves multirregionais ou globais.
Se você quiser que seu ambiente seja executado em um VPC Service Controls, é preciso adicionar a API Cloud Key Management Service e a API Artifact Registry ao perímetro.
Ative a API Artifact Registry.
Console
Enable the Artifact Registry API.
gcloud
Enable the Artifact Registry API:
gcloud services enable artifactregistry.googleapis.com
Informações do usuário não protegidas com a criptografia CMEK
O Cloud Monitoring não oferece suporte à criptografia CMEK. O nome do seu e os nomes dos DAGs são armazenados no arquivo banco de dados criptografado usando chaves de propriedade e gerenciadas pelo Google.
O Cloud Composer armazena as seguintes informações protegidas com Chaves de propriedade e gerenciadas pelo Google, e não pelo cliente:
- Nome do ambiente
- Substituições da configuração do Airflow
- Variáveis de ambiente
- Descrições dos intervalos de IP permitidos
- Intervalos de IP
- Rótulos
- Os nomes de alguns parâmetros armazenados pelo Cloud Composer podem incluir uma substring do nome do ambiente.
Usar uma chave de criptografia gerenciada pelo cliente no seu ambiente
Etapa 1. Criar uma chave de criptografia gerenciada pelo cliente
Siga as etapas descritas em Crie chaves de criptografia simétrica para gerar uma chave no a região onde o ambiente está.
Etapa 2. Conceder papéis a agentes de serviço
Console
Pule esta etapa. Você concede permissões a agentes de serviço quando você especifique uma chave para seu ambiente.
gcloud
Os agentes de serviço a seguir precisam ter o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS na chave usar no seu ambiente.
Substitua PROJECT_NUMBER
pelo seu
número do projeto.
Nome do agente de serviço | E-mail da conta de serviço | Nome do serviço da API |
---|---|---|
Agente de serviços do Cloud Composer | service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com | composer.googleapis.com |
Agente de serviço do Artifact Registry | service-PROJECT_NUMBER@gcp-sa-artifactregistry.iam.gserviceaccount.com | artifactregistry.googleapis.com |
Agente de serviço do Kubernetes Engine | service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com | container.googleapis.com |
Agente de serviço do Pub/Sub | service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com | pubsub.googleapis.com |
Agente de serviço do Compute Engine | service-PROJECT_NUMBER@compute-system.iam.gserviceaccount.com | compute.googleapis.com |
Agente de serviço do Cloud Storage | service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com | Conceder permissões de criptografia/descriptografia com gcloud storage service-agent --authorize-cmek |
(Se necessário) Se algumas dessas contas de serviço não estiverem presentes no projeto, isso significa que uma identidade ainda não foi criada para esse serviço. Isso pode acontecer, por exemplo, se você ainda não criou ambientes do Cloud Composer no seu projeto.
Para adicionar essas contas de serviço, crie identidades para os serviços listados pelo seguinte comando:
gcloud beta services identity create \ --service=API_SERVICE_NAME
Substitua
API_SERVICE_NAME
pelo Nome do serviço da API de um serviço que não tenha uma conta de serviço no projeto.Exemplo:
gcloud beta services identity create \ --service=composer.googleapis.com
Conceda permissões aos agentes de serviço:
Conceda o papel ao Agente de serviço do Cloud Composer:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Conceda o papel ao Agente de serviço do Artifact Registry:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-artifactregistry.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Conceda o papel ao Agente de serviço do GKE:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Conceda o papel ao agente de serviço do Pub/Sub:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Conceda o papel ao Agente de serviço do Compute Engine:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location KEY_LOCATION \ --keyring KEY_RING_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@compute-system.iam.gserviceaccount.com \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \ --project KEY_PROJECT_ID
Conceder permissões de criptografia/descriptografia a Agente de serviço do Cloud Storage.
gcloud storage service-agent \ --authorize-cmek=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Substitua:
PROJECT_ID
com seus ID do projeto.KEY_PROJECT_ID
pelo ID do projeto que armazena seu chave gerenciada pelo cliente. Se você usa uma chave de outro projeto, esta é diferente do ID do projeto. Se você usar uma chave da mesmo projeto, esse valor será o ID do projeto.PROJECT_NUMBER
com seus número do projeto.KEY_LOCATION
pelo local da chave gerenciada pelo cliente. Este local precisa ser o mesmo do seu ambiente.KEY_NAME
pelo nome da chave gerenciada pelo cliente.KEY_RING_NAME
pelo keyring que armazena a chave gerenciada pelo cliente.
Para ter esses valores, execute
gcloud projects describe
,gcloud kms keyrings list
egcloud kms keys describe
.
Etapa 3. Criar um ambiente com a CMEK
Depois de criar uma chave de criptografia gerenciada pelo cliente, será possível usar para criar ambientes do Cloud Composer.
Console
Expanda Rede, substituições de configuração do Airflow e outros recursos. nesta seção. Na seção Criptografia de dados, selecione Chave de criptografia gerenciada pelo cliente (CMEK).
Na lista suspensa Selecione uma chave gerenciada pelo cliente, escolha sua chave.
Se for necessária configuração adicional, uma mensagem informará você. Em neste caso:
Clique em Abrir assistente.
Em Preparar a chave CMEK para uso no Cloud Composer para conferir a lista de agentes de serviço que precisam ter o papel Criptografador/Descriptografador de CryptoKey do Cloud KMS. na chave.
Para conceder as permissões e os papéis necessários, clique em Conceder.
gcloud
O argumento --kms-key
especifica uma chave de criptografia gerenciada pelo cliente para sua
de nuvem.
Para mais informações sobre como criar ambientes, consulte Criar ambientes. Por exemplo, talvez você queira especificar outros parâmetros para seu ambiente.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version IMAGE_VERSION \
--kms-key projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Substitua:
ENVIRONMENT_NAME
pelo nome do ambiente;IMAGE_VERSION
pelo nome da imagem do Cloud Composer.KEY_PROJECT_ID
pelo ID do projeto em que a chave está localizada. Se você usa uma chave de outro projeto, esse valor é diferente do ID do projeto. Se você usar uma chave do mesmo projeto, esse valor será sua ID do projeto.LOCATION
pela região em que o ambiente está localizado;KEY_LOCATION
pelo local da chave gerenciada pelo cliente. Isso O local precisa ser o mesmo do seu ambiente.KEY_NAME
pelo nome da chave gerenciada pelo cliente.KEY_RING_NAME
pelo keyring que armazena a chave gerenciada pelo cliente.
Exemplo:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15 \
--kms-key projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key
Ver a configuração de criptografia do ambiente
É possível ver a configuração de criptografia de um ambiente atual:
Console
No console do Google Cloud, acesse a página Ambientes.
Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.
Acesse a guia Configuração do ambiente.
Os detalhes sobre criptografia estão listados no item Chave de criptografia de dados.
gcloud
Execute o comando gcloud
a seguir para visualizar a configuração de criptografia
gcloud composer environments describe \
ENVIRONMENT_NAME \
--location LOCATION \
--format="value(config.encryptionConfig)"
Substitua:
ENVIRONMENT_NAME
pelo nome do ambienteLOCATION
pela região em que o ambiente está localizado;
Exemplo:
gcloud composer environments describe \
example-environment \
--location us-central1 \
--format="value(config.encryptionConfig)"
Usar CMEK para registros do Cloud Composer
O Cloud Logging oferece suporte à criptografia do armazenamento de registros com chaves CMEK. Recomendamos para usar o procedimento padrão de CMEK para criptografar registros com chaves CMEK.
Para criptografar registros com chaves CMEK, siga as instruções descritas em Gerencie as chaves que protegem os dados de armazenamento do Logging.
Redirecionar os registros do Cloud Composer para um bucket do Cloud Storage criptografado por CMEK
Se você espera que seus registros contenham dados sensíveis, talvez seja útil redirecionar os registros do Cloud Composer para uma instância do bucket do Cloud Storage usando Roteador de registros. Isso evita que seu sejam enviados ao Monitoring.
Se você precisar de suporte do Cloud Customer Care, talvez seja necessário conceder dos engenheiros de suporte ao cliente acessar os registros do Cloud Composer armazenados em Cloud Storage.
gcloud
Crie um novo bucket do Cloud Storage para armazenar os registros.
gcloud storage buckets create gs://BUCKET_NAME --location=LOCATION
Substitua:
LOCATION
pela região em que o ambiente está localizado;BUCKET_NAME
pelo nome do bucket.
Exemplo:
gcloud storage buckets create gs://composer-logs-us-central1-example-environment --location=us-central1
Criptografe o bucket com a chave CMEK.
gcloud storage buckets update gs://BUCKET_NAME \ --default-encryption-key=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Substitua:
KEY_PROJECT_ID
pelo ID do projeto em que a chave está localizada. Se você usa uma chave de outro projeto, esse valor é diferente do ID do seu projeto. Se você usar uma chave do mesmo projeto, esse valor é o ID do seu projeto.KEY_LOCATION
pelo local da chave gerenciada pelo cliente. Isso O local precisa ser o mesmo do seu ambiente.KEY_RING_NAME
pelo keyring que armazena a chave gerenciada pelo cliente.KEY_NAME
pelo nome da chave gerenciada pelo cliente.BUCKET_NAME
pelo nome do bucket.
Exemplo:
gcloud storage buckets update gs://composer-logs-us-central1-example-environment \ --default-encryption-key=projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key
Crie um novo coletor de registros.
gcloud logging sinks create \ composer-log-sink-ENVIRONMENT_NAME \ storage.googleapis.com/BUCKET_NAME \ --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
Substitua:
ENVIRONMENT_NAME
pelo nome do ambienteLOCATION
pela região em que o ambiente está localizado;BUCKET_NAME
pelo nome do bucket.
Exemplo:
gcloud logging sinks create \ composer-log-sink-example-environment \ storage.googleapis.com/composer-logs-us-central1-example-environment \ --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
Conceda o papel Criador de objetos do Storage à conta de serviço para esse do Google Cloud. A conta de serviço é mostrada no resultado da operação ).
gcloud projects add-iam-policy-binding \ PROJECT_ID \ --member="serviceAccount:LOGGING_SERVICE_AGENT" \ --role="roles/storage.objectCreator" \ --condition=None
Substitua:
PROJECT_ID
pelo ID do projeto;LOGGING_SERVICE_AGENT
com o serviço do Logging conta de agente para este bucket. O nome dessa conta é obtido na etapa anterior.
Exemplo:
gcloud projects add-iam-policy-binding \ example-project \ --member="serviceAccount:example-sa@gcp-sa-logging.iam.gserviceaccount.com" \ --role="roles/storage.objectCreator" \ --condition=None
Excluir os registros do novo ambiente dos e monitoramento.
gcloud beta logging sinks update _Default \ --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
Substitua:
ENVIRONMENT_NAME
pelo nome do ambienteLOCATION
pela região em que o ambiente está localizado;
Exemplo:
gcloud beta logging sinks update _Default \ --add-exclusion name=example-environment-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
Adicionar criptografia CMEK no nível da organização ao roteador de registros
gcloud logging cmek-settings describe \ --organization=ORGANIZATION_ID
gcloud kms keys add-iam-policy-binding \ --project=KEY_PROJECT_ID \ --member LOGGING_SERVICE_AGENT \ --role roles/cloudkms.cryptoKeyEncrypterDecrypter \ --location=KEY_LOCATION \ --keyring=KEY_RING_NAME \ KEY_NAME
gcloud logging cmek-settings update \ --organization=ORGANIZATION_ID \ --kms-project=KEY_PROJECT_ID \ --kms-keyring=KEY_RING_NAME \ --kms-location=KEY_LOCATION \ --kms-key-name=KEY_NAME
Substitua:
ORGANIZATION_ID
com seus ID da organização.KEY_PROJECT_ID
pelo ID do projeto em que a chave está localizada. Se você usa uma chave de outro projeto, esse valor é diferente do ID do seu projeto. Se você usar uma chave do mesmo projeto, esse valor é o ID do seu projeto.KEY_RING_NAME
pelo keyring que armazena a chave gerenciada pelo cliente.KEY_LOCATION
pelo local da chave gerenciada pelo cliente. Isso O local precisa ser o mesmo do seu ambiente.KEY_NAME
pelo nome da chave gerenciada pelo cliente.
Rotação de chaves CMEK para o Cloud Composer
Depois de configurar a criptografia no seu ambiente usando chaves CMEK, você vai precisar considere fazer a rotação dessas chaves regularmente, conforme descrito na documentação do KMS.
Quando você faz a rotação de uma chave CMEK, os dados criptografados com versões de chave anteriores são não são automaticamente recriptografadas com a nova versão da chave. Para mais informações, consulte Como criptografar dados novamente.
Especificamente, isso se aplica a:
- Objetos armazenados no bucket do ambiente.
- Cata armazenada no banco de dados do Airflow.
- Imagens de contêiner armazenadas em repositórios do Artifact Registry.
- Todos os outros objetos de dados criptografados com CMEK no ambiente do Cloud Composer.