Jobs híbridos e acionadores de jobs envolvem um conjunto de métodos assíncronos de API que permitem verificar payloads de dados enviados de praticamente qualquer fonte em busca de informações confidenciais e armazenar as descobertas no Google Cloud. Os jobs híbridos permitem criar seus próprios rastreadores de dados que se comportam e veiculam dados de maneira semelhante aos métodos de inspeção de armazenamento da proteção de dados sensíveis.
Com jobs híbridos, é possível transmitir dados de qualquer origem para a proteção de dados sensíveis. A proteção de dados confidenciais inspeciona os dados em busca de informações confidenciais ou PII e, em seguida, salva os resultados da verificação de inspeção em um recurso do job de proteção de dados confidenciais. É possível examinar os resultados da verificação na interface ou na API do console de proteção de dados confidenciais ou especificar ações pós-verificação a serem executadas, como salvar os dados dos resultados da inspeção em uma tabela do BigQuery ou emitir uma notificação do Pub/Sub.
O fluxo de trabalho de jobs híbridos está resumido no diagrama a seguir:
Neste tópico conceitual, descrevemos jobs híbridos, acionadores de job e como eles funcionam. Para saber como implementar jobs híbridos e gatilhos de jobs, consulte Como inspecionar dados externos usando jobs híbridos.
Sobre ambientes híbridos
Ambientes "híbridos" são comuns nas organizações. Muitas organizações armazenam e processam dados confidenciais usando alguma combinação dos seguintes itens:
- Outros provedores de nuvem
- Servidores locais ou outros repositórios de dados
- sistemas de armazenamento não nativos, como sistemas executados em uma máquina virtual
- Apps da Web e para dispositivos móveis
- Soluções baseadas no Google Cloud
Com o uso de jobs híbridos, a proteção de dados sensíveis pode inspecionar os dados enviados a ele de qualquer uma dessas fontes. Veja alguns exemplos de cenários:
- Inspecione dados armazenados no Amazon Relational Database Service (RDS), MySQL em execução em uma máquina virtual ou em um banco de dados local.
- Inspecione e tokenize dados à medida que você migra do local para a nuvem ou entre produção, desenvolvimento e análise.
- inspecionar e editar transações de um aplicativo da Web ou para dispositivos móveis antes de armazenar os dados em repouso.
Opções de inspeção
Conforme descrito em mais detalhes em Tipos de método, para inspecionar o conteúdo em busca de dados sensíveis, a proteção de dados sensíveis oferece três opções padrão:
- Inspeção de métodos de conteúdo: usando a inspeção de conteúdo, você transmite pequenos payloads de dados para a proteção de dados sensíveis com instruções sobre o que inspecionar. Em seguida, a proteção de dados sensíveis inspeciona os dados em busca de conteúdo confidencial e PII e retorna os resultados da verificação para você.
- Inspeção de métodos de armazenamento: usando a inspeção de armazenamento, a proteção de dados sensíveis inspeciona um repositório de armazenamento baseado no Google Cloud, como um banco de dados do BigQuery, um bucket do Cloud Storage ou um tipo do Datastore. Você informa à proteção de dados sensíveis o que inspecionar e o que inspecionar. Em seguida, a proteção de dados sensíveis executa um job que verifica o repositório. Após a conclusão da verificação, a proteção de dados sensíveis salva um resumo dos resultados da verificação no job. Além disso, é possível especificar que os resultados sejam enviados para outro produto do Google Cloud para análise, como uma tabela separada do BigQuery.
- Inspeção de jobs híbridos: os jobs híbridos oferecem os benefícios dos dois métodos anteriores. Eles permitem que você faça streaming de dados como faria com os métodos de conteúdo, além de conseguir o armazenamento, a visualização e as ações de jobs de inspeção de armazenamento. Toda a configuração de inspeção é gerenciada na proteção de dados sensíveis, sem necessidade de configurações extras no lado do cliente. Os jobs híbridos podem ser úteis para verificar sistemas de armazenamento não nativos, como um banco de dados executado em uma máquina virtual (VM, na sigla em inglês), no local ou em outra nuvem. Métodos híbridos também podem ser úteis para inspecionar sistemas de processamento, como cargas de trabalho de migração, ou até para a comunicação entre serviços de proxy. Embora os métodos de conteúdo também possam fazer isso, os métodos híbridos oferecem o back-end de armazenamento de descobertas que pode agregar os dados em várias chamadas de API para que você não precise fazer isso.
Sobre jobs híbridos e acionadores de jobs
Um job híbrido é, efetivamente, um híbrido de métodos de conteúdo e métodos de armazenamento. O fluxo de trabalho básico para usar jobs híbridos e acionadores de jobs é o seguinte:
- Você escreve um script ou cria um fluxo de trabalho que envia dados à proteção de dados sensíveis para inspeção com alguns metadados.
- Configure e crie um recurso de job ou gatilho híbrido e ative-o quando receber dados.
- Seu script ou fluxo de trabalho é executado no lado do cliente e envia dados para
a proteção de dados sensíveis na forma de uma
solicitação
hybridInspect. Os dados incluem uma mensagem de ativação e o identificador do acionador ou do job, que aciona a inspeção. - A proteção de dados sensíveis inspeciona os dados de acordo com os critérios definidos no gatilho ou job híbrido.
- A proteção de dados sensíveis salva os resultados da verificação no recurso de job híbrido, em conjunto com os metadados fornecidos. É possível examinar os resultados usando a IU de proteção de dados sensíveis no console do Google Cloud.
- Opcionalmente, a proteção de dados confidenciais pode executar ações pós-verificação, como salvar dados dos resultados da inspeção em uma tabela do BigQuery ou enviar uma notificação por e-mail ou pelo Pub/Sub.
Um acionador de job híbrido permite criar, ativar e interromper jobs para que você possa acionar ações sempre que precisar. Ao garantir que o script ou o código envie dados que incluam o identificador do gatilho de jobs híbridos, não é necessário atualizar o script ou o código sempre que um novo job for iniciado.
Cenários típicos de jobs híbridos
Os jobs híbridos são adequados para objetivos como os seguintes:
- Execute uma verificação única de um banco de dados fora do Google Cloud como parte de uma verificação pontual trimestral dos bancos de dados.
- Monitore todo o conteúdo novo adicionado diariamente a um banco de dados sem suporte nativo na proteção de dados sensíveis.
- Verifique os dados que entram em um banco de dados enquanto controla como eles são particionados.
- Monitore o tráfego em uma rede usando o Filtro de proteção de dados sensíveis do Envoy (um filtro HTTP WebAssembly para proxies de arquivo secundário do Envoy) para identificar a movimentação de dados sensíveis problemáticos.
Para informações sobre como abordar esses cenários, consulte Cenários típicos de inspeção híbrida.
Tipos de metadados que é possível fornecer
Esta seção descreve os tipos de metadados que podem ser anexados aos dados externos que você quer inspecionar ou às descobertas.
É possível definir metadados nos seguintes níveis:
Metadados em um job híbrido ou acionador de jobs híbridos
Nesta seção, descrevemos os tipos de metadados que podem ser anexados a um job híbrido ou acionador de jobs híbridos.
Rótulos obrigatórios
No job híbrido ou no acionador de job híbrido, é possível especificar uma lista de rótulos obrigatórios
que precisam ser incluídos em todas as solicitações de inspeção híbrida que você enviar.
Todas as solicitações desse job híbrido ou acionador de jobs híbridos que não incluam esses
rótulos obrigatórios serão rejeitadas. Para mais informações, consulte Exigir rótulos das
solicitações hybridInspect.
Rótulos opcionais
É possível especificar pares de chave-valor a serem anexados a todas as descobertas de um job híbrido ou acionador de jobs híbridos. Por exemplo, se você quiser que todas as descobertas de um job híbrido tenham o rótulo "env"="prod", especifique esse par de chave-valor ao criar o job híbrido.
Opções de dados tabulares
É possível especificar quaisquer colunas que sejam identificadores de linha (chaves primárias) para objetos de tabela nos seus dados. Se as colunas especificadas existirem na tabela, os valores
das colunas fornecidas serão incluídos ao lado de cada descoberta. Dessa forma, você poderá rastrear a
descoberta até a linha de onde ela veio. Essas opções tabulares se aplicam apenas a solicitações
que enviam dados tabulares, como os formatos item.table ou
byteItem,
como CSV.
Se você já conhece as chaves primárias com antecedência, é possível defini-las como campos de
identificação ao criar o job híbrido ou o acionador de jobs híbridos. É possível listar até
três nomes de colunas no campo hybridOptions.tableOptions.identifyingFields.
Metadados em uma solicitação hybridInspect
Nesta seção, descrevemos os tipos de metadados que podem ser anexados a uma solicitação hybridInspect. Os metadados enviados em uma solicitação hybridInspect são
aplicados apenas a essa solicitação.
Detalhes do contêiner
Cada solicitação enviada para um job híbrido ou acionador de jobs híbridos
pode especificar detalhes sobre a fonte de dados,
incluindo elementos como fullPath, rootPath, relativePath, type,
version e outros. Por exemplo, se você estiver verificando tabelas em um banco de dados, poderá definir os campos da seguinte maneira:
{
"hybridItem": {
"item": {...},
"findingDetails": {
"containerDetails": {
"fullPath": "10.0.0.20/database1/table1",
"relativePath": "table1",
"rootPath": "10.0.0.20/database1",
"type": "postgres",
"version": "9.6"
},
"labels": {...}
}
}
}
Não é possível definir detalhes do contêiner no nível do job híbrido ou do acionador de jobs híbridos.
Rótulos obrigatórios
Se você definir os rótulos necessários ao criar um job híbrido ou um acionador de jobs híbridos,
qualquer solicitação hybridInspect que você enviar para esse job híbrido ou acionador de jobs
híbridos precisará incluir esses rótulos obrigatórios. Para mais informações, consulte Exigir
rótulos de solicitações
hybridInspect.
Rótulos opcionais
Em cada solicitação hybridInspect, é possível especificar pares de chave-valor que serão anexados
a todas as descobertas nessa solicitação. Esse método permite anexar rótulos diferentes
a cada solicitação hybridInspect.
Opções de dados tabulares
É possível especificar quaisquer colunas que sejam identificadores de linha (chaves primárias) para objetos de tabela nos seus dados. Se as colunas especificadas existirem na tabela, os valores
das colunas fornecidas serão incluídos ao lado de cada descoberta. Dessa forma, você poderá rastrear a
descoberta até a linha de onde ela veio. Essas opções tabulares se aplicam apenas a solicitações
que enviam dados tabulares, como os formatos item.table ou
byteItem,
como CSV.
Se você não souber as chaves primárias com antecedência, não precisará configurá-las no nível do job híbrido ou do acionador de jobs híbridos. É possível defini-las na solicitação
hybridInspect com os dados tabulares a serem inspecionados. Todos os campos listados no nível do job híbrido ou do acionador de jobs híbridos são combinados com os listados na solicitação hybridInspect.
Ações permitidas
Assim como outros jobs de proteção de dados sensíveis, os híbridos são compatíveis com ações. Nem todas as ações se aplicam a jobs híbridos. Veja a seguir as ações compatíveis atualmente, além de informações sobre como elas funcionam. Esteja ciente de que, com as ações do Pub/Sub, de e-mail e do Cloud Monitoring, as descobertas serão disponibilizadas quando o job terminar.
- Salvar descobertas na proteção de dados sensíveis e Salvar descobertas no BigQuery: elas são salvas em um recurso de proteção de dados sensíveis ou em uma tabela do BigQuery, respectivamente. Essas ações funcionam com jobs híbridos de maneira semelhante à maneira como funcionam com outros tipos de job, com uma diferença importante: com os jobs híbridos, as descobertas são disponibilizadas enquanto o job está em execução; já com outros tipos de job, as descobertas são disponibilizadas quando o job termina.
Enviar o Pub/Sub: quando um job for concluído, uma mensagem do Pub/Sub será emitida.
Enviar e-mail: quando um job for concluído, uma mensagem de e-mail será enviada.
Publicar no Cloud Monitoring: quando um job for concluído, as descobertas dele serão publicadas no Monitoring.
Resumo
Veja a seguir alguns dos principais recursos e benefícios do uso de jobs híbridos e acionadores de jobs:
- Os jobs híbridos permitem transmitir dados para a proteção de dados sensíveis de virtualmente qualquer origem, dentro ou fora da nuvem.
- Os acionadores de jobs híbridos são ativados quando a proteção de dados sensíveis recebe um fluxo de dados que inclui uma mensagem de ativação e o identificador do acionador de jobs.
- É possível aguardar até que a verificação de inspeção seja concluída ou interromper o job manualmente. Os resultados da inspeção são salvos em uma proteção de dados sensíveis ou no BigQuery, quer você permita que o job termine ou o interrompa antecipadamente.
- Os resultados da verificação de inspeção de proteção de dados sensíveis de um acionador de job híbrido são salvos em um recurso de job híbrido na proteção de dados sensíveis.
- É possível examinar os resultados da verificação de inspeção visualizando o recurso do acionador de jobs na proteção de dados sensíveis.
- Também é possível instruir a proteção de dados sensíveis a, usando uma ação, enviar resultados de jobs híbridos para um banco de dados do BigQuery e notificar você por e-mail ou notificação do Pub/Sub.
A seguir
- Para saber como usar jobs híbridos e acionadores de jobs para receber dados para inspeção, consulte Como enviar dados externos para a proteção de dados sensíveis usando jobs híbridos.