Compartilhar dados sensíveis com data clean rooms
As data clean rooms oferecem um ambiente de segurança aprimorada em que várias partes podem compartilhar, mesclar e analisar os próprios recursos de dados sem mover ou revelar os dados subjacentes.
As data clean rooms do BigQuery são criadas na plataforma Analytics Hub. Embora as trocas de dados padrão do Analytics Hub ofereçam uma maneira de compartilhar dados entre limites organizacionais em escala, as data clean rooms ajudam você a abordar casos de uso de compartilhamento de dados confidenciais e protegidos. As data clean rooms oferecem mais controles de segurança para ajudar a proteger os dados subjacentes e aplicar regras de análise definidas pelo proprietário dos dados.
Estes são os principais casos de uso:
- Planejamento da campanha e insights sobre público-alvo. Permita que duas partes (como vendedores e compradores) misturem dados próprios e aprimorem o enriquecimento de dados de uma maneira centrada na privacidade.
- Medição e atribuição. Combine dados de desempenho de mídia e de clientes para entender melhor a eficácia das iniciativas de marketing e tomar decisões de negócios mais informadas.
- Ativação. Combine dados de clientes com dados do cliente para enriquecer a compreensão dos clientes, permitindo recursos de segmentação aprimorados e uma ativação de mídia mais eficaz.
Há também vários casos de uso de data clean room além do setor de marketing:
- Bens de consumo não duráveis e de varejo (CPG). Otimize as atividades de marketing e promoções combinando dados dos pontos de venda dos varejistas e das empresas de CPG.
- Serviços financeiros. Melhore a detecção de fraudes combinando dados confidenciais de outras agências financeiras e governamentais. Crie uma pontuação de risco de crédito agregando dados de clientes em vários bancos.
- Saúde. Compartilhe dados entre médicos e pesquisadores farmacêuticos para saber como os pacientes estão reagindo aos tratamentos.
- Cadeia de suprimentos, logística e transporte. Combine dados de fornecedores e profissionais de marketing para ter uma visão completa da performance dos produtos ao longo do ciclo de vida.
Papéis
Há três papéis principais nas data clean rooms do BigQuery:
- Proprietário da data clean room: um usuário que gerencia permissões, visibilidade e a associação a uma ou mais data clean rooms em um projeto. Essa função é análoga à Administrador do Analytics Hub.
- Colaborador de dados: um usuário que é atribuído pelo proprietário da data clean room para publicar dados em uma data clean room. Em muitos casos, um proprietário de data clean room também é um colaborador de dados. Esse papel é análogo ao Editor do Analytics Hub.
- Assinante: um usuário que é atribuído pelo proprietário da data clean room para assinar os dados publicados em uma data clean room, permitindo que ele execute consultas nos dados. Esse papel é análogo a uma combinação de assinante do Analytics Hub e proprietário de assinatura do Analytics Hub. Os assinantes precisam ter produtos sem edição ou a edição Enterprise Plus.
Arquitetura
As data clean rooms do BigQuery são criadas com base em um modelo de publicação e assinatura dos dados do BigQuery. A arquitetura do BigQuery fornece uma separação entre computação e armazenamento, permitindo que os colaboradores de dados compartilhem dados sem precisar fazer várias cópias deles. A imagem a seguir é uma visão geral da arquitetura da data clean room do BigQuery:
Data clean room
Uma data clean room é um ambiente para compartilhar dados sensíveis em que o acesso bruto é impedido e as restrições de consulta são aplicadas. Somente usuários ou grupos adicionados como assinantes de uma data clean room podem se inscrever nos dados pessoais compartilhados. Os proprietários de data clean room podem criar quantas data clean rooms quiserem no Analytics Hub.
Recursos compartilhados
Um recurso compartilhado é a unidade de compartilhamento de dados pessoais em uma data clean room. O recurso precisa ser uma tabela ou visualização do BigQuery. Como colaborador de dados, você cria ou usa um recurso atual do BigQuery no projeto que quer compartilhar com seus assinantes.
Listagens
Uma listagem é criada quando um colaborador adiciona dados a uma data clean room. Ela contém uma referência ao recurso compartilhado do colaborador de dados, além de informações descritivas que ajudam os assinantes a usar os dados. Como colaborador de dados, é possível criar uma listagem e incluir informações como uma descrição, consultas de amostra e links para a documentação de seus assinantes.
Conjuntos de dados vinculados
Um conjunto de dados vinculado é um conjunto somente leitura do BigQuery que serve como link simbólico para todos os dados em uma data clean room. Quando os assinantes consultam recursos em um conjunto de dados vinculado, os dados dos recursos compartilhados são retornados, obedecendo às regras de análise definidas pelo colaborador de dados. Como assinante, um conjunto de dados vinculado é criado dentro de seu projeto quando você se inscreve em uma sala limpa de dados. Nenhuma cópia dos dados é criada, e os assinantes não têm acesso a determinados metadados, como definições de visualização.
Regras de análise
Como colaborador de dados, você configura regras de análise nos recursos compartilhados na data clean room. As regras de análise impedem o acesso bruto aos dados subjacentes e impõem restrições de consulta. Por exemplo, data clean rooms oferecem suporte à regra de análise de limite de agregação, que permite que os assinantes analisem dados somente por meio de consultas de agregação.
Controles de saída de dados
Os controles de saída de dados são ativados automaticamente para ajudar a impedir que os assinantes copiem e exportem dados brutos de uma data clean room. Os colaboradores de dados podem configurar outros controles para ajudar a impedir a cópia e a exportação de resultados de consulta recebidos pelos assinantes.
Limitações
As data clean room do BigQuery têm as seguintes limitações:
- É possível definir regras de análise apenas em visualizações, não em tabelas ou visualizações materializadas. Devido a essa limitação, se um colaborador de dados compartilhar diretamente tabelas ou visualizações materializadas (ou visualizações sem regras de análise) em uma data clean room, os assinantes terão acesso bruto aos dados nesses recursos.
- Como as data clean rooms são criadas na plataforma Analytics Hub, todas as limitações do Analytics Hub são aplicáveis.
- As data clean rooms estão disponíveis apenas nas regiões do Analytics Hub.
- Como assinante, não é possível pesquisar recursos compartilhados no Dataplex ou no Data Catalog.
- Como assinante, não é possível consultar
visualizações
INFORMATION_SCHEMAem conjuntos de dados vinculados. - Como colaborador de dados, não é possível publicar um conjunto de dados inteiro diretamente em uma data clean room.
- Como colaborador de dados, não é possível publicar modelos ou rotinas em uma data clean room.
- É possível adicionar até 100 recursos compartilhados a uma data clean room. Se for preciso aumentar esse limite, entre em contato com bq-dcr-feedback@google.com.
Antes de começar
Conceda papéis do Identity and Access Management (IAM) que dão aos usuários as permissões necessárias para executar cada tarefa neste documento, ativar a API Analytics Hub e atribuir o papel de administrador do Analytics Hub ao proprietário da data clean room (o usuário que criará a data clean room).
Permissões necessárias
Para receber as permissões necessárias para usar as data clean room,
peça ao seu administrador para conceder a você o papel
Editor de dados do BigQuery (roles/bigquery.dataEditor) do IAM.
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Esse papel predefinido contém as permissões necessárias para usar as data clean rooms. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para usar data clean rooms:
-
serviceUsage.services.get -
serviceUsage.services.list -
serviceUsage.services.enable
Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.
Para mais informações sobre os papéis e as permissões do IAM no BigQuery, consulte Introdução ao IAM.
Ativar a API Analytics Hub
Para ativar a API Analytics Hub, selecione uma das seguintes opções:
Console
Abra e ative a página da API Analytics Hub no seu projeto do Google Cloud.
bq
Execute o comando gcloud services enable:
gcloud services enable analyticshub.googleapis.com
Depois de ativar a API Analytics Hub, você poderá acessar a página do Analytics Hub.
Atribuir o papel de administrador do Analytics Hub
O proprietário da data clean room precisa ter o
papel de administrador do Analytics Hub
(roles/analyticshub.admin). Para saber como conceder esse papel a outros usuários, consulte Criar administradores do Analytics Hub.
Fluxos de trabalho do proprietário do data clean room
Como proprietário da data clean room, você pode fazer o seguinte:
- Criar uma data clean room.
- Atualizar as propriedades da data clean room.
- Excluir uma data clean room.
- Gerenciar colaboradores de dados
- Gerenciar inscritos.
- Compartilhar uma data clean room.
Permissões extras de proprietário da data clean room
Você precisa ter o papel de administrador do Analytics Hub (roles/analyticshub.admin) no projeto para realizar as tarefas de proprietário da data clean room.
Criar uma data clean room
No Console do Google Cloud, acesse a página do Analytics Hub.
Clique em Criar data clean room.
Em Projeto, selecione o projeto para a data clean room. A API Analytics Hub precisa estar ativada para o projeto.
Especifique o local, o nome, o contato principal, o ícone (opcional) e a descrição da data clean room. Somente os recursos que estão na mesma região que a data clean room podem ser listados na data clean room.
Clique em Criar data clean room.
Opcional: na seção Permissões da clean room, adicione outros proprietários de dados limpos, colaboradores de dados ou assinantes.
Atualizar uma data clean room
No Console do Google Cloud, acesse a página do Analytics Hub.
Clique no nome de exibição da data clean room que você quer atualizar.
Na guia Detalhes, clique em Editar detalhes da data clean room.
Atualize o nome, o contato principal, o ícone ou a descrição da data clean room, conforme necessário.
Clique em Save.
Excluir uma data clean room
No Console do Google Cloud, acesse a página do Analytics Hub.
Na linha da data clean room que você quer excluir, clique em Mais ações > Delete.
Para confirmar, digite
deletee clique em Excluir. Não é possível desfazer esta ação.
Quando você exclui uma data clean room, todas as listagens dentro dela são excluídas. No entanto, os recursos compartilhados e vinculados não são excluídos. Os conjuntos de dados vinculados são desvinculados dos conjuntos de dados de origem. Assim, a consulta de recursos na data clean room começará a falhar para os assinantes.
Gerenciar colaboradores de dados
Como proprietário da data clean room, você gerencia quais usuários podem adicionar dados às data clean rooms (seus colaboradores de dados). Para permitir que um usuário adicione dados a uma data clean room, conceda a ele o papel de editor do Analytics Hub (roles/analyticshub.publisher) em uma data clean room específica:
No Console do Google Cloud, acesse a página do Analytics Hub.
Clique no nome de exibição da data clean room para conceder permissões.
Na guia Detalhes, clique em Definir permissões.
Clique em Adicionar principal.
Em Novos principais, insira os nomes de usuário ou os e-mails dos colaboradores de dados que você está adicionando.
Em Selecionar uma função, escolha Analytics Hub > Editor do Analytics Hub.
Clique em Save.
Você pode excluir e atualizar os colaboradores de dados a qualquer momento clicando em Definir permissões.
É possível conceder o papel de Editor do Analytics Hub para um projeto inteiro na página do IAM, que dá ao usuário permissão para adicionar dados a qualquer data clean room em um projeto. No entanto, essa ação não é recomendada, porque ela pode resultar em acessos excessivamente permissivos dos usuários.
Gerenciar inscritos
Como proprietário de data clean room, você gerencia quais usuários podem se inscrever nas suas
data clean rooms (seus assinantes). Para permitir que um usuário se inscreva em uma data clean room, conceda a ele os papéis de Assinante do Analytics Hub
(roles/analyticshub.subscriber) e Proprietário de assinatura do Analytics Hub
(roles/analyticshub.subscriptionOwner) em uma data clean room específica:
No Console do Google Cloud, acesse a página do Analytics Hub.
Clique no nome de exibição da data clean room para conceder permissões.
Na guia Detalhes, clique em Definir permissões.
Clique em Adicionar principal.
Em Novos principais, insira os nomes de usuário ou os e-mails dos assinantes que você está adicionando.
Em Selecionar uma função, escolha Analytics Hub > Assinante do Analytics Hub.
Clique em Adicionar outro papel.
Em Selecionar uma função, selecione Analytics Hub > Proprietário de assinatura do Analytics Hub.
Clique em Save.
Você pode excluir e atualizar os assinantes a qualquer momento clicando em Definir permissões.
Você pode conceder os papéis de Assinante e Proprietário da assinatura do Analytics Hub para um projeto inteiro na página do IAM, que dá ao usuário permissão para se inscrever em qualquer data clean room para em um projeto. No entanto, essa ação não é recomendada, porque ela pode resultar em acessos excessivamente permissivos dos usuários.
Compartilhar uma data clean room
Você pode compartilhar diretamente uma data clean room com os assinantes:
No Console do Google Cloud, acesse a página do Analytics Hub.
Na linha da data clean room que você quer compartilhar, clique em Mais ações > Copiar link de compartilhamento.
Compartilhe o link copiado com os inscritos para que eles possam visualizar e se inscrever na data clean room.
Fluxos de trabalho do colaborador de dados
Como colaborador de dados, você pode fazer o seguinte:
- Adicionar dados a uma data clean room criando uma ficha da empresa.
- Atualizar uma listagem.
- Excluir uma listagem.
- Compartilhar uma data clean room.
- Monitorar fichas de empresa.
Permissões adicionais de colaborador de dados
Para realizar tarefas de colaborador de dados, você precisa ter o papel de editor do Analytics Hub (roles/analyticshub.publisher) em uma data clean room.
Além disso, você precisa da permissão bigquery.datasets.link para os conjuntos de dados que contêm os recursos que você quer listar em uma data clean room. A permissão resourcemanager.organization.get também é necessária para visualizar as data clean rooms da organização que não estão no projeto atual.
Criar uma ficha (adicionar dados)
Para preparar dados com regras de análise e publicá-los em uma data clean room como uma listagem, faça o seguinte:
No Console do Google Cloud, acesse a página do Analytics Hub.
Clique no nome de exibição da data clean room em que você quer criar uma listagem.
Se você estiver em uma organização diferente do proprietário da data clean room e a data clean room não estiver visível para você, peça a ele um link direto.
Clique em Adicionar dados.
Em Selecionar conjunto de dados e Nome da tabela/visualização, insira a tabela ou visualização que você quer listar na data clean room e o conjunto de dados correspondente. Você vai adicionar regras de análise para evitar o acesso bruto a esses dados subjacentes em algumas etapas.
Selecione as colunas do recurso que você quer publicar.
Defina o nome da visualização, o contato principal e a descrição (opcional) da listagem.
Clique em Próxima.
Escolha uma regra de análise para sua página de detalhes e configure os detalhes.
Defina os controles de saída de dados para a listagem.
Clique em Próxima.
Revise os dados e a regra de análise que você está adicionando à data clean room.
Clique em Adicionar dados. Uma visualização é criada para os dados e adicionada como uma listagem à data clean room. A tabela de origem ou a visualização em si não são adicionadas.
Ao listar um recurso em uma data clean room, você concede a todos os assinantes atuais e futuros da data clean room acesso aos dados do seu recurso compartilhado.
Se você tentar criar uma página de detalhes com um recurso compartilhado que não tenha uma regra de análise, será exibido um aviso informando que os assinantes poderão acessar os dados brutos desse recurso. Se você confirmar que está publicando voluntariamente esses recursos sem regras de análise, ainda poderá criar a página de detalhes.
Se você receber o erro Failed to save listing, verifique se tem as permissões necessárias para executar tarefas do colaborador de dados.
Atualizar uma listagem
No Console do Google Cloud, acesse a página do Analytics Hub.
Clique no nome de exibição da data clean room que contém a ficha da empresa.
Na linha da ficha da empresa que você quer atualizar, clique em Mais ações > Editar página de detalhes.
Atualize o contato principal ou a descrição conforme necessário.
Clique em Próxima.
Atualize a regra de análise conforme necessário. Só é possível atualizar os parâmetros da regra escolhida. Não é possível usar outra regra.
Clique em Próxima.
Revise a ficha e clique em Adicionar dados.
Não é possível alterar o recurso de origem ou os controles de saída de dados de uma listagem após a criação dela.
Excluir uma listagem
No Console do Google Cloud, acesse a página do Analytics Hub.
Clique no nome de exibição da data clean room que contém a ficha da empresa.
Na linha da ficha que você quer excluir, clique em Mais ações > Excluir fichas.
Para confirmar, digite
deletee clique em Excluir. Essa ação não pode ser desfeita.
Quando você exclui uma listagem, os recursos compartilhados e vinculados não são excluídos. Os conjuntos de dados vinculados são desvinculados dos conjuntos de dados de origem. Dessa forma, a consulta de dados nessa listagem começará a apresentar falhas para os assinantes.
Compartilhar uma data clean room
Você pode compartilhar diretamente uma data clean room com os assinantes:
No Console do Google Cloud, acesse a página do Analytics Hub.
Na linha da data clean room que você quer compartilhar, clique em Mais ações > Copiar link de compartilhamento.
Compartilhe o link copiado com os inscritos para que eles possam visualizar e se inscrever na data clean room.
Monitorar listagens
Para consultar as métricas de uso nos conjuntos de dados de origem dos recursos compartilhados em uma data clean room, consulte a visualização INFORMATION_SCHEMA.SHARED_DATASET_USAGE.
Para visualizar os inscritos da sua listagem, faça o seguinte:
No Console do Google Cloud, acesse a página do Analytics Hub.
Clique no nome de exibição da data clean room.
Na linha de uma ficha que você quer conferir, clique em Mais ações > Ver assinaturas.
Fluxos de trabalho de inscritos
Um assinante pode ver e se inscrever em uma data clean room. A inscrição em uma data clean room cria um conjunto de dados vinculado no projeto do assinante. Cada conjunto de dados vinculado tem o mesmo nome da data clean room.
Não é possível se inscrever em uma ficha específica de uma data clean room. Só é possível se inscrever na data clean room.
Permissões adicionais de assinante
Você precisa ter os papéis de assinante do Analytics Hub (roles/analyticshub.subscriber) e o proprietário da assinatura do Analytics Hub (roles/analyticshub.subscriptionOwner) em uma data clean room
para realizar tarefas de assinantes.
Além disso, você precisa da permissão bigquery.datasets.create em um projeto para
criar um conjunto de dados vinculado quando se inscrever em uma data clean room.
Inscrever-se em uma data clean room
Ao assinar uma data clean room, você tem acesso de consulta aos dados nas listagens criando conjuntos de dados vinculados no seu projeto. Para se inscrever em uma data clean room, faça o seguinte:
No Console do Google Cloud, acesse a página BigQuery.
No painel Explorer, clique em Adicionar.
Selecione Analytics Hub. Uma página de descoberta é aberta.
Para exibir as data clean rooms a que você tem acesso, na lista de filtros, selecione Clean rooms.
Clique na data clean room em que você quer se inscrever. Uma página de descrição da data clean room é aberta.
Clique em Assinar.
Selecione o projeto de destino para a assinatura e clique em Assinar.
Um conjunto de dados vinculado foi adicionado ao projeto que você especificou e está disponível para consulta.
Como assinante, você pode editar alguns metadados dos seus conjuntos de dados vinculados, como descrição e rótulos. Você também pode definir permissões nos conjuntos de dados vinculados. No entanto, as alterações nos conjuntos de dados vinculados não afetam os conjuntos de origem. Também não será possível ver as definições de visualização.
Os recursos contidos em conjuntos de dados vinculados são somente leitura. Como assinante, não é possível editar dados ou metadados de recursos em conjuntos de dados vinculados. Também não é possível especificar permissões para recursos individuais no conjunto de dados vinculado.
Para cancelar a inscrição na data clean room, exclua o conjunto de dados vinculado.
Consultar dados em um conjunto de dados vinculado
Para consultar dados em um conjunto de dados vinculado, use a
sintaxe SELECT WITH AGGREGATION_THRESHOLD,
que permite executar consultas em visualizações impostas por regras de análise. Veja um exemplo dessa sintaxe em Consultar uma visualização aplicada por regra de análise de limite de agregação.
Exemplo de cenário: análise de atribuição do anunciante e do editor
Um anunciante quer rastrear a eficácia das campanhas de marketing. O anunciante tem dados próprios sobre os clientes, incluindo o histórico de compras, informações demográficas e interesses. O editor tem dados do site, incluindo quais anúncios foram mostrados aos visitantes e as conversões deles.
O anunciante e o editor concordam em usar uma data clean room para combinar dados e medir os resultados das campanhas. Nesse caso, o editor cria a data clean room e disponibiliza os dados para que o anunciante realize a análise. O resultado é um Relatório de atribuição que mostra ao anunciante quais anúncios foram mais eficazes para gerar vendas. O anunciante pode usar essas informações para melhorar as futuras campanhas de marketing.
O anunciante e o editor organizam a data clean room do BigQuery por meio do seguinte processo:
Criar a data clean room (editor)
- Um proprietário da data clean room na organização do editor ativa a API Analytics Hub no projeto do BigQuery e atribui o usuário A como o proprietário da data clean room (administrador do Analytics Hub).
- O usuário A cria uma data clean room chamada
Campaign Analysise atribui as seguintes permissões:- Colaborador de dados (editor do Analytics Hub): usuário B, um engenheiro de dados da organização do editor.
- Assinante (assinante do Analytics Hub e proprietário da assinatura): usuário C, analista de marketing na organização do anunciante.
Adicionar dados à data clean room (editor)
- O usuário B cria uma nova ficha na data clean room com o nome
Publisher Conversion Data. Como parte da criação da página de detalhes, uma nova visualização com regras de análise é criada.
Inscrever-se na data clean room (anunciante)
- O usuário C se inscreve na data clean room, que cria um conjunto de dados vinculado para
todas as listagens na data clean room, incluindo a listagem
Publisher Conversion Data. - O usuário C agora pode executar consultas de agregação para combinar os dados desse conjunto vinculado com os dados próprios e medir a eficácia da campanha.
Resolução da entidade
Os casos de uso de data clean room geralmente exigem a vinculação de entidades entre conjuntos de dados de colaboradores e assinantes que não incluem um identificador comum. Os assinantes e colaboradores de dados podem representar os mesmos registros de maneira diferente em vários conjuntos de dados, seja porque os conjuntos de dados se originam de diferentes fontes de dados ou porque os conjuntos de dados usam identificadores de diferentes namespaces.
Como parte da preparação de dados, a resolução de entidades no BigQuery faz o seguinte:
- Para colaboradores de dados, ela elimina a duplicação e resolve registros nos recursos compartilhados usando identificadores de um provedor comum escolhido por eles. Esse processo permite junções de colaboradores cruzados.
- Para assinantes, ele elimina a duplicação e resolve registros nos conjuntos de dados próprios e vincula a entidades nos conjuntos de dados do colaborador de dados. Esse processo permite mesclagens entre os dados do assinante e do colaborador de dados.
Para configurar a resolução de entidade com o provedor de identidade de sua preferência, consulte Configurar e usar a resolução de entidades no BigQuery.
Descobrir recursos da data clean room
Para encontrar todas as data clean rooms a que você tem acesso, faça o seguinte:
Para proprietários de data clean room e colaboradores de dados, no console do Google Cloud, acesse a página Analytics Hub.
Todas as data clean rooms de dados que você pode acessar são listadas.
Para assinantes, faça o seguinte:
No Console do Google Cloud, acesse a página BigQuery.
No painel Explorer, clique em Adicionar.
Selecione Analytics Hub. Uma página de descoberta é aberta.
Para exibir as data clean rooms a que você tem acesso, na lista de filtros, selecione Clean rooms.
Para encontrar todos os conjuntos de dados vinculados criados por data clean rooms no projeto, execute o seguinte comando em um ambiente de linha de comando:
PROJECT=PROJECT_ID \ for dataset in $(bq ls --project_id $PROJECT | tail +3); \ do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] \ && echo $dataset; done
Substitua PROJECT_ID pelo projeto que contém os
conjuntos de dados vinculados.
Preços
Os colaboradores são cobrados apenas pelo armazenamento de dados. Os assinantes só são cobrados pela computação (análise) quando executam consultas.
Os assinantes precisam ter produtos sem edição ou a edição Enterprise Plus.
A seguir
- Se você for um usuário do VPC Service Controls, consulte VPC Service Controls.
- Restringir o acesso aos dados com regras de análise
- Introdução ao Analytics Hub.