Configure e use a resolução de entidades no BigQuery

Este documento mostra como implementar a resolução de entidades para utilizadores finais da resolução de entidades (doravante denominados utilizadores finais) e fornecedores de identidade.

Os utilizadores finais podem usar este documento para estabelecer ligação a um fornecedor de identidade e usar o serviço do fornecedor para fazer corresponder registos. Os fornecedores de identidade podem usar este documento para configurar e configurar serviços para partilhar com os utilizadores finais no Google Cloud Marketplace.

Fluxo de trabalho para utilizadores finais

As secções seguintes mostram aos utilizadores finais como configurar a resolução de entidades no BigQuery. Para uma representação visual da configuração completa, consulte a arquitetura para a resolução de entidades.

Antes de começar

  1. Contacte e estabeleça uma relação com um fornecedor de identidade. O BigQuery suporta a resolução de entidades com a LiveRamp e a TransUnion.
  2. Adquira os seguintes itens do fornecedor de identidade:
    • Credenciais da conta de serviço
    • Assinatura de função remota
  3. Crie dois conjuntos de dados no seu projeto:
    • Conjunto de dados de entrada
    • Conjunto de dados de saída

Funções necessárias

Para receber as autorizações de que precisa para executar tarefas de resolução de entidades, peça ao seu administrador que lhe conceda as seguintes funções do IAM:

  • Para que a conta de serviço do fornecedor de identidade leia o conjunto de dados de entrada e escreva no conjunto de dados de saída:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Traduza ou resolva entidades

Para ver instruções específicas do fornecedor de identidade, consulte as secções seguintes.

LiveRamp

Pré-requisitos

Configuração

Os seguintes passos são obrigatórios quando usa a identidade incorporada do LiveRamp pela primeira vez. Após a conclusão da configuração, só é necessário modificar a tabela de entrada e a tabela de metadados entre execuções.

Crie uma tabela de entrada

Crie uma tabela no conjunto de dados de entrada. Preencha a tabela com RampIDs, domínios de destino e tipos de destino. Para ver detalhes e exemplos, consulte o artigo Colunas e descrições da tabela de entrada.

Crie uma tabela de metadados

A tabela de metadados é usada para controlar a execução da identidade incorporada do LiveRamp no BigQuery. Crie uma tabela de metadados no conjunto de dados de entrada. Preencha a tabela de metadados com IDs de cliente, modos de execução, domínios de destino e tipos de destino. Para ver detalhes e exemplos, consulte o artigo Colunas e descrições da tabela de metadados.

Partilhe tabelas com o LiveRamp

Conceda à conta de serviço do LiveRamp Google Cloud acesso para ver e processar dados no seu conjunto de dados de entrada. Para ver detalhes e exemplos, consulte o artigo Partilhe tabelas e conjuntos de dados com o LiveRamp.

Execute uma tarefa de identidade incorporada

Para executar uma tarefa de identidade incorporada com a LiveRamp no BigQuery, faça o seguinte:

  1. Confirme que todos os RampIDs codificados no seu domínio estão na tabela de entrada.
  2. Confirme que a tabela de metadados ainda está correta antes de executar a tarefa.
  3. Contacte LiveRampIdentitySupport@liveramp.com com um pedido de processamento de tarefas. Inclua o ID do projeto, o ID do conjunto de dados e o ID da tabela (se aplicável) para a tabela de entrada, a tabela de metadados e o conjunto de dados de saída. Para mais informações, consulte o artigo Notifique o LiveRamp para iniciar a transcodificação.

Geralmente, os resultados são enviados para o conjunto de dados de saída no prazo de três dias úteis.

Apoio técnico do LiveRamp

Para problemas de apoio técnico, contacte o apoio técnico de identidade da LiveRamp.

Faturação do LiveRamp

A LiveRamp processa a faturação para a resolução de entidades.

TransUnion

Pré-requisitos

  • Contacte o apoio técnico da TransUnion Cloud para executar um contrato de acesso ao serviço. Indique os detalhes do seu Google Cloud ID do projeto, tipos de dados de entrada, exemplo de utilização e volume de dados.
  • O apoio técnico da nuvem da TransUnion ativa o serviço para o seu Google Cloud projeto e partilha um guia de implementação detalhado que inclui dados de saída disponíveis.

Configuração

Os seguintes passos são necessários quando usa o serviço de resolução e enriquecimento de identidades do TruAudience da TransUnion no seu ambiente do BigQuery.

Crie uma ligação externa

Crie uma ligação a uma origem de dados externa do tipo modelos remotos, funções remotas e BigLake (recurso da nuvem) do Vertex AI. Vai usar esta associação para acionar o serviço de resolução de identidades alojado na conta da TransUnion Google Cloud a partir da sua contaGoogle Cloud .

Copie o ID da associação e o ID da conta de serviço, e partilhe estes identificadores com a equipa de entrega ao cliente da TransUnion.

Crie uma função remota

Crie uma função remota que interaja com o ponto final do orquestrador de serviços alojado no projeto TransUnion Google Cloud para transmitir os metadados necessários (incluindo mapeamentos de esquemas) ao serviço TransUnion. Use o ID da associação da associação externa que criou e o ponto final da função na nuvem alojada pela TransUnion partilhado pela equipa de entrega ao cliente da TransUnion.

Crie uma tabela de entrada

Crie uma tabela no conjunto de dados de entrada. A TransUnion suporta o nome, a morada, o email, o telefone, a data de nascimento, o endereço IPv4 e os IDs de dispositivos como entradas. Siga as diretrizes de formatação no guia de implementação que a TransUnion partilhou consigo.

Crie uma tabela de metadados

Crie uma tabela de metadados que armazene a configuração necessária para o serviço de resolução de identidades processar dados, incluindo mapeamentos de esquemas. Para ver detalhes e exemplos, consulte o guia de implementação que a TransUnion partilhou consigo.

Crie uma tabela de estado do trabalho

Crie uma tabela que vai receber atualizações sobre o processamento de um lote de entrada. Pode consultar esta tabela para acionar outros processos a jusante no seu pipeline. Os estados possíveis da tarefa são os seguintes: RUNNING, COMPLETED ou ERROR.

Crie a invocação do serviço

Use o procedimento seguinte para chamar o serviço de resolução de identidade da TransUnion depois de recolher todos os metadados, embalá-los e transmiti-los para o ponto final da função na nuvem de invocação alojado pela TransUnion.

-- create service invocation procedure
CREATE OR REPLACE
  PROCEDURE
    `<project_id>.<dataset_id>.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
      begin
        declare sql_query STRING;

declare json_result STRING;
declare base64_result STRING;

SET sql_query =
  '''select to_json_string(array_agg(struct(config_id,key,value))) from `''' || metadata_table
  || '''` where  config_id="''' || config_id || '''" ''';

EXECUTE immediate sql_query INTO json_result;

SET base64_result = (SELECT to_base64(CAST(json_result AS bytes)));

SELECT `<project_id>.<dataset_id>.remote_call_TransUnion_er`(base64_result);

END;
Crie a tabela de saída correspondente

Execute o seguinte script SQL para criar a tabela de saída correspondente. Este é o resultado padrão da aplicação, que inclui flags de correspondência, pontuações, IDs individuais persistentes e IDs de agregados familiares.

-- create output table
CREATE TABLE `<project_id>.<dataset_id>.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);
Configure os metadados

Siga o guia de implementação que a TransUnion partilhou consigo para mapear o seu esquema de entrada com o esquema da aplicação. Estes metadados também configuram a geração de IDs de colaboração, que são identificadores não persistentes partilháveis que podem ser usados em salas limpas de dados.

Conceda acesso de leitura e escrita

Obtenha o ID da conta de serviço da ligação do Apache Spark junto da equipa de entrega de clientes da TransUnion e conceda-lhe acesso de leitura e escrita ao conjunto de dados que contém as tabelas de entrada e saída. Recomendamos que forneça o ID da conta de serviço com uma função de editor de dados do BigQuery no conjunto de dados.

Invocar a aplicação

Pode invocar a aplicação a partir do seu ambiente executando o seguinte script.

call `<project_id>.<dataset_id>.TransUnion_get_identities`("<project_id>.<dataset_id>.TransUnion_er_metadata","1");
-- using metadata table, and 1 = config_id for the batch run

Apoio técnico

Para problemas técnicos, contacte o apoio técnico da TransUnion Cloud.

Faturação e utilização

A TransUnion acompanha a utilização da aplicação e usa-a para fins de faturação. Os clientes ativos podem contactar o respetivo representante de entrega da TransUnion para mais informações.

Fluxo de trabalho para fornecedores de identidade

As secções seguintes mostram aos fornecedores de identidade como configurar a resolução de entidades no BigQuery. Para uma representação visual da configuração completa, consulte a arquitetura para a resolução de entidades.

Antes de começar

  1. Crie uma tarefa do Cloud Run ou uma função do Cloud Run para integrar com a função remota. Ambas as opções são adequadas para este objetivo.

  2. Tome nota do nome da conta de serviço associada à função do Cloud Run ou do Cloud Run:

    1. Na Google Cloud consola, aceda à página Cloud Functions.

      Aceder ao Cloud Functions

    2. Clique no nome da função e, de seguida, clique no separador Detalhes.

    3. No painel Informações gerais, encontre e tome nota do nome da conta de serviço para a função remota.

  3. Crie uma função remota.

  4. Recolher os principais utilizadores finais do utilizador final.

Funções necessárias

Para receber as autorizações de que precisa para executar tarefas de resolução de entidades, peça ao seu administrador que lhe conceda as seguintes funções do IAM:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Partilhe a função remota de resolução de entidades

Modifique e partilhe o seguinte código da interface remota com o utilizador final. O utilizador final precisa deste código para iniciar a tarefa de resolução de entidades.

`PARTNER_PROJECT_ID.DATASET_ID`.match`(LIST_OF_PARAMETERS)

Substitua LIST_OF_PARAMETERS pela lista de parâmetros que são transmitidos à função remota.

Opcional: faculte metadados de tarefas

Opcionalmente, pode fornecer metadados de tarefas através de uma função remota separada ou escrevendo uma nova tabela de estado no conjunto de dados de saída do utilizador. Exemplos de metadados incluem estados e métricas de tarefas.

Faturação de fornecedores de identidade

Para simplificar a faturação e a integração de clientes, recomendamos que integre o seu serviço de resolução de entidades com o Google Cloud Marketplace. Isto permite-lhe configurar um modelo de preços com base na utilização da tarefa de resolução de entidades, com a Google a processar a faturação por si. Para mais informações, consulte o artigo Oferecer software como produtos de serviço (SaaS).