Criar um pipeline de campanha de destino
Saiba como usar o Cloud Data Fusion para limpar, transformar e processar dados de clientes e selecionar candidatos para uma campanha segmentada.
Para seguir as instruções detalhadas desta tarefa diretamente no console do Google Cloud, clique em Orientação:
Cenário
Você quer criar materiais de marketing personalizados para uma promoção de campanha em andamento e distribuí-los diretamente para as caixas de correio dos seus clientes.
Sua campanha tem duas restrições:
- Local: você só faz entregas para clientes na Califórnia, em Washington e no Oregon.
- Custo: para economizar combustível, você entrega em casas de cliente com acesso rápido. Você entrega somente para clientes que moram em avenidas.
Neste tutorial, mostramos como gerar a lista de endereços de clientes para a campanha. Neste tutorial, você faz as ações a seguir:
- Limpar os dados do cliente: filtre os clientes que moram em uma via na Califórnia, em Washington ou no Oregon.
Crie um pipeline que faça o seguinte:
- Une os dados filtrados do cliente a um conjunto de dados público com abreviações de estado.
- Armazena os dados limpos e mesclados em uma tabela do BigQuery que você pode consultar (usando a interface da Web do BigQuery) ou analisar (usando o Looker Studio).
Objetivos
- Conectar o Cloud Data Fusion a duas fontes de dados
- Aplicar transformações básicas.
- Mesclar as duas fontes de dados.
- Gravar os dados de saída em um coletor
Antes de começar
- Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Ative as APIs Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc.
- Crie uma instância do Cloud Data Fusion.
Neste tutorial, presumimos que você usa a conta de serviço padrão do Compute Engine.
Gerenciar permissões
Crie e atribua as permissões e os papéis personalizados necessários.
Criar um papel personalizado e adicionar permissões
No console do Google Cloud, acesse a página Papéis:
Clique em
Criar função.No campo Título, insira
Custom Role-Tutorial
.Clique em
Adicionar permissões.Na janela Adicionar permissões, selecione as seguintes permissões e clique em Adicionar:
bigquery.datasets.create
bigquery.jobs.create
storage.buckets.create
Clique em Criar.
Atribuir um papel personalizado à conta de serviço padrão do Compute Engine
Acesse a página Instâncias do Cloud Data Fusion:
Clique no nome da sua instância.
Anote a conta de serviço do Dataproc padrão. A página de detalhes da instância contém essas informações.
Veja a seguir o formato do nome da conta de serviço do Dataproc:
CUSTOMER_PROJECT_NUMBER-compute@developer.gserviceaccount.com
.Saiba mais sobre as contas de serviço do Dataproc.
Acesse a página do IAM:
Na barra Filtro, digite o nome da sua conta de serviço padrão do Dataproc.
Para a conta de serviço padrão do Compute Engine, clique em Editar
.Clique em
Adicionar outro papel.No campo Selecionar um papel, escolha Tutorial de papéis personalizados.
Clique em Save.
Verifique se a conta de serviço já recebeu o papel de Executor do Cloud Data Fusion.
Preparar os dados do cliente
Este tutorial requer os dois conjuntos de dados de entrada a seguir, ambos fornecidos com a instância do Cloud Data Fusion:
- Dados do cliente de amostra: um arquivo CSV chamado
customers.csv
. - Abreviações de estado: uma tabela do BigQuery chamada
state_abbreviations
.
Carregar os dados do cliente
Acesse a página Instâncias do Cloud Data Fusion:
Na instância do Cloud Data Fusion que você está usando, clique em Ver instância. A interface da Web do Cloud Data Fusion é aberta em uma nova guia.
Clique em Wrangler. A página do Wrangler é aberta.
No painel Conexões, GCS > Exemplos de buckets.
Clique em campaign-tutorial.
Clique em customers.csv.
Na janela Parsing options, especifique o seguinte:
- Formato:
csv
- Ativar valor citado:
False
- Usar a primeira linha como cabeçalho:
False
- Codificação de arquivos:
UTF-8
- Formato:
Clique em Confirm. Os dados do cliente são carregados em uma nova guia no Wrangler.
Limpe os dados do cliente
Ela contém duas subtarefas:
- Como definir o esquema
- Filtrar os dados do cliente para apresentar apenas o público-alvo necessário
Definir o esquema
Defina o esquema dos dados atribuindo nomes apropriados às colunas da tabela. Para dar às colunas, como body_1
e body_2
, nomes mais informativos, siga estas etapas:
- No painel à direita, clique na guia Colunas.
- Clique no menu suspenso Nomes das colunas e selecione Definir tudo.
Na caixa de diálogo Definir nomes de colunas em massa, insira os seguintes nomes de colunas separados por vírgulas:
Name,StreetAddress,City,State,Country
Clique em Aplicar.
Filtrar os dados
Filtre os dados para exibir somente os clientes que moram na Califórnia, no estado de Washington ou em Washington.
Remova todas as linhas que contenham valores diferentes destes estados:
- Clique na lista suspensa da coluna Estado e selecione Filtrar.
Na janela de filtro, faça o seguinte:
- Clique em Manter linhas.
- Clique no menu suspenso Se e selecione o valor corresponde ao regex.
Digite a seguinte expressão regular:
^(California|Oregon|Washington)$
Clique em Aplicar.
Os valores na coluna Estado são Califórnia, Oregon ou Washington.
Filtre os dados para exibir somente clientes que moram em avenidas. Mantenha
apenas os endereços que contêm a string avenue
:
- Clique no menu suspenso da coluna StreetAddress e selecione Filtrar.
Na janela de filtro, faça o seguinte:
- Clique em Manter linhas.
- Clique no menu suspenso Se, selecione o valor contém e insira
Avenue
. - Selecione Ignorar diferença entre maiúsculas e minúsculas.
Clique em Aplicar.
Antes de executar jobs de processamento paralelo em todo o conjunto de dados, o Wrangler exibe apenas os primeiros 1.000 valores do conjunto de dados. Como você filtrou alguns dados, apenas alguns clientes permanecem na tela do Wrangler.
Criar um pipeline em lote
Você limpou os dados e executou transformações em um subconjunto de dados. Agora é possível criar um pipeline em lote para executar transformações em todo o conjunto de dados.
O Cloud Data Fusion traduz o pipeline criado no Studio em um programa Apache Spark que executa transformações em paralelo em um cluster temporário do Dataproc. Esse processo permite executar transformações complexas em grandes quantidades de dados de maneira escalonável e confiável, sem precisar lidar com a infraestrutura.
- Na página do Wrangler, clique em Criar um pipeline.
- Selecione Pipeline em lote. A página do Studio é aberta.
No canto superior esquerdo, verifique se Pipeline de dados - Lote é exibido como o tipo de pipeline.
Na página do Studio, um nó de origem do GCSFile é conectado a um nó do Wrangler.
As transformações que você aplicou na página do Wrangler aparecem no nó do Wrangler na página do Studio.
Para visualizar as transformações que você aplicou, mantenha o ponteiro do mouse sobre o nó do Wrangler e clique em Propriedades.
As transformações que você aplicou aparecem nas Diretivas.
Clique em Validate (Validar).
Clique em
Fechar.
Por exemplo, você perceberá que a coluna País não é necessária, porque o valor é sempre "EUA". Para excluir a coluna, siga estas etapas:
- Clique em Wrangle.
- Clique na seta para baixo ao lado de País e selecione Excluir coluna.
- Clique em Aplicar. A página do Wrangler é fechada, e a janela de propriedades do Wrangler
é aberta na página do Studio. Em Diretivas, aparece o
drop Country
. - Clique em Fechar.
Abrevie os nomes dos estados
O sistema de navegação do veículo de entrega só reconhece endereços que contêm nomes de estados abreviados (CA, não Califórnia), e os dados de clientes contêm nomes completos de estados.
A tabela pública state_abbreviations
do BigQuery tem duas colunas: uma com os nomes de estado completos e outra com os nomes de estado abreviados.
Use esta tabela para atualizar os nomes dos estados nos dados do cliente.
Veja os dados de nomes de estado no BigQuery
Em uma guia separada, acesse a página do BigQuery Studio:
Clique em Criar consulta SQL e insira a seguinte consulta no editor de consultas:
SELECT * FROM `dis-user-guide.campaign_tutorial.state_abbreviations`
Clique em Run.
Isso exibe os nomes dos estados e as abreviações.
Acesse a tabela do BigQuery
Adicione uma origem ao pipeline que acesse a tabela state_abbreviations
do BigQuery.
- Acesse a página do Cloud Data Fusion Studio e expanda o menu Origem.
Clique em BigQuery.
Um nó de origem do BigQuery aparece na tela com os outros dois nós.
Mantenha o ponteiro do mouse sobre o nó de origem do BigQuery e clique em Propriedades.
- No campo ID do projeto do conjunto de dados, digite
dis-user-guide
. - No campo Nome de referência, insira
state_abbreviations
. - No campo Conjunto de dados, insira
campaign_tutorial
. - No campo Table, insira
state_abbreviations
.
- No campo ID do projeto do conjunto de dados, digite
Preencha o esquema da tabela do BigQuery clicando em Ver esquema.
Clique em
Fechar.
Mescle as duas fontes de dados
Para gerar uma saída que contenha dados do cliente com nomes de estados abreviados, mescle as duas fontes de dados, os dados do cliente e as abreviações de estado.
- Acesse a página do Cloud Data Fusion Studio e expanda o menu Análise.
Clique em Joiner.
Um nó de Combinador, representando uma ação semelhante a uma mesclagem de SQL, aparece na tela.
Conecte o nó do Wrangler e o nó do BigQuery ao nó do Combinador: arraste uma seta de conexão na borda direita do nó de origem e solte no nó de destino.
Mantenha o ponteiro do mouse sobre o nó do Combinador e clique em Propriedades.
Na seção Campos, expanda o Wrangler e o BigQuery.
- Desmarque a caixa de seleção state do Wrangler.
- Desmarque a caixa de seleção name do BigQuery porque você quer apenas o nome abreviado do estado e não o nome completo do estado.
Mantenha a caixa de seleção abreviação do BigQuery marcada e altere o alias para
State
.
No campo Tipo de mesclagem, deixe o valor como Externo. Em Entradas obrigatórias, marque a caixa de seleção Wrangler.
Na seção Condição de mesclagem do Wrangler, selecione Estado. Para BigQuery, selecione
Name
.Gere o esquema da combinação resultante. Clique em Ver esquema.
Clique em Validate (Validar).
Clique em
Fechar.
Armazene a saída no BigQuery
Armazene o resultado do pipeline em uma tabela do BigQuery. O local onde os dados serão armazenados é chamado de coletor.
- Acesse a página do Cloud Data Fusion Studio e expanda o Coletor.
- Clique em BigQuery.
Conecte o nó do Joiner ao nó do BigQuery.
Mantenha o ponteiro do mouse sobre o nó do BigQuery e clique em Propriedades.
- No campo Conjunto de dados, insira
dis_user_guide
. - No campo Tabela, selecione
customer_data_abbreviated_states
. - Clique em Fechar.
- No campo Conjunto de dados, insira
Implantar e executar o pipeline
Na página do Studio, clique em Nomear o pipeline e insira
CampaignPipeline
.Clique em OK.
No canto superior direito, clique em Deploy.
Após a conclusão da implantação, clique em Executar.
A execução do pipeline pode levar alguns minutos. Enquanto espera, é possível observar o Status da transição do pipeline em Provisionamento > Iniciando > Em execução > Desprovisionamento > Concluído.
Ver os resultados
No Console do Google Cloud, acesse a página do BigQuery:
Clique em Criar consulta SQL.
Consulte a tabela
customer_data_abbreviated_states
:SELECT * FROM dis_user_guide.customer_data_abbreviated_states LIMIT 1000
Você criou um pipeline de dados.
Limpar
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.
Excluir o conjunto de dados do BigQuery
Para excluir o conjunto de dados do BigQuery criado neste tutorial, faça o seguinte:
- No console do Google Cloud, acesse a página do BigQuery.
- Selecione o conjunto de dados
dis_user_guide
. - Clique em delete Excluir conjunto de dados.
Excluir a instância do Cloud Data Fusion
Siga estas instruções para excluir a instância do Cloud Data Fusion.
Excluir o projeto
O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.
Para excluir o projeto:
- No Console do Google Cloud, acesse a página Gerenciar recursos.
- Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
- Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.
A seguir
- Saiba mais sobre o Cloud Data Fusion.