Criar um pipeline de destino da campanha

Criar um pipeline de destino da campanha

Aprenda a usar o Cloud Data Fusion para limpar, transformar e processar dados de clientes e selecionar candidatos para uma campanha de segmentação.

---

Para seguir as instruções passo a passo desta tarefa diretamente no console do Google Cloud, clique em Orientação:

Orientações

---

Cenário

Você quer criar materiais de marketing personalizados para uma promoção de campanha contínua, e quer distribuir os materiais diretamente para as caixas de correio domésticas com seus clientes.

Sua campanha tem duas restrições:

• Local: você só faz entregas para clientes na Califórnia, em Washington e no Oregon.
• Custo: para economizar combustível, você faz entregas a clientes acessíveis casas. Você entrega somente para clientes que moram em avenidas.

Neste tutorial, mostramos como gerar a lista de endereços de clientes para a campanha. Neste tutorial, você faz as ações a seguir:

1. Limpar os dados do cliente: filtre os clientes que moram em uma via na Califórnia, em Washington ou no Oregon.

2. Criar um pipeline que:

   • Une os dados filtrados do cliente a um conjunto de dados público com abreviações de estado.
   • Armazena os dados limpos e mesclados em uma tabela do BigQuery que pode ser consultada usando a IU da Web do BigQuery ou analisada usando o Data Studio.

Objetivos

• Conectar o Cloud Data Fusion a duas fontes de dados
• Aplicar transformações básicas.
• Mesclar as duas fontes de dados.
• Gravar os dados de saída em um coletor

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Enable the APIs

7. Crie uma instância do Cloud Data Fusion.
   Neste tutorial, presumimos que você use o serviço padrão do Compute Engine do Compute Engine.

Observação: verifique o custo estimado antes de continuar. Para gerar uma estimativa de custo com base na projeção de uso, use a calculadora de preços.

Gerenciar permissões

Crie e atribua as permissões e os papéis personalizados necessários.

Criar um papel personalizado e adicionar permissões

1. No console do Google Cloud, abra a página Papéis:

   Acessar a página "Papéis"

2. Clique em Criar papel.

3. Em Title, insira Custom Role-Tutorial.

4. Clique em Adicionar permissões.

5. Na janela Adicionar permissões, selecione as seguintes permissões e clique em Adicionar:

   • bigquery.datasets.create
   • bigquery.jobs.create
   • storage.buckets.create

6. Clique em Criar.

Atribuir um papel personalizado à conta de serviço padrão do Compute Engine

1. Acesse a página Instâncias do Cloud Data Fusion:

   Criar uma instância

2. Clique no nome da sua instância.

3. Anote a conta de serviço do Dataproc padrão. A página de detalhes da instância contém essas informações.

   Veja a seguir o formato do nome da conta de serviço do Dataproc:

   [e-mail]

   Saiba mais sobre as contas de serviço do Dataproc.

4. Acesse a página do IAM:

   Acessar a página "Papéis"

5. Na barra Filtro, digite o nome da sua conta de serviço padrão do Dataproc.

6. Para a conta de serviço padrão do Compute Engine, clique em Editar .

7. Clique em Adicionar outro papel.

8. No campo Selecionar um papel, escolha Tutorial de papel personalizado.

9. Clique em Salvar.

10. Verifique se a conta de serviço já recebeu o papel de Executor do Cloud Data Fusion.

Preparar os dados do cliente

Este tutorial requer os dois conjuntos de dados de entrada a seguir, ambos fornecidos com a instância do Cloud Data Fusion:

• Dados do cliente de amostra: um arquivo CSV chamado customers.csv.
• Abreviações de estado: uma tabela do BigQuery chamada state_abbreviations.

Carregar os dados do cliente

Observação: os dados do cliente estão em um bucket do Cloud Storage. O bucket do Cloud Storage está disponível publicamente por meio da conexão de buckets de amostra, fornecida por padrão com sua instância do Cloud Data Fusion.

1. Acesse a página Instâncias do Cloud Data Fusion:

   Acesse "Instâncias"

2. Na instância do Cloud Data Fusion que você está usando, clique em Ver instância. A interface da Web do Cloud Data Fusion é aberta em uma nova guia.

3. Clique em Wrangler. A página do Wrangler é aberta.

4. No painel Conexões, GCS > Exemplos de buckets.

5. Clique em campaign-tutorial.

6. Clique em clientes.csv.

7. Na janela Opções de análise, especifique o seguinte:

   • Formato: csv
   • Ativar valor cotado: False
   • Usar a primeira linha como cabeçalho: False
   • Codificação de arquivo: UTF-8

8. Clique em Confirmar. Os dados do cliente são carregados em uma nova guia no Wrangler.

   

Limpe os dados do cliente

Aqui tem duas subtarefas:

• Definir o esquema
• Filtrar os dados do cliente para apresentar apenas o público-alvo necessário

Definir o esquema

Defina o esquema dos dados atribuindo nomes apropriados às colunas da tabela. Para dar às colunas, como body_1 e body_2, nomes mais informativos, siga estas etapas:

1. No painel direito, clique na guia Colunas.
2. Clique no menu suspenso Nomes das colunas e selecione Definir tudo.

3. Na caixa de diálogo Definir nomes de colunas em massa, insira os seguintes nomes de colunas separados por vírgulas:

   Name,StreetAddress,City,State,Country
   

4. Clique em Aplicar.

Filtrar os dados

Filtre os dados para exibir somente os clientes que moram na Califórnia, no estado de Washington ou em Washington.

Remova todas as linhas que contenham valores diferentes destes estados:

1. Clique no menu suspenso da coluna Estado e selecione Filtrar.

2. Na janela de filtro, faça o seguinte:

   1. Clique em Manter linhas.
   2. Clique no menu suspenso Se e selecione o valor corresponde ao regex.

   3. Digite a seguinte expressão regular:

      ^(California|Oregon|Washington)$
      

   4. Clique em Aplicar.

   Os valores na coluna Estado são Califórnia, Oregon ou Washington.

Filtre os dados para exibir somente clientes que moram em avenidas. Mantenha apenas os endereços que contêm a string Avenue:

1. Clique no menu suspenso da coluna StreetAddress e selecione StreetAddress.
2. Na janela de filtro, faça o seguinte:
   1. Clique em Manter linhas.
   2. Clique na lista suspensa Se, selecione o valor contém e insira Avenue.
   3. Selecione Ignorar diferença entre maiúsculas e minúsculas.
   4. Clique em Aplicar.

Antes de executar jobs de processamento paralelo em todo o conjunto de dados, o Wrangler exibe apenas os primeiros 1.000 valores do conjunto de dados. Como você filtrou alguns dados, apenas alguns clientes permanecem na tela do Wrangler.

Criar um pipeline em lote

Você limpou os dados e executou transformações em um subconjunto de dados. Agora é possível criar um pipeline em lote para executar transformações em todo o conjunto de dados.

O Cloud Data Fusion traduz o pipeline que você cria no Studio em um programa Apache Spark que executa transformações no em paralelo em um cluster temporário do Dataproc. Esse processo permite que você executar transformações complexas em grandes quantidades de dados de forma escalonável, confiável, sem precisar lidar com a infraestrutura.

1. Na página do Wrangler, clique em Criar um pipeline.
2. Selecione Pipeline em lote. A página do Studio é aberta.

3. Na página do Studio, um nó de origem do GCSFile é conectado a um nó do GCSFile.

   

   As transformações que você aplicou na página do Wrangler aparecem no nó do Wrangler na página do Studio.

4. Para visualizar as transformações que você aplicou, mantenha o ponteiro do mouse sobre o nó do Wrangler e clique em Propriedades.

   As transformações que você aplicou aparecem nas Diretivas.

   

5. Clique em Validate (Validar).

6. Clique em Fechar.

Para aplicar mais transformações, clique em Wrangle e volte à página do Wrangler. A transformação que você adicionou aparece na página do Studio.

Por exemplo, você percebe que a coluna País não é necessária porque o valor é sempre USA. Para excluir a coluna, siga estas etapas:

1. Clique em Wrangle.
2. Clique na seta para baixo ao lado de País e selecione Excluir coluna.
3. Clique em Aplicar. A página do Wrangler é fechada, e a janela "Propriedades do Wrangler" é aberta na página do Studio. Nas Diretivas, aparece drop Country.
4. Clique em Fechar.

Abrevie os nomes dos estados

O sistema de navegação do veículo de entrega só reconhece endereços que contêm nomes de estados abreviados (CA, não Califórnia), e os dados de clientes contêm nomes completos de estados.

A tabela pública state_abbreviations do BigQuery tem duas colunas: uma com os nomes de estado completos e outra com os nomes de estado abreviados. Use esta tabela para atualizar os nomes dos estados nos dados do cliente.

Veja os dados de nomes de estado no BigQuery

1. Em uma guia separada, acesse a página do BigQuery Studio:

   Acessar o BigQuery

2. Clique em Criar consulta SQL e insira a seguinte consulta no editor de consultas:

   SELECT * FROM `dis-user-guide.campaign_tutorial.state_abbreviations`
   

3. Clique em Executar.

   O BigQuery exibe uma lista de nomes de estado e os abreviações.

Acesse a tabela do BigQuery

Adicione uma origem ao pipeline que acessará a tabela state_abbreviations do BigQuery.

1. Acesse a página do Cloud Data Fusion Studio e expanda o menu Origem.

2. Clique em BigQuery.

   Um nó de origem do BigQuery aparecerá na tela com os outros dois nós.

3. Mantenha o ponteiro sobre o nó de origem do BigQuery e clique em Propriedades.

   1. No campo ID do projeto do conjunto de dados, digite dis-user-guide.
   2. No campo Nome de referência, insira state_abbreviations.
   3. No campo Conjunto de dados, insira campaign_tutorial.
   4. No campo Table, insira state_abbreviations.

4. Preencha o esquema da tabela do BigQuery clicando em Ver esquema.

5. Clique em Fechar.

Mescle as duas fontes de dados

Para gerar uma saída que contenha dados do cliente com nomes de estados abreviados, mescle as duas fontes de dados, os dados do cliente e as abreviações de estado.

1. Acesse a página do Cloud Data Fusion Studio e expanda o menu Análise.

2. Clique em Joiner.

   Um nó do Joiner, representando uma ação semelhante a uma mesclagem de SQL, aparece na tela.

3. Conecte o nó do Wrangler e o nó do BigQuery ao nó do Joiner: arraste uma seta de conexão na borda direita do nó de origem e solte no nó de destino.

   

4. Mantenha o ponteiro sobre o nó Joiner e clique em Propriedades.

   1. Na seção Campos, expanda o Wrangler e o BigQuery.

      1. Desmarque a caixa de seleção estado do Wrangler.
      2. Desmarque a caixa de seleção nome do BigQuery porque você quer apenas o nome do estado abreviado, e não o nome completo do estado.

      3. Mantenha a caixa de seleção abreviação do BigQuery marcada e altere o alias para State.

         

   2. No campo Tipo de mesclagem, deixe o valor como Externo. Em Entradas necessárias, marque a caixa de seleção Wrangler.

   3. Na seção Condição de mesclagem do Wrangler, selecione Estado. No BigQuery, selecione nome.

   4. Gere o esquema da combinação resultante. Clique em Ver esquema.

   5. Clique em Validar.

   6. Clique em Fechar.

Armazene a saída no BigQuery

Armazene o resultado do pipeline em uma tabela do BigQuery. O local onde os dados serão armazenados é chamado de coletor.

1. Acesse a página do Cloud Data Fusion Studio e expanda o Coletor.
2. Clique em BigQuery.

3. Conecte o nó do Joiner ao nó do BigQuery.

   

4. Mantenha o ponteiro sobre o nó BigQuery e clique em Propriedades.

   1. No campo Conjunto de dados, insira dis_user_guide.
   2. No campo Tabela, selecione customer_data_abbreviated_states.
   3. Clique em Fechar.

Implantar e executar o pipeline

1. Na página do Studio, clique em Nomear o pipeline e insira CampaignPipeline.
2. Clique em Salvar.
3. No canto superior direito, clique em Deploy.
4. Quando a implantação terminar, clique em Executar.

A execução do pipeline pode levar alguns minutos. Enquanto espera, é possível observar o Status da transição do pipeline de Provisionando > Iniciando > Em execução > Desprovisionando > Concluído.

Ver os resultados

1. No Console do Google Cloud, acesse a página do BigQuery:

   Ir para o BigQuery

2. Clique em Criar consulta SQL.

3. consulte a tabela customer_data_abbreviated_states:

   SELECT * FROM dis_user_guide.customer_data_abbreviated_states LIMIT 1000
   

   

   Observação: para fazer uma análise mais detalhada, você pode conectar essa tabela ao Looker Studio.

O pipeline de dados foi criado com sucesso.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir o conjunto de dados do BigQuery

Para excluir o conjunto de dados do BigQuery que você criou neste faça o seguinte:

1. No console do Google Cloud, acesse a página do BigQuery.

   Ir para o BigQuery

2. Selecione o conjunto de dados dis_user_guide.
3. Clique em Excluir conjunto de dados.

Excluir a instância do Cloud Data Fusion

Siga estas instruções para excluir a instância do Cloud Data Fusion.

Exclua o projeto

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

A seguir

• Saiba mais sobre o Cloud Data Fusion.