Dotz: como Google Cloud apoiou a expansão do negócio e gerou economia de custos
Sobre Dotz
Com 20 anos de atuação e mais de 40 milhões de clientes, a Dotz é o programa de fidelidade líder do varejo brasileiro. A moeda Dotz está presente em 12 praças, 690 cidades e permite que o consumidor ganhe Dotz nas compras do dia a dia em diversos lugares, com uma ampla rede de parceiros físicos e online, e depois troque os Dotz por mais de 50 mil opções de produtos, além de passagens aéreas, pagamentos de contas e recarga de celular. Por segundo, são distribuídos cerca de DZ 900, que geram mais de 10 mil trocas por dia.
Conte qual é o seu desafio. Queremos ajudar você.
Entre em contatoCom as ferramentas de Google Cloud, o programa de fidelidade Dotz migrou 4 TB de dados do hardware para a nuvem, gerando grande economia de custos.
Resultados
- Mais de 7,8 bilhões de linhas migradas (4 TB de dados).
- Economia anual de R$ 800 mil.
- Autoescalabilidade para acompanhar o crescimento da empresa.
- Aumento de produtividade dos profissionais.
- Menos tempo para desenvolver fluxos e mais agilidade para a equipe.
- Execução de cargas diárias, sem período de manutenção e com disponibilidade imediata; a execução passou de cerca de 16 horas para minutos.
Mais de 7,8 bilhões de linhas migradas, totalizando 4 TB de dados.
Fundada nos anos 2000, a Dotz é um programa de fidelidade consolidado no país e com atuação em treze estados brasileiros, com um extenso portfólio de parceiros varejistas regionais e nacionais, como e-commerces e bancos. Em 2018, com a aquisição da sua então concorrente Netpoints, a empresa duplicou sua base de clientes - de 20 milhões para 40 milhões de usuários -, embarcou novos parceiros varejistas e ampliou sua atuação no estado de São Paulo.
Antes mesmo da compra da Netpoints se concretizar, a equipe de TI da Dotz alertou que um crescimento dessa magnitude em sua base de usuários geraria um aumento significativo de dados e, consequentemente, da demanda por armazenamento, processamento e disponibilidade. Por isso, tomou a decisão estratégica de antecipar-se e preparar-se para esse cenário em termos de tecnologia. Afinal, a empresa ainda utilizava hardware para hospedar sua base de dados, com um volume acumulado desde sua fundação.
Seria preciso uma solução na nuvem escalável, que pudesse acompanhar a expansão da companhia, garantir performance para as áreas de negócio e suportar grandes volumes de dados. Havia 7,8 bilhões de linhas a serem migradas, totalizando 4 TB de dados. Para esta grande missão, a Dotz decidiu contar com as ferramentas do Google Cloud. E os resultados foram percebidos tão rapidamente quanto o crescimento da empresa, que hoje possui centenas de parceiros e cerca de 300 colaboradores.
Das máquinas, à nuvem, à economia de R$ 800 mil/ano
A migração dos dados para o ambiente do Google Cloud teve início em 2018 e durou quase 2 anos, devido ao alto volume. Todo o processo foi conduzido por três profissionais da Dotz: Jonathas Mendes, coordenador de Big Data; Iron Cardoso, engenheiro de dados sênior; e Lucas Rosa, especialista em Engenharia de Dados e certificado como Data Engineer pelo Google Cloud, que teve um papel decisivo para a migração. O trio também recebeu o apoio de Diogenes Justo, head da área de Dados, para conseguir concretizar o projeto. “Vale ressaltar que foi de extrema importância a comunicação e o suporte da equipe do Google Cloud, principalmente nas dúvidas”, conta Mendes.
Diversas ferramentas da plataforma foram adotadas pela equipe. “Utilizamos o Cloud Composer como orquestrador dos ETLs, cuja ingestão se dá por meio do Dataflow. O BigQuery foi usado como Data Warehouse. Tudo foi automatizado utilizando o Cloud Datastore como configuração”, exemplifica Mendes. O BigQuery, em especial, se destacou pelo suporte em relação aos dados transacionais e por possibilitar que a equipe não tenha mais a preocupação com o setup de infraestrutura de máquinas.
Aliás, com uma infraestrutura na nuvem, sem servidores, a Dotz também ganhou em desempenho e automação. “Tivemos um aumento gigantesco de produtividade em comparação ao ambiente anterior. Um exemplo é a agilidade que as áreas de negócio têm ao levar valor aos nossos parceiros”, diz o coordenador de Big Data.
Com a nova solução, a equipe passou a realizar análises e executar cargas em questões de minutos - a segunda tarefa costumava demorar em torno de 16 horas. Os dados, que não eram carregados aos finais de semana, agora são carregados diariamente, sem período de manutenção e com disponibilidade imediata.
A desativação de máquinas de armazenamento de dados, encerramento de licenças e outras mudanças pós-migração geraram à companhia uma economia de R$ 800 mil por ano. Tudo com uma garantia de alta escalabilidade, alta disponibilidade e alta performance.
Aprendizados para processos mais eficazes
Um dos grandes aprendizados que a equipe da Dotz teve ao começar a utilizar as ferramentas de Cloud foi a criação de fluxos genéricos parametrizáveis. Com esta prática, o desenvolvimento de fluxos se tornou mais simples e com menos risco de erros, e os profissionais de TI ganharam mais agilidade em sua rotina.
Preparar a infraestrutura para acompanhar a expansão da Dotz também se provou fundamental para o negócio e para conseguir continuar armazenando o volume completo de dados de clientes e parceiros com escalabilidade. “Se não tivéssemos ido para o Google Cloud, a empresa com certeza teria menos dados, parte deles seria expurgada por limitação de armazenamento, as análises seriam mais demoradas, e isso impactaria diretamente nas tomadas de decisão da companhia”, declara Mendes.
O coordenador de Big Data acrescenta que o uso da infraestrutura ainda se tornou um fator de negociação alto para a Dotz. “Não somos uma empresa amadora, os dados dos nossos parceiros estão em uma das melhores empresas de cloud do mundo.”
Com o fim da operação de migração, a companhia já tem planos para adotar outras ferramentas do Google Cloud. Dois exemplos são o AutoML Vision e o Data Catalog com DLP, que devem ser implementados nas áreas de Data Science e Data Governance, respectivamente.
Conte qual é o seu desafio. Queremos ajudar você.
Entre em contato
Sobre Dotz
Com 20 anos de atuação e mais de 40 milhões de clientes, a Dotz é o programa de fidelidade líder do varejo brasileiro. A moeda Dotz está presente em 12 praças, 690 cidades e permite que o consumidor ganhe Dotz nas compras do dia a dia em diversos lugares, com uma ampla rede de parceiros físicos e online, e depois troque os Dotz por mais de 50 mil opções de produtos, além de passagens aéreas, pagamentos de contas e recarga de celular. Por segundo, são distribuídos cerca de DZ 900, que geram mais de 10 mil trocas por dia.