Tail: boas práticas da startup que migrou para Google Cloud em 3 dias sem paralisar os serviços
Sobre Tail
A Tail é uma plataforma SaaS de inteligência de dados que traz o poder do big data analytics e do machine learning para todas as empresas. A startup oferece uma suíte de soluções exclusivas, que permite a marcas de todas as indústrias obterem insights instantâneos valiosos a partir da análise dos dados de seus próprios consumidores e prospects, bem como de dados de web-behavior e geo-behavior exclusivos, otimizando a performance de marketing do negócio. A Tail tem sede em São Paulo, Brasil, com atuação em toda a América Latina e EUA.
Conte qual é o seu desafio. Queremos ajudar você.
Entre em contatoApós uma migração realizada em apenas 3 dias, a Tail pôde aprimorar sua infraestrutura, otimizar a rotina dos profissionais de TI e economizar custos.
Resultados
- Migração de 100% da infraestrutura em 3 dias sem paralisação da empresa, envolvendo mais de 300 servidores.
- Oportunidade de parar, rever e otimizar o legado da infraestrutura.
- Redução do tempo de pesquisas no banco de dados de minutos para milissegundos.
- Mais facilidade para processar e gerenciar dados com a migração dos HDFS próprios para o Cloud Storage.
- Mais agilidade para a equipe de TI liberar funcionalidades e atender mais chamados.
- Redução de 400 ms para 180 ms na latência de entrega dos scripts da plataforma da Tail.
A Tail migrou sua infraestrutura em três dias sem parar seus serviços.
São inúmeros os casos de companhias que estão migrando sua infraestrutura para a nuvem. Mas também há empresas que só conseguiram ser criadas por causa da nuvem. Este é o caso da startup brasileira Tail, que desde 2012 contribui com a estratégia de marketing de empresas por meio de sua própria plataforma SaaS de inteligência de dados. Como o modelo do serviço envolve fatores como o escalonamento da infraestrutura durante o dia, imprevisibilidade de tráfego, entre outros, a existência da Tail seria praticamente inviável se dependesse de contratação de servidores e locação de data center.
A estrutura da startup permite uma capacidade de entrega muito mais rápida que a de outros grandes players do mercado. Um projeto típico costuma ser implementado em até 60 dias, sem a necessidade de uma consultoria externa, oferecendo aos clientes análises de dados comportamentais de seus consumidores em tempo real, ativações mais inteligentes, enriquecimento instantâneo de bases e conformidade com a LGPD e GDPR.
Entretanto, a evolução desta estrutura começou a acumular alguns gargalos para a equipe de TI da Tail com o passar dos anos. Principalmente, porque a solução de cloud que a empresa havia contratado em 2012 não tinha tantos serviços de automação na nuvem naquela época. Isso fez com que a startup começasse a desenvolver alguns destes serviços internamente. Além disso, como a distribuição de Hadoop do serviço que eles usavam não era compatível com a versão do software da Tail, a equipe também acabou criando sua distribuição de Hadoop, junto com uma instalação própria de HDFS distribuído em vários HDs e servidores. Ou seja, até o storage havia ficado por conta da empresa.
Ao longo de 7 anos, a Tail seguiu construindo seus próprios serviços. Mas chegou a um ponto em que os 10 profissionais da equipe de TI não conseguiam mais encontrar tempo para rever e aprimorar os processos. “Nós queríamos sempre evoluir, mas não conseguíamos parar para olhar o que já foi feito, como melhorar o nosso legado, o que fazer com tudo o que já tínhamos”, conta Fernando Babadopulos, cofundador e CTO da Tail. Até que, em 2019, surgiu uma ideia: e se a empresa migrasse sua infraestrutura?
Aprender para migrar
Para saber se essa ideia poderia ser colocada em prática, era preciso entender se havia uma solução que faria sentido tanto em termos tecnológicos quanto em termos financeiros. Acima de tudo, a solução precisaria permitir que a empresa fizesse a migração sem precisar paralisar os serviços prestados a seus clientes. Após uma série de análises e conversas entre a equipe técnica e a diretoria, a Tail encontrou no Google Cloud a solução ideal.
Entretanto, antes de mais nada, havia uma questão importante a ser resolvida: a equipe de TI tinha pouquíssimo conhecimento sobre as soluções existentes. Por isso, decidiram realizar as certificações oferecidas pelo Google Cloud. “A primeira certificação que eu fiz foi de Data Engineer, e eu posso garantir que foi essencial para a gente conseguir fazer a migração”, afirma Babadopulos. Como a equipe iria fazer a migração por conta própria, estudar as ferramentas, conceitos e nomenclaturas da plataforma foi decisivo para que o processo funcionasse.
Em 20 dias, a equipe conseguiu conquistar 7 certificações do Google Cloud: Professional Cloud Architect, Professional Cloud Security Engineer, Professional Cloud Network Engineer e quatro de Professional Data Engineer. “Foi bom porque a gente se forçou a estudar, conseguiu fazer as certificações e usou todo esse conhecimento para fazer o planejamento da migração”, diz o CTO. E foi justamente este o próximo passo da equipe.
Como o processo de migração deveria acontecer a quente, ou seja, sem paralisar os serviços da empresa, o planejamento foi fundamental. “Preparamos mais ou menos um mês de planejamento fazendo testes em pedaços pontuais do sistema. Nós temos quatro bancos de dados diferentes aqui, e cada um precisava de um plano de migração diferente”, explica Babadopulos. Entre testes e pilotos de migração, a equipe conseguiu entender como seria o passo a passo do processo e estimou de 2 a 3 dias para migrar 100% da infraestrutura.
Tudo precisava estar muito bem ajustado para que não houvesse problemas que iriam requerer uma pausa no sistema. Especialmente quando chegasse no ponto em que não daria mais para voltar, quando não houvesse mais nada sincronizado com o serviço anterior. Uma vez migrada, a infraestrutura precisava já estar funcionando.
Todo o planejamento valeu a pena. Foram 3 dias de migração diretos, 24 horas por dia, de mais de 300 servidores. A equipe enfrentou poucos contratempos durante o processo, mas nenhum que a impedisse de garantir a disponibilidade dos serviços para os clientes neste período. A migração aconteceu em dezembro de 2019, e os resultados já foram sentidos pouco tempo depois.
Uma nova rotina para a equipe de TI
Os impactos da migração foram sentidos de diferentes maneiras pela equipe de TI da Tail. A começar pela oportunidade que este processo possibilitou de parar, rever todo o legado da infraestrutura e otimizá-la. Um exemplo foi a questão da criação dos serviços para a nuvem. A startup conseguiu aposentar alguns de seus softwares e passou a usar ferramentas como o Cloud Load Balancing, para balanceamento de carga, o Compute Engine, para escalonamento de máquinas, e o BigQuery, para pesquisa e análise no banco de dados.
“Antes tínhamos alguns problemas de escalabilidade, de tempo de resposta, e o BigQuery resolveu isso muito bem. Acabamos indo de minutos para milissegundos em algumas pesquisas”, relata Babadopulos.
O problema com o storage também foi solucionado. Se por 7 anos a equipe precisou armazenar grandes volumes de dados fora da VM, hoje os HDs e servidores já não são mais necessários. Os HDFS foram migrados para o Cloud Storage, onde a startup consegue processar e gerenciar os dados com mais facilidade, sem precisar copiá-los de um sistema externo.
Em relação ao acesso à infraestrutura, a solução anterior dava permissão para apenas dois profissionais. Com o Google Cloud, são atualmente três profissionais com acesso. Isso significa não apenas mais facilidade e segurança para interagir e trabalhar neste ambiente, como também um impacto no dia a dia da equipe, que consegue liberar as funcionalidades mais rápido e atender mais chamados.
Outros benefícios apontados pelo CTO da Tail foram a permanência da criptografia de dados por padrão tanto em repouso quanto em trânsito (com a possibilidade de manter a chave de criptografia fora da nuvem), a utilização da rede de alta velocidade do Google para o tráfego de informações e a redução de 400 ms para 180 ms na latência de entrega dos scripts da plataforma da startup com o Cloud CDN.
Emmanuel Martins, Diretor de BizDev da startup, destacou ainda um diferencial da migração para a prospecção de clientes, já que o fato da plataforma da Tail utilizar a infraestrutura do Google é percebido como positivo para ajudar as empresas em seu processo de transformação digital.
“Estamos fazendo parte de uma história que já está sendo contada, com ferramentas que nossos clientes conhecem e confiam. Com isso ganhamos escala, permitindo prospectar mais, participar de mais reuniões e, consequentemente, fechar mais negócios”
—Emmanuel MartinsRecomendações para outras startups
A mudança possibilitou à Tail otimizar sua infraestrutura, custos e rotina de trabalho da equipe de TI. Com isso, a empresa tem planos para ampliar o uso das ferramentas conforme a evolução dos projetos, como a migração de outros serviços para o BigQuery.
Para outras startups que desejam migrar por conta própria, Babadopulos acredita que as maiores recomendações a partir da experiência da Tail foram o preparo e o planejamento, por meio das certificações e dos testes pré-migração, todos feitos com bancos de dados, VMs e serviços reais. “Os testes de migração ajudaram a nos deixar mais confiantes para a migração em si”, afirma.
Conte qual é o seu desafio. Queremos ajudar você.
Entre em contato
Sobre Tail
A Tail é uma plataforma SaaS de inteligência de dados que traz o poder do big data analytics e do machine learning para todas as empresas. A startup oferece uma suíte de soluções exclusivas, que permite a marcas de todas as indústrias obterem insights instantâneos valiosos a partir da análise dos dados de seus próprios consumidores e prospects, bem como de dados de web-behavior e geo-behavior exclusivos, otimizando a performance de marketing do negócio. A Tail tem sede em São Paulo, Brasil, com atuação em toda a América Latina e EUA.