Boa Vista escolhe o Google Cloud para migrar todo o seu patrimônio informacional à nuvem
Sobre Boa Vista Serviços
A Boa Vista Serviços é uma empresa que alia inteligência analítica à alta tecnologia para transformar dados em soluções para os desafios de clientes e consumidores.
Conte qual é o seu desafio. Queremos ajudar você.
Entre em contatoA iniciativa representa um salto de transformação digital para a empresa, alavancando a área de data analytics e a criação e aprimoramento de produtos.
Resultados
- Aumento de nove vezes no número de modelos analíticos criados.
- Redução do tempo de grandes ingestões de dados: de até mais de 24 horas a poucos minutos.
- Possibilidade de treinar modelos de três a cinco vezes mais em comparação com o ambiente anterior.
- Automatização de mais de mil horas de operação da equipe de infraestrutura.
- Redução do preço de quase todos os produtos; o Bluebox agora custa cerca de 15% do valor original.
Processamento de modelos até 20 vezes mais rápido.
Dados são o que move o trabalho dos mais de 800 funcionários da Boa Vista Serviços. Um dos principais players brasileiros de inteligência analítica e birôs de crédito, a empresa possui um extenso banco de dados com registros de aproximadamente 280 milhões de pessoas físicas e jurídicas. É com base nessa riqueza de informações que são desenvolvidas soluções de suporte à atividade creditícia e de proteção ao crédito para os cerca de 21 mil clientes ativos da companhia, que incluem instituições financeiras, fintechs e os principais grupos empresariais e de varejo do país.
Um negócio com tamanha robustez precisa de alta tecnologia para atender rapidamente às necessidades do mercado, entregar produtos cada vez mais relevantes aos clientes e manter um diferencial competitivo. Entretanto, a infraestrutura tecnológica que a empresa possuía estava indo na contramão desses objetivos. Os servidores físicos distribuídos em 3 data centers começaram a apresentar entraves para que a empresa alcançasse a velocidade e capacidade de inovação que precisava.
Com uma escalabilidade limitada para seus recursos e processos, a equipe não conseguia treinar muitos modelos analíticos simultaneamente ou implementar técnicas modernas de machine learning. Um dos produtos inclusive estava próximo de ter as suas vendas paralisadas porque a capacidade de processamento já havia chegado ao máximo. Tudo isso gerava um impacto direto na habilidade de expansão do negócio.
A companhia decidiu, então, dar um salto na transformação digital. Todo o seu patrimônio informacional está sendo migrado do ambiente físico para a nuvem. Além disso, a organização das equipes passou de um modelo tradicional - com áreas de desenvolvimento, arquitetura, produto, entre outras trabalhando separadamente - para um modelo de squads. Os mais de 20 squads da empresa são formados por profissionais de diversas áreas para focar com mais agilidade em diferentes aspectos e desafios de tecnologia e negócios.
Para que a iniciativa pudesse ser colocada em prática, a Boa Vista buscava um provedor de nuvem que tivesse uma afinidade tecnológica com seu negócio e oferecesse as soluções mais adequadas para atender às suas necessidades, especialmente em relação à inteligência analítica. O Google Cloud foi escolhido para firmar essa parceria e ser o novo destino de todas as aplicações da companhia.
Construção de um data lake no Google Cloud
A primeira frente de migração foi a de Big Data, que tinha uma demanda urgente de expansão da capacidade de processamento. A ferramenta para processamento de dados utilizada anteriormente junto ao data center oferecia limitações de dimensionamento de recursos e governança, que faziam com que alguns colaboradores optassem por duplicar a base e utilizá-la de forma independente no desenvolvimento do seu produto.
Isso gerava múltiplas versões das bases de dados em linguagens e tecnologias diferentes, além de um custo extra para armazenar dados que se repetiam desnecessariamente. A solução foi a criação de um data lake centralizado na nuvem, que oferecesse um processamento mais robusto, alta escalabilidade e melhor governança das informações.
Com o apoio da equipe do Google Cloud, a Boa Vista conseguiu adaptar sua infraestrutura de Big Data para a nuvem de uma maneira moderna e eficiente. A decisão foi de não migrar o ambiente como estava na ferramenta anterior, mas sim de reconstruir os processos com as soluções do Google Cloud. A empresa também criou um time focado em cloud, o que ajudou a acelerar o processo.
Em apenas quatro meses, todo o ambiente originário da ferramenta anterior já estava rodando de forma nativa na nuvem do Google Cloud. Boa parte das bases de dados mais estratégicas para a companhia já foram migradas, e a previsão é de que 80% das bases estejam no data lake até o final de 2021. Todos os novos produtos também já são lançados integrados à plataforma.
Arquitetura 100% nativa da nuvem
Entre as principais ferramentas que compõem o data lake da Boa Vista, o Cloud Storage é a base para a malha de dados, o Dataproc realiza os processos massivos de ingestão das informações e o AI Platform é a plataforma de acesso para os cientistas de dados.
Mas o grande destaque fica por conta do BigQuery, utilizado para o armazenamento das bases de dados estruturadas. Além de permitir uma grande evolução na governança das informações, a solução traz visibilidade sobre os custos de consumo de cada produto e segurança na disponibilização dos dados, já que os produtos só recebem os campos que são relevantes para seu funcionamento.
Ainda falando em segurança, um dos pontos primordiais para a Boa Vista, a centralização dos processos possibilitou a aplicação de técnicas de mascaramento de dados e criação de bases sintéticas para reforçar a proteção de informações sensíveis. O VPC Service Control, do Google Cloud, foi utilizado para criar uma camada anti-exfiltração nos projetos. Dessa forma, não é possível nem para os administradores de um projeto moverem os dados, já que o nível de permissionamento é restrito somente à organização.
“A criação desse ambiente colaborou para que fossemos uma das primeiras empresas no Brasil a conseguir a certificação ISO 27701, referente à privacidade de dados.”
—Luiz Coutinho, diretor de Arquitetura e Segurança da Boa VistaA arquitetura nativa da nuvem reduziu o tempo de grandes ingestões de dados, passando de até mais de 24 horas a poucos minutos. Também não é mais preciso replicar dados em múltiplas bases para atender diferentes produtos. Todos estão disponíveis de forma centralizada no data lake, sem perda de performance.
Migração de centenas de VMs para a nuvem
Outra categoria de recursos migrada para a nuvem foi a de máquinas virtuais (VMs). Com o uso da solução Migrate to Virtual Machines, a equipe conseguiu mover para o Compute Engine cerca de 500 VMs em quatro meses, abrangendo em torno de 7,5 mil processadores. Já para os produtos que necessitavam de reconstrução, a opção foi por não migrá-los como VMs, e sim diretamente para ferramentas de data analytics do Google Cloud, como BigQuery e Dataproc.
“Tínhamos VMs que limitavam nossa capacidade de execução ou de criação de modelos, ou faziam com que criássemos modelos numa velocidade menor do que a que temos hoje. Levá-las para o Google Cloud, seja por meio de VMs, seja por meio dos produtos, nos deu uma escalabilidade muito grande”, diz Ricardo Orlando, CTO da Boa Vista.
Todas as bases e componentes das aplicações do parque de VMs foram concebidos de maneira automatizada, com módulos que se integram com as tecnologias do Google Cloud. Essa estratégia proporcionou uma maior replicabilidade, facilitando a migração de produtos já existentes e a criação de novos. Mais de mil horas de operação da equipe de infraestrutura da Boa Vista foi automatizada graças ao novo ambiente, que também possibilitou a geração de mais de 10 mil artefatos no Google Cloud via automação em 2020.
O processo foi acompanhado de perto pela equipe de especialistas do Google Cloud. “O Google Cloud tem trabalhado muito próximo dos nossos engenheiros para poder fornecer a melhor solução em cloud”, comenta Lucas Guedes, VP de Negócios da empresa. “É o que garante a resolução de todas as nossas demandas do dia a dia e dos problemas que encontramos pelo caminho para termos a velocidade que precisamos.”
Novas possibilidades para data analytics
A mudança para a nuvem impactou diretamente a área de data analytics da Boa Vista. Agora a equipe consegue paralelizar de forma ilimitada o processamento de seus modelos analíticos usando técnicas complexas de machine learning, o que aumentou a eficiência operacional dos produtos. Alguns processamentos de modelos estão até 20 vezes mais rápidos.
“A gente ganhou um poder de processamento gigante, o que fez com que o potencial das pessoas que trabalham aqui ficasse muito maior. A capacidade de desempenho do time como um todo cresceu muito nessa história”
—Ricardo Orlando, CTO da Boa VistaJunto a isso, a facilidade de acesso aos dados fez com que o time passasse a entregar nove vezes mais modelos em comparação com a infraestrutura anterior. Somente em 2021, 50 novos modelos já estão sendo criados - o que significa na prática que 50 novos produtos podem ser desenvolvidos a partir deles. Também é possível dedicar mais tempo aos treinamentos para tornar os modelos mais avançados e precisos, melhorando a qualidade dos produtos e a experiência do usuário final.
“Hoje, cada modelo é de três a cinco vezes mais treinado do que anteriormente, não medimos esforços para garantir o melhor desempenho possível. Vários clientes têm nos reportado que estamos disparando à frente dos concorrentes em relação à precisão dos produtos”, comenta Luiz Coutinho, diretor de Arquitetura e Segurança.
A nova infraestrutura permite provisionar novos ambientes em minutos ao invés de meses e escalar a infraestrutura de acordo com a demanda e recursos financeiros disponíveis. Além disso, houve uma diminuição nos custos dos produtos migrados. O Boa Vista Bluebox, por exemplo, foi reorganizado em contêineres no Google Kubernetes Engine (GKE) e passou a utilizar o BigQuery como base de dados. Agora, ele custa 15% do seu valor original.
Lançamentos mais ágeis ao mercado
Entre os novos produtos lançados após a migração está o Analytika, que começou a ser desenvolvido em 2020 e está em teste com um cliente. É uma solução de alta complexidade, já que replica a plataforma de modelagem da Boa Vista para que os clientes possam utilizá-la na criação de seus próprios modelos e soluções, levando em consideração todas as questões de segurança e legislação necessárias. “Este produto seria impensável se não estivéssemos na nuvem”, afirma o CTO.
Outro lançamento importante foi o Índice de Vulnerabilidade, que foi criado em março de 2020 e disponibilizado em abril do mesmo ano para ajudar os clientes a tomarem melhores decisões com a crise provocada pela pandemia da Covid-19. Isso só foi possível graças à possibilidade de desenvolver modelos e scores mais rapidamente.
“A gente conseguiu fazer um score e disponibilizá-lo para os clientes testarem e começarem a usar em um mês. No passado, levava três meses para fazer a mesma coisa. Esse go-to-market mais ágil ajuda também nossos clientes a terem acesso a produtos melhores, que chegam no mercado mais rápido.”
—Lucas Guedes, VP de Negócios da Boa VistaPara facilitar o acesso também dos profissionais de negócios às informações, foram criados catálogos de dados não identificáveis dos produtos no data lake. A iniciativa trouxe mais praticidade e autonomia aos profissionais. Assim, as áreas de tecnologia e negócios ganham mais insumos para somar esforços em diferentes squads e criar produtos que sigam inovando, surpreendendo e atendendo todas as necessidades dos clientes da Boa Vista.
Conte qual é o seu desafio. Queremos ajudar você.
Entre em contato
Sobre Boa Vista Serviços
A Boa Vista Serviços é uma empresa que alia inteligência analítica à alta tecnologia para transformar dados em soluções para os desafios de clientes e consumidores.