500 milhões de novos registros processados diariamente, com transferência de até 400 Gb de informações por segundo
Redução de tempo na execução de operações complexas, de 6 meses para poucas semanas
Catálogo unificado e dashboards no Looker facilitaram a localização e o acesso às informações
Depois da consolidação da plataforma de governança na nuvem, a companhia conquistou mais agilidade em seus processos internos, mantendo um alto padrão de qualidade e reduzindo custos excedentes
Depois da consolidação da plataforma de governança na nuvem, a companhia conquistou mais agilidade em seus processos internos, mantendo um alto padrão de qualidade e reduzindo custos excedentes
A CERC é uma startup que apoia empresas brasileiras no acesso a melhores serviços de crédito e na expansão dos seus negócios. Atuando como provedora de infraestrutura do mercado financeiro (IMF), a companhia é especializada em recebíveis.
Desenvolvida com base em tecnologia do Google Cloud desde a sua fundação, a CERC liderou diversos projetos utilizando as soluções em nuvem. Um dos mais recentes engloba a área de dados, que passou a ser usada para agregar mais valor aos clientes da empresa - formados, majoritariamente, por instituições financeiras e grandes organizações.
A intenção, portanto, era reunir informações úteis para entender melhor o fluxo dos financiados ou dos clientes finais dessas companhias atendidas pela CERC. Para alcançar este objetivo, seria necessária a implementação de um data lake, o que traria uma transformação no modelo de negócios e na atuação da empresa.
Havia um desejo de conduzir o processo de governança, gestão e controle do volume massivo de informações transitadas, em uma escala muito mais rápida, com mais variabilidade e a partir do uso da tecnologia.
Por este motivo, a empresa também deu um segundo passo em direção à automação e ao aprimoramento do tratamento de dados, investindo em soluções de governança com inteligência artificial. E, nesse processo, contou com o suporte do Google Cloud para viabilizar o projeto.
Centralização e organização para extrair o que há de mais valioso nos dados
O objetivo da iniciativa era obter um modelo de governança proativo e ainda mais robusto, monitorado, gerenciado e que emitisse alertas em tempo real sobre o uso dos dados na organização.
As reuniões entre o time de tecnologia da CERC e do Google Cloud foram fundamentais para a implementação, desde o desenho da arquitetura até o suporte técnico e a colaboração com as equipes de produtos. Os pontos de destaque foram os valiosos exemplos de casos práticos apresentados pela equipe do Google Cloud e os questionamentos que surgiram ao longo da jornada por parte da CERC. A combinação desses dois aspectos ajudou a compor a solução ideal.
Em setembro de 2024, teve início o projeto que levaria três meses para ser executado. Se antes as diferentes necessidades da CERC geravam iniciativas para suprir demandas específicas, com times múltiplos, agora, a intenção era integrar todos os processos, proporcionando uma visão mais ampla e um direcionamento mais estratégico das informações da organização.
E é a junção de todos os recursos da nuvem que reflete na maior visibilidade e na avaliação e identificação de padrões de uso da nossa organização. Além disso, o fator positivo é poder contar com tecnologias que possuem o potencial esperado para acompanhar o nosso ritmo de crescimento.
Juliano Pereira
Chief Data Officer, CERC
A principal ferramenta que possibilitou essa mudança foi o Dataplex Data Catalog, que centraliza e organiza os metadados de todas as bases de dados, fornecendo uma visão unificada dos ativos de dados. O Cloud Asset Inventory, outra ferramenta complementar, faz a coleta de dados sobre os recursos do Google Cloud incluindo labels, para enriquecer os metadados e prover contexto adicional.
O BigQuery serve como repositório principal para os metadados exportados do Dataplex e do Cloud Asset Inventory, permitindo a realização de análises e consultas eficientes. E, por outro lado, o Looker atua na criação de dashboards interativos que apresentam a possibilidade de visualização e exploração dos metadados de forma intuitiva, tanto para usuários mais técnicos quanto para outras áreas de controle e auditoria da empresa.
Com o uso do RAG Engine (componente do Vertex AI) e do modelo Gemini, a CERC automatizou a geração de descrições para tabelas e colunas, não se limitando à identificação de dados sensíveis e confidenciais a partir da Lei Geral de Proteção de Dados (LGPD), acelerando o processo de catalogação. Foram criados agentes que catalogam essa gama de dados de maneira uniforme.
Enquanto um processo como esse levaria certamente mais de seis meses, ainda dependendo de mão de obra especializada e suscetível a erros operacionais, o Gemini se distingue pela eficiência e abrangência, executando operações que envolvem cerca de 10 mil tabelas e mais de milhares de colunas em poucos dias.
Uma plataforma completa e os resultados que comprovam a sua capacidade
A automação na identificação de dados sensíveis e confidenciais facilitou a aplicação de políticas de segurança e conformidade de forma imediata, sem precisar de intervenção humana. Com um catálogo unificado e os dashboards no Looker, a descoberta e o acesso às informações passaram a ser uma realidade, unindo a capacidade de time travel e o detalhamento por domínios, projetos, níveis de criticidade e data owners.
Com a conclusão do projeto abrangendo o Dataplex e o Gemini, temos um mar de oportunidades pela frente. Estamos conectando nosso inventário de dados e atribuindo mais automações no mascaramento de dados, planejando o uso de token e a eliminação de redundâncias, tudo para aprimorar ainda mais as nossas ações.
Juliano Pereira
Chief Data Officer, CERC
Atualmente, mais de 500 milhões de novos registros são processados diariamente, com marcadores de transferência via Cloud Storage de até 400 Gb de informações por segundo, em momentos de pico.
Essas estatísticas são acompanhadas pelas equipes de liderança e servem de insumo para que outros times técnicos (relacionados às áreas de segurança, arquitetura e engenharia) possam tomar ações e aperfeiçoar os processos de engenharia de software e engenharia de dados da CERC.
Agora, existe uma maior simplicidade e praticidade para a detecção de anomalias. A velocidade e agilidade com que os processos começaram a ser conduzidos, mantendo um alto padrão de qualidade, e a economia de custos excedentes envolvendo mais contratações, por exemplo, foram outros aspectos constatados.
A consolidação da plataforma que deu as boas-vindas à nova solução de governança, também é um fator que impulsiona a crescente inovação, com o uso de mais agentes e disparos de informações relevantes. A empresa pretende, assim, firmar-se como uma referência, graças à ferramenta moderna e autogerenciada que desenvolveu.
Fundada em 2015, a CERC é uma infraestrutura do mercado financeiro que tem como missão viabilizar maior oferta de crédito para empresas. Nascida na nuvem e 100% digital, utiliza a análise de dados e a inteligência artificial para garantir a segurança e eficiência necessárias para que os financiadores realizem mais operações de crédito com recebíveis como garantia, possibilitando que empresas de todos os tamanhos possam investir em seus negócios e crescer.
Indústria: Serviços Financeiros
Localização: Brasil
Produtos: BigQuery, Cloud Asset Inventory, Cloud Storage, Dataplex Data Catalog, Gemini, Looker, Vertex AI
