Guia do Google para criar uma cultura orientada por dados

Os dados indicam que uma cultura de dados é importante.

A revolução digital apresenta a todas as empresas oportunidades e riscos sem precedentes. Os recursos on-line baratos e abundantes prometem novos produtos, mercados e oportunidades para melhorar a relação com o cliente. Eles também ameaçam a competição aquecida e a interrupção perpétua.

Quando somos afetados pela mudança, é bom lembrar os princípios fundamentais inalterados: conheça seu mercado. Concentre-se no cliente. Aperfeiçoe sua oferta e esteja pronto para adaptá-la às novas condições. Procure eficiência.

Em outras palavras, reúna e use seus dados de maneira adequada. Crie uma cultura no local de trabalho. Isso será muito diferente dependendo das pessoas envolvidas. Se você fornecer o mesmo conjunto de tecnologias e dados a duas equipes diferentes com o objetivo de inovar ou resolver um problema difícil, será possível ter dois resultados muito diferentes. Equipes diferentes precisarão alinhar as metas e os dados para começar a criar uma cultura de sucesso.

A cultura é um agente acelerador por si só. De acordo com o artigo Por que a cultura de dados é importante? da McKinsey and Company: "A cultura pode ser um problema composto ou uma solução composta. Quando a missão de dados de uma organização é removida da estratégia de negócios e das operações principais, não é surpresa que os resultados das iniciativas de análise não atendam às expectativas. No entanto, quando o entusiasmo com a análise de dados entra em toda a organização, ele se torna uma fonte de energia e impulso. A tecnologia, afinal, é incrível. Imagine o quão longe é possível ir com uma cultura atrelada a ela."

Lembre-se: o uso de dados não é uma novidade. Desde o início do comércio, as pessoas observaram fatos, descobriram o que importa e buscaram padrões para aproveitar. As estatísticas modernas são de 1749, e o gerenciamento baseado em dados aumentou radicalmente o PIB global há mais de um século, com sofisticação crescente. Vivemos em tempos revolucionários e orientados por dados. Esses tempos vieram para nós porque usamos os dados bem.

A maneira como as pessoas organizam o trabalho muda com a quantidade e a qualidade dos dados que elas têm. Os antigos agricultores usaram os dados informais de observação de padrões climáticos, enquanto as indústrias patentearam ferramentas de máquina padronizadas. No início da era dos computadores, aplicamos a pesquisa de matemática e operações. Agora precisamos de um método mais forte, que possa ser difundido por toda a empresa.

Como isso funciona? Vamos começar com a magnitude da oportunidade. Em 2002, a capacidade de armazenamento digital ultrapassou a capacidade total analógica. Desde então, a taxa de crescimento anual composta de dados de uma empresa típica tem sido de aproximadamente 60%. Além do aumento da quantidade de dados, isso também acontece devido a um conjunto mais diversificado de fontes, incluindo navegadores, sensores, smartphones e dispositivos móveis, além de outros computadores. A taxa de crescimento anual composta é incalculável.

O Google pensa muito nestas oportunidades. Fomos criados, afinal, com a missão de organizar todas as informações do mundo. Ao longo dos anos, resolvemos vários problemas fascinantes sobre a produção de insights e ações de grandes quantidades de tipos diferentes de dados. Agora, isso é feito em alta velocidade.

Trabalhamos para oferecer insights digitais e a capacidade de agir para consumidores e empresas, tanto no trabalho de publicidade com empresas quanto agora, pelas ferramentas e serviços de gerenciamento de dados e insights que oferecemos no Google Cloud. Ouvimos como nossos produtos estão ajudando a acelerar a transformação digital e a inovação em empresas no mundo todo, incluindo ANZ, Clínica Mayo, Sanofi, UPS e muito mais. Veja o exemplo da AirAsia, que está a caminho de se tornar para uma "companhia aérea digital". A transformação já está ajudando a empresa a extrair novos insights, tornar-se mais ágil e fornecer experiências mais personalizadas para se destacar no setor. "Tivemos que nos tornar uma companhia aérea digital para oferecer aos clientes mais opções, personalizar experiências do cliente e melhorar as reservas e a venda de passagens", diz Nikunj Shanti, diretor de produtos da AirAsia. "Nós passamos do gerenciamento de dados para a tomada de decisões baseadas em dados."

Também aprendemos várias lições sobre organização interna para otimizar dados, também na nossa própria jornada e ao ajudar nossos clientes a resolver problemas difíceis. Algumas dessas lições aparecem aqui para expor o por que uma cultura de dados é importante. Isso se resume a quatro pilares principais: operando com confiança, democratizando insights, aumentando a agilidade dos negócios e aplicando a inteligência.

Há várias coisas incríveis em organizar para operações de dados em grande escala. Os avanços nas tecnologias de dados significam que há mais acesso e gerenciamento mais fácil. Gerenciar e trabalhar com dados em escala é difícil e apresenta um novo desafio em comparação a trabalhar anteriormente. Em muitos casos, isso é equilibrado pela melhor automação e processos atuais para interpretar os dados. Obviamente, mais acesso significa novos desafios de segurança, qualidade e interpretabilidade.

Grandes empresas são eficazes porque têm ótimos processos que produzem ótimos produtos, refletindo uma ótima compreensão e cuidado dos clientes. Em outras palavras, todas as grandes empresas têm ótimas culturas internas que produzem esses resultados. As pessoas se adaptam com curiosidade e criatividade. Quando apropriado, eles desafiam o status quo e inovam com base nos novos insights. Eles aproveitam o poder dos dados confiados a eles, adaptando e aplicando processos para gerar novo valor dos dados.

Isso nunca foi tão verdadeiro hoje em dia, quando as mudanças digitais são cada vez mais profundas e exigem a cultura certa para coletar e usar dados em grande escala. Fazer isso logo no início é importante, porque o histórico nos mostra algo diferente: quem trabalha para alcançar novas metas nunca tem mais dados, contanto que seja útil. Os avanços nas tecnologias de computação em nuvem, gerenciamento de dados, análise de dados e inteligência artificial não estão diminuindo a velocidade. Nem as empresas, nesse desejo de mudar o mundo. 

Quando as empresas buscam reinventar a cultura de dados ou criar uma nova, geralmente ouvimos que vários produtos do Google Cloud são úteis.

• Cloud SQL para migrar facilmente cargas de trabalho locais para o Google Cloud totalmente gerenciado
• Cloud Spanner e Cloud Bigtable, serviços de banco de dados nativos da nuvem para escalonabilidade enorme
• BigQuery para armazenamento de dados super-rápido em escala de petabytes
• Looker para BI moderno, análise incorporada e aplicativos baseados em dados
• Dataproc para processamento de Big Data usando clusters do Hadoop e Spark.
• Dataflow para processar dados em lote e streaming de maneira rápida e sem servidor
• Pub/Sub para enviar mensagens de e para apps independentes
• Dataprep para preparação rápida e visual de dados para análise ou machine learning 
• AutoML para treinar modelos de ML personalizados sem muita experiência
• AI Platform para que você possa implantar modelos de ML no local ou no Google Cloud

A agilidade dos negócios é um estado muito procurado atualmente, porque as empresas precisam lidar com expectativas constantes, tecnologia em rápida evolução e grandes quantidades de dados disponíveis. Mas o que é agilidade e como você pode alcançá-la? No Google Cloud, acreditamos que elas envolvem pessoas, processos e dados, além da tecnologia que permite refinar esses dados. Isso é para permitir que as pessoas na sua organização se concentrem no que fazem bem, não no trabalho banalizado. Além de ter opções nas ferramentas e nos serviços a que eles têm acesso e ter essas ferramentas e serviços disponíveis quando precisam. Você não precisa fazer muita coisa, você vai fazer muitas coisas, pensando bastante e oferecendo novas ideias.

O que geralmente ouvimos dos tecnólogos hoje em dia e o que é aparente no mundo moderno é que as ferramentas de que eles precisam são ferramentas de dados. As empresas carregam muitos dados, e mais informações chegam todos os dias. Tornar-se ágil envolve ter o apoio de outras pessoas, testar ferramentas personalizadas e, em seguida, não ter medo de usá-las em grande escala. Essas ferramentas incluem bancos de dados gerenciados para remover trabalho mundano. Essas ferramentas incluem análise de Big Data, padronizada e simplificada, para que muitos possam usar os dados, não apenas alguns. Eles incluem todos os dados coletados de uma empresa, processados de maneira repetível. Assim, eles são sempre úteis e exibidos em formatos visuais e acionáveis. Ferramentas que podem fazer perguntas sobre esses dados para tomar decisões melhores e até ensinar o que você está procurando para receber previsões.

Quando falamos de um conceito como agilidade, estamos falando de atitudes, bem como da tecnologia que uma empresa usa. Quando começamos, o Google usou a tecnologia pronta para uso. À medida que nossa empresa crescia, aprendemos várias lições importantes ao longo do caminho. Devido a essa escala, fomos forçados a reagir e ajustar (agilidade). Percebemos que não era eficiente fazer com que os desenvolvedores usassem as próprias pilhas. À medida que desenvolvemos tecnologias no Google, nos concentramos na simplicidade, automação e abertura. Aprendemos que, quando os usuários podem acessar tecnologia totalmente gerenciada e integrada, os dados assumem um papel diferente. Agora, em vez de passar tempo procurando os dados corretos ou ajustando o hardware ou software que você precisa para encontrar ou analisar esses dados, os Googlers não se preocupem com a falta de habilidades ou de agilidade ao operar, escalonar ou gerenciar dados. Acreditamos que esse tipo de mentalidade pode ajudar os usuários a trabalhar melhor em equipe e reduzir ou eliminar silos e gargalos que costumam existir. Descobrimos que isso funciona internamente à medida que desenvolvemos produtos como o Gmail, que evoluiu desde a criação, mas permaneceu simples e fácil de usar, mesmo em escalas empresariais.

Nossos clientes nos disseram como adaptaram a tecnologia e a cultura deles para uma nova atitude ágil. Uma empresa de mídia global, por exemplo, moveu vários data centers e 1.200 serviços para o Google Cloud. Alcançar a agilidade foi um impulsionador para a mudança da empresa: os serviços de nível superior permitem oferecer um produto melhor com mais rapidez e se concentrar na melhor qualidade das equipes internas: desenvolvimento de serviços de música que não gerencia data centers. A empresa trabalhou para disponibilizar os dados certos para as equipes quando necessário, adicionando agilidade com ferramentas de análise e processamento de dados.

A infraestrutura de análise do Twitter, criada como um data lake, coleta petabytes de dados diariamente e precisa ser replicada para vários destinos para atender às necessidades dos usuários rapidamente. A empresa decidiu replicar conjuntos de dados para o Cloud Storage para poder usar o BigQuery, o Cloud Bigtable e o Dataproc no Google Cloud, entre outros. Os usuários podem acessar os dados de que precisam com autoatendimento, o que aumenta a agilidade da empresa.

A instituição financeira global HSBC migrou o armazenamento de dados no local para o Google Cloud para se tornar mais ágil, entregar cargas de trabalho menores e transformar a automação em processos. Eles conseguiram eliminar o débito técnico e criar uma plataforma de dados para se concentrarem na inovação, não no gerenciamento da infraestrutura. Desde a migração, o HSBC tem melhores procedimentos de desenvolvimento e teste, uma única fonte de informações no armazenamento de dados e visualizações autorizadas para acesso seguro aos dados. Os usuários não ficam restritos na exploração de dados, e os clientes recebem o que precisam com mais rapidez.

Em resumo, uma empresa ágil é uma empresa bem-sucedida, capaz de atender às demandas do mercado, mudar as necessidades dos clientes e desafios imprevistos. Pense em como seus funcionários e dados estão interagindo e se há maneiras de melhorá-los.

Sabemos com pesquisas que criar uma cultura de dados gera resultados reais nos negócios. A cultura que você cria é específica das necessidades e metas da sua organização e, idealmente, reúne pessoas, processos e dados.

A parte dos dados é essencial. Já falamos sobre como configurar sua infraestrutura de tecnologia para que seus dados tenham os insights de que você precisa e ajudem sua empresa a ser mais ágil. Também é importante aplicar a inteligência aos dados para que ela funcione no momento, mas também no futuro. Ferramentas de IA e ML que não poderíamos imaginar há uma década estão disponíveis e em uso agora, não apenas na vida acadêmica ou para algumas grandes empresas. As empresas que usam esses tipos de análises avançadas tomam decisões melhores e ficam à frente da concorrência.

No entanto, em uma cultura de dados colaborativo, as ferramentas e saídas avançadas de análise precisam ser facilmente acessíveis a todos. Depois de estabelecer qual equipe precisa de quais informações, é possível configurar os usuários com os dados corretos para trabalhar. Isso pode incluir otimizar operações e processos comerciais, realizar pesquisas e desenvolvimento ou responder a perguntas diárias. Fazer perguntas analíticas com base em dados em tempo real abre as portas para novas ideias e inovações. Além de saber quais foram os números de vendas do mês passado, é possível aplicar dados para entender o registro de compras multicanal de um cliente enquanto ele faz compras on-line, o que resulta em ofertas em tempo real com base em uma combinação entre o histórico e o carrinho. 

Quando as análises avançadas estão incluídas em ferramentas e aplicativos conhecidos, elas já fazem parte dos fluxos de trabalho diários. Dessa forma, os usuários encontram as respostas de que precisam com facilidade. Isso também elimina silos em equipes quando os líderes de vendas ou marketing, por exemplo, não precisam solicitar relatórios das contrapartes da equipe de análise. Os usuários podem trabalhar juntos em um único conjunto de dados para tomar decisões orientadas por dados mais rapidamente. Além disso, uma base sólida de armazenamento de dados significa que há capacidade suficiente para que todos possam receber os insights e relatórios necessários.

Um cliente do Google Cloud Analytics, a American Cancer Society, usa o AI Platform para identificar novos padrões em imagens de patologia digital. Eles treinaram modelos para análise de imagem de IA para encontrar indicadores de câncer, permitindo que os pesquisadores os identificassem mais rapidamente e, por sua vez, melhorassem os resultados dos pacientes. Eles conseguem analisar imagens 12 vezes mais rápido do que antes.

A LG CNS também usa as ferramentas de análise de dados do Google Cloud para identificar defeitos nas linhas de fabricação dos produtos. A empresa havia treinado modelos de machine learning anteriormente, mas, com o Google Cloud, foi possível treiná-los mais rapidamente e aumentar a precisão. A LG CNS economizou cerca de US$ 1 milhão por linha de produção por ano com esse processo mais eficiente.

No Google Cloud, desenvolvemos nossas tecnologias de IA e ML em sistemas como o BigQuery para armazenamento de dados e em locais como a Contact Center AI e a compreensão de documentos. Esses tipos de insights não devem ser mantidos com um número reduzido de usuários dentro de uma empresa, ou ser difícil de acessar. Criamos o BigQuery ML com uma interface SQL conhecida, então você só precisa escrever uma consulta para poder usar machine learning. Além disso, com os recursos integrados de análise avançada, você se prepara para a próxima geração de tecnologias inteligentes.

Acreditamos muito na ideia de que a inteligência precisa ser incorporada em processos, pessoas e dados. Quando os usuários têm o que precisam e o processo é simples, eles podem ir mais longe.

Os tipos de dados que podemos acessar no mundo atual podem ser interessantes, surpreendentes e, acima de tudo, úteis. O melhor resultado da coleta de muitos dados é que eles estejam disponíveis, seja por gráficos, relatórios ou incorporados nos fluxos de trabalho empresariais diários. Essa combinação de dados e conhecimento e compreensão humana pode gerar novas maneiras de analisar planos de negócios e projetos, além de gerar novos insights e ideias.

Temos muitas tecnologias para escolher hoje em dia, mas isso não funcionará para levar a empresa até que as pessoas que o utilizem possam acessá-lo facilmente. Com todas as fontes de dados atuais (sensores de IoT, apps empresariais, dados de marketing e muito mais), é muito fácil armazenar silos de dados duplicados em uma organização, com pessoas diferentes, dependendo de diferentes conjuntos de informações ou conjuntos de dados duplicados.

Chegar a um lugar onde haja uma única fonte confiável para os dados de uma organização e onde todos podem acessá-los quando e como precisam é um tipo de segredo. Isso envolve ingerir os dados necessários no data warehouse, criando modelos de dados em sistemas de BI empresariais, como o Looker, que pode mesclar dados de 10 a 20 apps de SaaS ou em nuvens públicas, mantendo a fonte de verdade acessível e disponível para as equipes sem provisionar atrasos ou solicitar gargalos ao longo do caminho. A governança de dados é essencial para que os usuários certos também tenham o acesso certo para manter os dados protegidos com o uso e o ciclo de vida deles. Na prática, isso pode ser um analista de dados executando relatórios de autoatendimento para detalhar os números de vendas ou um especialista em machine learning criando modelos para prever receita ou criar uma nova ferramenta. Uma cultura de dados também se parece com a colaboração entre equipes, não entre equipes que só interagem quando precisam de uma tarefa concluída. Quando uma cultura de dados está funcionando bem, com o apoio da tecnologia, parece que os usuários têm o tempo e os recursos necessários para buscar novos projetos que possam ajudar no avanço dos negócios. 

Para chegar a um lugar em que é possível confiar e usar seus dados, e fazer perguntas para ajudar você a continuar, é preciso ter uma base de tecnologia equipada com insights. As perguntas que você pode fazer ao escolher a tecnologia de análise de dados são as seguintes:

• Você tem uma visão integrada dos dados da organização?
• Os usuários corporativos da sua organização também podem ver os dados de que precisam facilmente?
• A plataforma pode ingerir dados de streaming em tempo real sem ultrapassar o orçamento? 
• A plataforma consegue lidar com tipos de dados provenientes de diversas fontes?

Conectar os usuários que produzem trabalhos mais impactantes exige um pouco de planejamento. Se você examinar os tipos de partes interessadas envolvidas nos projetos de IA da sua empresa, provavelmente verá que a primeira etapa é a conexão e compreensão do trabalho uns dos outros para que o projeto seja bem-sucedido. As ferramentas e os serviços que eles usam precisam oferecer suporte a esse trabalho de conexão.

Muitos clientes disseram que querem criar uma cultura mais orientada por dados ao mesmo tempo em que estão atualizando a tecnologia e planejando para o futuro. A AirAsia, por exemplo, sabia que os dados continuaram desempenhando um papel cada vez maior nas decisões de negócios. As equipes analisam mais de 6 PB de dados por mês e precisavam esperar nos relatórios semanais ou mensais do Excel para gerar resultados de toda essa análise. Eles estão usando o BigQuery agora e seus recursos de ML para que sua equipe de 1.500 membros possa acessar dados a qualquer momento e fazer consultas ad-hoc em mais de dois anos de dados em minutos. Os membros da equipe acessam interfaces simples e podem apresentar detalhes granulares conforme necessário. Isso ajudou a reduzir de 5% a 10% os custos operacionais, o que é bastante significativo nesse setor, e proteger os dados mais do que em uma máquina individual.

Nosso armazenamento de dados do BigQuery permite processar dados em armazenamentos de objetos, bancos de dados transacionais, Planilhas e muito mais, para que você nunca precise duplicar os dados. Ele também inclui conjuntos de dados públicos para que você possa aproveitar ainda mais o valor dos seus dados internos. Criamos nossos produtos para facilitar o uso e o compartilhamento de insights. Também desenvolvemos recursos que você pode usar agora e no futuro, como ferramentas simples de ML e outras análises avançadas.

A criação de uma cultura de dados reúne pessoas, processos e dados. Falamos sobre garantir que os dados estejam corretos e que a experiência de usar esses dados é fácil. Parte dessa ideia de coleta e uso simplificados de dados é que eles são confiáveis. Com muitos sistemas legados ou no local, os dados são isolados e copiados de maneira repetida pelos usuários até que haja sistemas desatualizados em muitos lugares diferentes. Além disso, quando os conjuntos de dados começam a aumentar, a qualidade dos dados pode se tornar um problema.

Portanto, um grande passo para alcançar uma cultura orientada por dados é fazer com que os usuários confiem nos dados com facilidade: confiem que eles são os mais atualizados e precisos. Como parte disso, não pode haver nenhum desses conjuntos de dados subjacentes ou projetos isolados. O padrão ouro é que existe uma única fonte de verdade de dados na sua organização, e todos sabem o que ela é.

Confiança é uma questão de pessoas e processos que pode fazer ou quebrar suas metas de cultura de dados. Além disso, é um problema de tecnologia de dados maior. Quanto mais dados você coletar e analisar, maior será a segurança e a governança. A confiança em suas próprias ferramentas e processos é em grande parte de uma cultura bem-sucedida baseada em dados.

Os dados vêm de uma grande variedade de fontes, mas todos exigem o mesmo nível de referência que inclui criptografia, exfiltração de dados e controles de acesso. Além disso, você provavelmente terá modelos de ameaça próprios e áreas de foco para proteger os dados. Dependendo do setor, é possível estar em conformidade com regras específicas de conformidade e regulamentação. A pilha de tecnologia do seu provedor de nuvem precisa fornecer os recursos de segurança e permitir que você use metadados, catálogos de dados e linhagem de dados para controlar dados e definir políticas. Para permitir a colaboração em equipe, é fácil definir regras de acesso e permitir o compartilhamento seguro de dados.

Colocar essas informações em prática é essencial para o lançamento de uma análise de dados bem-sucedida. Portanto, tenha uma visão geral de como implementar as ferramentas e práticas de segurança. No Google, o BeyondCorp é nossa própria implementação de um modelo de segurança de confiança zero que saiu dos princípios de rede de confiança zero. A ideia por trás disso é que os controles de acesso mudem do perímetro de rede para usuários e dispositivos individuais, para que os usuários possam trabalhar com segurança de qualquer local sem uma VPN. O BeyondCorp inclui, em um nível superior, logon único, proxy de acesso, mecanismo de controle de acesso, inventário de usuários, inventário de dispositivos, políticas de segurança e um repositório de confiança. O acesso remoto do BeyondCorp é uma solução de nuvem que oferece esse recurso. Dessa forma, seus usuários podem acessar apps da Web internos de maneira segura e remota.

Um dos nossos clientes, uma instituição financeira global, teve algumas perguntas essenciais ao se preparar para a migração do BigQuery: os dados são protegidos e a linhagem pode ser rastreada? A infraestrutura é confiável o suficiente para os apps essenciais? A empresa usou a inclusão de tags de metadados e ganhou uma única fonte de informações ao migrar para o Google Cloud. Os dados no BigQuery são sempre criptografados, e a integração nativa do Identity and Access Management (IAM) garante que os níveis de acesso aos dados sejam garantidos, até a granularidade no nível da coluna. A organização pode executar simulações de risco regularmente e melhorou a segurança, a governança e a postura regulatória usando o BigQuery.

Uma plataforma de análise de dados confiável ajuda a proteger contra ataques ou violações de segurança, mas também tem muito a ver com a criação de uma cultura de dados sólida. Se os usuários confiam nos dados que recebem, eles conseguem se concentrar na inovação e em novas ideias. 

A cultura de dados será um problema ou uma solução para sua organização? E se for uma solução, como ela será? Como você saberá que alcançou o sucesso? Essas perguntas podem ajudar você a dar os primeiros passos ou aproveitar o que já foi iniciado. A cultura de dados terá uma aparência diferente para diferentes empresas em diferentes setores. Você e as partes interessadas saberão o que é melhor para suas equipes e organização. A cultura de dados que você criar será a melhor para sua empresa.