O que é uma malha de dados?

A malha de dados não é apenas um novo conjunto de ferramentas ou tecnologias, mas uma mudança na forma como as empresas pensam sobre os dados. Há quatro princípios básicos que orientam a abordagem de malha de dados. Esses princípios são o que torna a abordagem tão eficaz na solução dos problemas das arquiteturas de dados tradicionais e centralizadas.

Em uma arquitetura de dados tradicional, uma única equipe central, como uma equipe de TI ou engenharia de dados, é responsável por todos os dados. Em uma malha de dados, a propriedade dos dados é distribuída entre os domínios de negócios que os criam. Por exemplo, uma equipe de vendas seria proprietária dos dados de clientes que ela gera, e uma equipe de marketing seria proprietária dos dados de campanha que ela cria. Isso torna as equipes mais responsáveis e responsabilizadas pelos dados que produzem.

Com a propriedade orientada a domínio, as equipes que criam dados também precisam tratá-los como um produto. Assim como uma empresa fornece um produto de alta qualidade a um cliente, uma equipe de domínio de dados precisa fornecer dados de alta qualidade a outras equipes que precisam deles. Isso significa que os dados são fáceis de descobrir, entender e usar. Ele também precisa ser confiável, seguro e bem documentado, com controles de acesso integrados para que apenas as pessoas certas acessem os dados destinados ao caso de uso delas.

Para tornar possível o tratamento de dados como um produto, uma malha de dados usa uma plataforma de autoatendimento. Essa plataforma é um conjunto de ferramentas e serviços que permite que as equipes de domínio de dados criem e gerenciem facilmente seus produtos de dados sem precisar da ajuda de uma equipe central de dados. Ela pode ser uma plataforma simples e fácil de usar que automatiza muitas das tarefas técnicas envolvidas no gerenciamento de dados, como armazenamento, segurança e governança.

Como os dados são descentralizados e distribuídos por muitas equipes diferentes, é preciso garantir que todos sigam as mesmas regras. É aí que entra a governança computacional federada. É um modelo em que uma equipe central pequena define as regras e os padrões globais para todos os dados. No entanto, a aplicação dessas regras é feita pelas próprias equipes de domínio de dados. Isso combina o melhor dos dois mundos: políticas centralizadas com execução descentralizada.

A abordagem de malha de dados foi criada para resolver alguns dos problemas comuns com arquiteturas de dados tradicionais. Esses modelos, como data warehouses ou data lakes pertencentes a departamentos ou equipes individuais, podem criar silos de dados e riscos de governança, especialmente à medida que uma empresa cresce. A malha de dados resolve esses problemas distribuindo a propriedade e capacitando equipes individuais, mantendo controles centrais para governar e monitorar os dados em todos os domínios.

O Catálogo Universal Dataplex atua como uma estrutura de dados unificada e fornece uma camada central de governança sobre sua malha de dados. Isso pode ajudar você a descobrir, gerenciar e governar seus dados distribuídos em diversos ambientes, garantindo que você tenha uma única fonte de verdade para metadados e políticas. Para começar, você precisará criar um Dataplex Lake. Um lake do Dataplex é um contêiner de nível superior que armazena seus dados e normalmente é mapeado para um domínio de negócios.

Aqui estão os passos para criar um lago:

1. No console do Google Cloud, acesse a página Lakes do Dataplex Universal Catalog.
2. Após clicar em "Criar", dê ao seu novo lago um nome descritivo, como "Domínio de Dados de Vendas" ou "Malha de Dados de Marketing".
3. Escolha uma região para seu data lake.
4. Depois que o lago for criado, você poderá adicionar zonas. Uma zona é um subdomínio dentro do seu lago que representa uma equipe específica ou um contrato de dados. Por exemplo, dentro do repositório "Domínio de Dados de Vendas", você pode criar uma zona "Bruta" para dados não processados e uma zona "Curada" para dados limpos e prontos para produção.
5. Após criar as zonas, você pode anexar ativos a elas. Um recurso é o dado real armazenado em um serviço como o Cloud Storage ou o BigQuery. Basta indicar à zona Dataplex a localização dos seus dados.

O Dataplex verifica automaticamente esses recursos para descobrir e catalogar metadados.

Um elemento fundamental do princípio "dados como produto" é tornar os dados facilmente localizáveis. Compartilhamento de dados do BigQuery Permite criar um mercado de produtos de dados. Isso permite que as equipes de domínio compartilhem produtos de dados com outras equipes de maneira segura, sem copiar ou mover os dados. Ele ajuda os consumidores de dados a encontrar os dados de que precisam e fornece uma interface clara e bem definida para acessá-los.

Os serviços sem servidor do Google Cloud permitem que as equipes de domínio criem e gerenciem seus próprios produtos de dados com sobrecarga mínima. O BigQuery é um poderoso data warehouse sem servidor que permite às equipes analisar grandes conjuntos de dados de forma rápida e eficiente. O Dataflow é um serviço de processamento de dados sem servidor que pode ser usado para criar e automatizar pipelines de dados para produtos de dados. Esses serviços reduzem a necessidade de uma equipe central de engenharia de dados para gerenciar a infraestrutura, tornando as equipes de domínio mais autônomas e ágeis.

A governança computacional federada é o princípio de ter uma equipe central definindo regras globais, mas permitindo que equipes de domínio as apliquem. O Gerenciamento de Identidade e Acesso (IAM) do Google Cloud fornece as ferramentas para implementar isso. As condições do IAM permitem o controle de acesso baseado em atributos (ABAC), onde você pode configurar permissões refinadas com base em atributos de dados. Por exemplo, você pode criar uma política que permita ao usuário acessar dados de clientes apenas de sua região específica, ajudando a garantir a conformidade com regulamentações de soberania de dados como o GDPR.