Conceitos da malha de dados

Antes de mergulhar no guia detalhado sobre a implantação da malha de dados com o Google Cloud Cortex Framework, esta página fornece uma base para entender como os conceitos relevantes da malha de dados são geralmente implementados em um Google Cloud produto e especificamente no contexto do Cortex Framework. Depois de entender os conceitos da Data Mesh, consulte o Guia do usuário da Data Mesh para a base de dados do Cortex Framework.

Observação: para entender melhor os conceitos gerais da malha de dados, consulte Criar uma malha de dados moderna e distribuída com o Google Cloud.

Dataplex

A tabela a seguir define os conceitos da malha de dados no Dataplex:

Conceito	Descrição	Contexto do Cortex Framework
Lago	Unidade de nível superior para organizar dados em uma malha de dados. Gerenciar Dataplex: lakes.	Uma fonte de dados, por exemplo, SAP ECC, Salesforce, Google Ads.
Zona	Unidade de segundo nível para organizar dados em um lake.	Camadas de processamento específicas em uma fonte de dados, como bruto em vez de CDC.
Recurso Dataplex	Referência a dados armazenados no Cloud Storage ou no BigQuery e associados a uma zona. Essa é uma referência ao ativo de dados, não aos dados em si.	Referência a conjuntos de dados do BigQuery registrados em zonas.
Rótulo	Pares de chave-valor arbitrárias que podem ser aplicadas a lagos ou zonas.	Rotule lagos ou zonas inteiras (em vez de tabelas ou colunas) com metadados que podem ser visualizados no Dataplex ou usados para aplicativos personalizados.
Data Catalog	Metadados técnicos de negócios que podem ser usados para descobrir, entender ou gerenciar recursos de dados em um data warehouse.	Anotar tabelas ou colunas (em vez de lakes ou zonas) com tags de metadados avançados que podem ser usadas na pesquisa do Dataplex ou em aplicativos personalizados.
Modelos de tag de catálogo	Um modelo que define os campos disponíveis e os tipos deles em uma tag. Gerenciar Dataplex: modelos de tag	Defina um conjunto de modelos para usos como a inclusão de tags em recursos de dados com linhas de negócios.
Tag do catálogo	Um conjunto de campos e os valores deles que contêm metadados aplicáveis a uma tabela ou coluna. Uma instância de um modelo de tag.	Anotar uma tabela ou coluna com valores de metadados relevantes para esse recurso, como uma linha de negócios específica.
Glossário do catálogo	Um dicionário de termos que podem ser definidos e associados a colunas do BigQuery. Gerenciar Dataplex: glossários.	Defina termos ou acrônimos usados nos recursos do BigQuery. Isso está planejado para o futuro e não é compatível.
Linhagem de dados	Um gráfico que representa as dependências de recursos do BigQuery.	Elas não são definidas pela malha de dados do Cortex, mas são uma ferramenta relevante do Dataplex para ajudar os usuários a descobrir fontes de dados do BigQuery Asset.
Evento de linhagem	Um ponto no tempo em que uma operação ocorreu para mover dados entre os recursos do BigQuery. Contém uma lista de links.	Criada automaticamente para operações do BigQuery e do Composer com suporte.
Link de linhagem	Uma aresta que representa dados que fluem de uma origem para o recurso de destino como parte de um evento de linhagem.	Ele pode ser analisado para oferecer suporte a casos de uso além dos gráficos de visualização de linhagem apresentados no console.

BigQuery

A tabela a seguir define os conceitos de Data Mesh no BigQuery:

Conceito	Descrição	Contexto do Cortex Framework
Taxonomia de políticas	Uma hierarquia de tags de política. Gerenciar BigQuery: tags de política.	Organize tags de política relacionadas que podem ser usadas para controle de acesso em uma hierarquia com permissões herdadas.
Tag de política	Uma tag aplicada a colunas específicas em uma tabela ou visualização do BigQuery. É possível aplicar tags de política em qualquer nível da hierarquia. Apenas uma tag de política pode ser aplicada a uma coluna específica.	Anotação de colunas com tags usadas para o controle de acesso no nível da coluna. Os participantes na tag de política definem leitores "Refinados" ou "Não mascarados", que podem acessar os dados brutos da coluna.
Política de dados	Políticas aplicadas a uma tag de política que definem como e quem pode acessar os dados da coluna mascarada.	Os principais na política de dados definem os leitores mascarados que podem acessar os dados das colunas mascaradas. Qualquer pessoa que não tenha privilégios de leitor mascarados ou não mascarados não poderá consultar a coluna.
Regra de mascaramento	Regras aplicadas a uma política de dados que definem como os dados são mascarados, por exemplo, hash, mostrando um valor padrão, os quatro últimos caracteres e outros.	Aplicada de forma específica a colunas sensíveis.
Política de acesso de linha	Instruções SQL que definem quais grupos podem consultar linhas em tabelas com base em valores de coluna específicos.	Usado para controle de acesso no nível da linha quando o controle de recurso e de coluna não é suficiente.

Conceito do Cortex Data Mesh

A tabela a seguir define conceitos específicos da malha de dados no Cortex Framework:

Conceito	Descrição	Contexto do Cortex Framework
Recurso de metadados	Entidades de metadados que podem ser reutilizadas em vários recursos do BigQuery. Exemplos são lagos, modelos de tags do catálogo e taxonomias de políticas. Isso se aplica especificamente aos metadados, e não aos dados no BigQuery.	Define recursos reutilizáveis para permitir o gerenciamento consistente da malha de dados do Cortex.
Recurso do BigQuery	Tabela ou visualização do BigQuery.	Objetos do BigQuery do Cortex que são governados pela malha de dados.
Anotação de recursos do BigQuery	Metadados aplicados a uma tabela ou visualização específica do BigQuery. Isso inclui descrições, políticas de acesso e mapeamentos para recursos de metadados.	Associe metadados aos recursos do BigQuery para ativar a descoberta e o controle de acesso.
Especificação de recursos (spec)	Um arquivo YAML que define um recurso de metadados ou uma anotação de recurso do BigQuery.	O conjunto completo de especificações de recursos codifica a configuração da malha de dados a ser implantada.