Usar a linhagem de dados com os sistemas do Google Cloud

Ative a linhagem de dados em um projeto do Google Cloud para começar a rastrear automaticamente as informações da linhagem de sistemas com suporte.

Cuidado:a linhagem de dados é ativada por projeto. Depois de ativar a API Data Lineage, as informações de linhagem são informadas automaticamente para vários serviços do Google Cloud, dependendo do controle de linhagem no nível do produto. Para mais detalhes, consulte Considerações sobre linhagem de dados.

Papéis e permissões

O Data Catalog rastreia informações de linhagem automaticamente quando você ativa a API Data Lineage. Você não precisa de papéis de administrador ou editor para capturar a linhagem dos recursos de dados e acessá-la no console do Google Cloud. Os papéis padrão de leitor, conforme descrito na seção Identity and Access Management, são suficientes. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso. É possível atribuir um papel em um nível de pasta ou organização superior. Consulte Conceder ou revogar um único papel.

Ativar a linhagem de dados

1. No console do Google Cloud, na página do seletor de projetos, selecione o projeto que contém os recursos com a linhagem que você quer rastrear.

   Acessar o seletor de projetos

2. Ativar as APIs Data Lineage e Data Catalog.

   Ativar as APIs

Confira gráficos de linhagem na interface do Dataplex

O gráfico de visualização de linhagem exibe as relações entre os recursos do projeto e os processos que os criaram. É possível consultar informações de linhagem de dados na forma de uma visualização de gráfico no console do Google Cloud ou recuperá-las da API Data Lineage na forma de dados JSON.

Observação: pode levar algum tempo para que a linhagem de dados exiba um gráfico. Se o gráfico de linhagem não aparecer imediatamente, aguarde alguns minutos.

1. Abra a página de pesquisa do Dataplex e encontre o recurso com as informações de linhagem que você quer visualizar.

   Abrir a página de pesquisa do Dataplex

   Para mais informações, consulte Como pesquisar recursos de dados.

2. Na página de detalhes da entrada, selecione a guia Linhagem.

Figura 1. Exemplo de um gráfico de visualização de linhagem na interface do Dataplex.

Selecione os botões do processo ou da fonte de dados para exibir o painel de detalhes.

Confira os gráficos de linhagem na interface do BigQuery

É possível conferir o gráfico de linhagem diretamente na interface do BigQuery.

1. No Console do Google Cloud, acesse a página BigQuery.

   Abrir a página do BigQuery

2. Abra a tabela para consultar a linhagem de dados.
3. Clique na guia Linhagem.
4. Selecione os botões do processo ou da fonte de dados para exibir o painel de detalhes.

Confira os gráficos de linhagem na interface da Vertex AI

Visualização — data lineage

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Sistemas como o Vertex AI Pipelines geram dados de linhagem para modelos e conjuntos de dados da Vertex AI. É possível conferir o gráfico de linhagem diretamente na interface da Vertex AI.

Observação :para consultar a linhagem das operações da Vertex AI, como os dados de treinamento, teste e avaliação usados ou hiperparâmetros aplicados, consulte Acompanhar a linhagem de artefatos de pipeline.

Acessar gráficos de linhagem de um conjunto de dados gerenciado na Vertex AI

Para visualizar o gráfico de linhagem de um conjunto de dados, siga estas instruções:

1. No console do Google Cloud, acesse a página Conjuntos de dados.

   Abrir a página "Conjuntos de dados"

2. Clique no conjunto de dados para o qual você quer ver a linhagem de dados.
3. Clique na guia Linhagem.
4. Selecione os botões do processo ou da fonte de dados para exibir o painel de detalhes.

Observação :no gráfico de linhagem, os processos da Vertex AI são precedidos por . Esses processos incluem componentes e modelos do Vertex AI Pipelines, artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Data Catalog com um nome de domínio totalmente qualificado (FQN, na sigla em inglês), clique na entrada no gráfico de linhagem para ver os detalhes. Como alternativa, para consultar os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

Conferir gráficos de linhagem de um modelo na Vertex AI

Para visualizar o gráfico de linhagem de um modelo, siga estas instruções:

1. No Console do Google Cloud, acesse a página Registro do modelo..

   Abrir a página do Model Registry

2. Clique no modelo que tem a linhagem de dados que você quer ver.
3. Clique na guia Linhagem.
4. Selecione os botões do processo ou da fonte de dados para exibir o painel de detalhes.

Observação :no gráfico de linhagem, os processos da Vertex AI são precedidos por . Esses processos incluem componentes e modelos do Vertex AI Pipelines, artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Data Catalog com um nome de domínio totalmente qualificado (FQN, na sigla em inglês), clique na entrada no gráfico de linhagem para ver os detalhes. Como alternativa, para consultar os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

A seguir

• Rastrear a linhagem de dados para jobs de cópia e consulta de uma tabela do BigQuery.

• Saiba mais sobre o modelo de informações da linhagem de dados.