Usar a linhagem de dados com os sistemas do Google Cloud

Ative a linhagem de dados em um projeto do Google Cloud para começar a rastrear automaticamente as informações de linhagem dos sistemas com suporte.

Cuidado:a linhagem de dados é ativada por projeto. Depois de ativar a API Data Lineage, as informações de linhagem são relatadas automaticamente para vários serviços do Google Cloud, dependendo do controle de linhagem no nível do produto. Para mais detalhes, consulte Considerações sobre a linhagem de dados.

Papéis e permissões

O Data Catalog rastreia informações de linhagem automaticamente quando você ativa a API Data Lineage. Você não precisa de papéis de administrador ou editor para capturar a linhagem dos recursos de dados e acessá-la no console do Google Cloud. Os papéis padrão de leitor, conforme descrito na seção Identity and Access Management, são suficientes. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso. É possível atribuir um papel em um nível superior de pasta ou organização. Consulte Conceder ou revogar um único papel.

Ativar a linhagem de dados

1. No console do Google Cloud, na página do seletor de projetos, selecione o projeto que contém os recursos com os quais você quer acompanhar a linhagem.

   Acessar o seletor de projetos

2. Ativar a API Data Lineage e a API Data Catalog.

   Ativar as APIs

Conferir gráficos de linhagem na interface do Dataplex

O gráfico de visualização da linhagem mostra as relações entre os recursos do projeto e os processos que os criaram. É possível ver informações da linhagem de dados como uma visualização gráfica no console do Google Cloud ou recuperá-las da API Data Lineage na forma de dados JSON.

Observação: pode levar algum tempo para que a linhagem de dados mostre um gráfico. Se um gráfico de linhagem não for exibido imediatamente, aguarde alguns minutos.

1. Abra a página de pesquisa do Dataplex e encontre o recurso com as informações de linhagem que você quer conferir.

   Abrir a página de pesquisa do Dataplex

   Para mais informações, consulte Como pesquisar recursos de dados.

2. Na página de detalhes da entrada, selecione a guia Linhagem.

Figura 1. Exemplo de um gráfico de visualização de linhagem na interface do Dataplex.

Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

Conferir gráficos de linhagem na interface do BigQuery

É possível visualizar o gráfico de linhagem diretamente na interface do BigQuery.

1. No Console do Google Cloud, acesse a página BigQuery.

   Abrir a página do BigQuery

2. Abra a tabela que contém a linhagem de dados que você quer conferir.
3. Clique na guia Linhagem.
4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

Conferir gráficos de linhagem na interface da Vertex AI

Visualização — data lineage

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Sistemas como Vertex AI Pipelines geram dados de linhagem para modelos e conjuntos de dados da Vertex AI. É possível conferir o gráfico de linhagem diretamente na interface da Vertex AI.

Observação :para conferir a linhagem de operações da Vertex AI, como os dados de treinamento, teste e avaliação usados ou hiperparâmetros aplicados, consulte Rastrear a linhagem de artefatos do pipeline.

Conferir gráficos de linhagem de um conjunto de dados gerenciado na Vertex AI

Para conferir o gráfico de linhagem de um conjunto de dados, siga estas instruções:

1. No console do Google Cloud, acesse a página Conjuntos de dados.

   Abrir a página "Conjuntos de dados"

2. Clique no conjunto de dados que contém a linhagem de dados que você quer conferir.
3. Clique na guia Linhagem.
4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

Observação: no gráfico de linhagem, os processos da Vertex AI são precedidos por . Esses processos incluem componentes e modelos do Vertex AI Pipelines e artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Data Catalog com um nome de domínio totalmente qualificado (FQN, na sigla em inglês), será possível clicar na entrada no gráfico de linhagem para visualizar os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

Acessar gráficos de linhagem de um modelo na Vertex AI

Para conferir o gráfico de linhagem de um modelo, siga estas instruções:

1. No Console do Google Cloud, acesse a página Registro do modelo..

   Abrir a página Model Registry

2. Clique no modelo com a linhagem de dados que você quer conferir.
3. Clique na guia Linhagem.
4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

Observação: no gráfico de linhagem, os processos da Vertex AI são precedidos por . Esses processos incluem componentes e modelos do Vertex AI Pipelines e artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Data Catalog com um nome de domínio totalmente qualificado (FQN, na sigla em inglês), será possível clicar na entrada no gráfico de linhagem para visualizar os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

A seguir

• Rastrear a linhagem de dados de jobs de cópia e consulta de tabela do BigQuery BigQuery.

• Saiba mais sobre o modelo de informações de linhagem de dados.