Usar a linhagem de dados com os sistemas do Google Cloud

A linhagem de dados mostra as relações entre os recursos do seu projeto e os processos que os criaram. É possível conferir informações de linhagem de dados na forma de visualização de gráfico ou de lista no console do Google Cloud ou extraí-las da API Data Lineage na forma de dados JSON.

A linhagem é capturada em vários projetos. Quando você consulta a linhagem gerada em vários projetos, é possível conferir as informações agregadas em qualquer um dos projetos relevantes.

Atenção: a linhagem de dados é ativada por projeto, não por serviço. Depois de ativar a API Data Lineage, as informações de linhagem são automaticamente relatadas para vários serviços do Google Cloud no projeto, dependendo das controle de linhagem em nível de produto. Para mais detalhes, consulte Considerações sobre a linhagem de dados.

Papéis e permissões

Para acessar informações de linhagem, peça ao administrador para conceder a você funções de leitor conforme descrito nas Papéis de linhagem de dados predefinidos. Você precisa ter acesso ao projeto em que você visualiza a linhagem e aos projetos em que a linhagem é gravada.

O Data Catalog rastreia as informações de linhagem automaticamente quando você ativa a API Data Lineage. Você não precisa de nenhuma função de administrador ou editor para capturar a linhagem do seu recursos de dados.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso. É possível atribuir um papel em um nível superior de pasta ou organização (consulte Conceder ou revogar um único papel).

Ativar a linhagem de dados

Ative a linhagem de dados para começar a rastrear automaticamente as informações de linhagem para sistemas com suporte. Ative a API Data Lineage no projeto em que visualiza linhagem e os projetos em que a linhagem é registrada. Para mais informações, consulte Tipos de projeto.

1. Para capturar informações de linhagem, faça o seguinte:

   1. No console do Google Cloud, no Seletor de projetos selecione o projeto em que a linhagem será registrada.

      Acessar o Seletor de projetos

   2. Ative a API Data Lineage.

      Ativar a API Data Lineage

   3. Repita as etapas anteriores para cada projeto em que você quer de registro da linhagem.

2. No projeto em que você visualiza a linhagem, ative a API Data Lineage. e a API Data Catalog.

   Ativar as APIs

Visualizar a linhagem na interface do Dataplex

É possível conferir informações de linhagem de dados na interface do Dataplex na forma de um gráfico ou uma lista.

Os gráficos de linhagem representam informações coletadas pela API Data Lineage para uma entrada específica.

Figura 1. Exemplo de um gráfico de visualização de linhagem na interface do Dataplex.

Observação: pode levar algum tempo para que a linhagem de dados mostre um gráfico. Se um gráfico de linhagem não for exibido imediatamente, aguarde alguns minutos.

A visualização de lista de linhagem (Pré-lançamento) mostra informações detalhadas de linhagem para entidades em uma única tabela que inclui informações de linhagem para entidades com muitas conexões.

Para conferir a linhagem, siga estas instruções:

1. Abra a página de pesquisa do Dataplex e encontre o recurso para o qual você quer ver informações de linhagem.

   Abrir a página de pesquisa do Dataplex

   Para mais informações, consulte Como pesquisar recursos de dados.

2. Na página de detalhes da entrada, selecione a guia Linhagem.

3. Selecione os botões de processo ou de fonte de dados para mostrar o painel de detalhes.

4. Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

5. Para conferir a linhagem na visualização de lista em vez da de gráfico, clique em Lista.

Conferir a linhagem na interface do BigQuery

É possível conferir informações de linhagem de dados na IU do BigQuery na forma de um gráfico ou uma lista (Visualização).

Para conferir a linhagem, siga estas instruções:

1. No Console do Google Cloud, acesse a página BigQuery.

   Abrir a página do BigQuery

2. Abra a tabela para a qual você quer conferir a linhagem de dados.

3. Clique na guia Linhagem.

4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

5. Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

6. Para ver a linhagem na visualização em lista em vez da visualização em gráfico, clique em Lista.

Conferir a linhagem na interface da Vertex AI

Sistemas como o Vertex AI Pipelines geram dados de linhagem para modelos e conjuntos de dados da Vertex AI. É possível conferir informações de linhagem de dados na interface da Vertex AI na forma de gráfico ou lista (pré-lançamento).

Observação :para conferir a linhagem de operações da Vertex AI, como dados de treinamento, teste e avaliação usados ou hiperparâmetros aplicados, consulte Rastrear a linhagem de artefatos de pipeline.

Conferir a linhagem de um conjunto de dados gerenciado na Vertex AI

Para conferir a linhagem de um conjunto de dados, siga estas instruções:

1. No console do Google Cloud, acesse a página Conjuntos de dados.

   Abrir a página "Conjuntos de dados"

2. Clique no conjunto de dados que contém a linhagem de dados que você quer conferir.

3. Clique na guia Linhagem.

4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

5. Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

6. Para conferir a linhagem na visualização de lista em vez da de gráfico, clique em Lista.

Observação :no gráfico de linhagem, os processos da Vertex AI são precedidos pelo . Esses processos incluem componentes e modelos do Vertex AI Pipelines, além de artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo é catalogados no Data Catalog com um nome de domínio totalmente qualificado (FQN, na sigla em inglês), poderá clicar na entrada do gráfico de linhagem para ver os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

Conferir a linhagem de um modelo na Vertex AI

Para conferir a linhagem de um modelo, siga estas instruções:

1. No Console do Google Cloud, acesse a página Registro do modelo..

   Abrir a página Model Registry

2. Clique no modelo com a linhagem de dados que você quer conferir.

3. Clique na guia Linhagem.

4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

5. Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

6. Para conferir a linhagem na visualização de lista em vez da de gráfico, clique em Lista.

Observação: no gráfico de linhagem, os processos da Vertex AI são precedidos por . Esses processos incluem componentes e modelos do Vertex AI Pipelines, além de artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo é catalogados no Data Catalog com um nome de domínio totalmente qualificado (FQN, na sigla em inglês), poderá clicar na entrada do gráfico de linhagem para ver os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique Abra na Vertex AI no painel Detalhes.

A seguir

• Rastrear a linhagem de dados de jobs de cópia e consulta de tabela do BigQuery BigQuery.

• Saiba mais sobre o modelo de informações de linhagem de dados.