Usar a linhagem de dados com os sistemas do Google Cloud

A linhagem de dados mostra as relações entre os recursos do seu projeto e os processos que os criaram. É possível conferir informações de linhagem de dados na forma de visualização de gráfico ou de visualização em lista no console do Google Cloud ou extraí-las da API Data Lineage na forma de dados JSON.

A linhagem é capturada em vários projetos. Quando você consulta a linhagem gerada em vários projetos, é possível conferir as informações agregadas em qualquer um dos projetos relevantes.

Atenção:a linhagem de dados é ativada por projeto, não por serviço. Depois de ativar a API Data Lineage, as informações de linhagem são relatadas automaticamente para vários serviços do Google Cloud no projeto, dependendo do controle de linhagem no nível do produto. Para mais detalhes, consulte Considerações sobre a linhagem de dados.

Papéis e permissões

Para conferir as informações de linhagem, peça ao administrador para conceder a você as funções de leitor, conforme descrito em Funções predefinidas de linhagem de dados. Você precisa ter acesso ao projeto em que você visualiza a linhagem e aos projetos em que a linhagem é gravada.

O Data Catalog rastreia as informações de linhagem automaticamente quando você ativa a API Data Lineage. Você não precisa de funções de administrador ou editor para capturar a linhagem dos seus recursos de dados.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso. É possível atribuir um papel em um nível mais alto de pasta ou organização (consulte Conceder ou revogar um único papel).

Ativar a linhagem de dados

Ative a linhagem de dados para começar a rastrear automaticamente as informações de linhagem para sistemas com suporte. É necessário ativar a API Data Lineage no projeto em que você visualiza a linhagem e nos projetos em que a linhagem é gravada. Para mais informações, consulte Tipos de projeto.

1. Para capturar informações de linhagem, faça o seguinte:

   1. No console do Google Cloud, na página Seletor de projetos, selecione o projeto em que você quer registrar a linhagem.

      Acessar o Seletor de projetos

   2. Ative a API Data Lineage.

      Ativar a API Data Lineage

   3. Repita as etapas anteriores para cada projeto em que você quer registrar a linhagem.

2. No projeto em que você visualiza a linhagem, ative a API Data Lineage e a API Data Catalog.

   Ativar as APIs

Visualizar a linhagem na interface do Dataplex

É possível conferir informações de linhagem de dados na interface do Dataplex na forma de um gráfico ou uma lista.

Os gráficos de linhagem representam informações coletadas pela API Data Lineage para uma entrada específica.

Figura 1. Exemplo de um gráfico de visualização de linhagem na interface do Dataplex.

Observação: pode levar algum tempo para que a linhagem de dados mostre um gráfico. Se o gráfico de linhagem não aparecer imediatamente, aguarde alguns minutos.

Visualização em lista de linhagem (Visualização) mostra informações detalhadas de linhagem para entidades em uma única tabela que inclui informações de linhagem para entidades com muitas conexões.

Para conferir a linhagem, siga estas instruções:

1. Abra a página de pesquisa do Dataplex e encontre o recurso para o qual você quer ver informações de linhagem.

   Abrir a página de pesquisa do Dataplex

   Para mais informações, consulte Como pesquisar recursos de dados.

2. Na página de detalhes da entrada, selecione a guia Linhagem.

3. Selecione os botões de processo ou de fonte de dados para mostrar o painel de detalhes.

4. Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

5. Para conferir a linhagem na visualização em lista em vez de gráfico, clique em Lista.

Conferir a linhagem na interface do BigQuery

É possível conferir informações de linhagem de dados na IU do BigQuery na forma de um gráfico ou uma lista (Visualização).

Para conferir a linhagem, siga estas instruções:

1. No Console do Google Cloud, acesse a página BigQuery.

   Abrir a página do BigQuery

2. Abra a tabela para a qual você quer conferir a linhagem de dados.

3. Clique na guia Linhagem.

4. Selecione os botões de processo ou de fonte de dados para mostrar o painel de detalhes.

5. Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

6. Para conferir a linhagem na visualização em lista em vez de gráfico, clique em Lista.

Conferir a linhagem na interface da Vertex AI

Sistemas como o Vertex AI Pipelines geram dados de linhagem para modelos e conjuntos de dados da Vertex AI. É possível conferir informações de linhagem de dados na interface da Vertex AI na forma de gráfico ou lista (pré-lançamento).

Observação: para conferir a linhagem das operações da Vertex AI, como os dados de treinamento, teste e avaliação usados ou os hiperparâmetros aplicados, consulte Rastrear a linhagem de artefatos do pipeline.

Conferir a linhagem de um conjunto de dados gerenciado na Vertex AI

Para conferir a linhagem de um conjunto de dados, siga estas instruções:

1. No console do Google Cloud, acesse a página Conjuntos de dados.

   Abrir a página "Conjuntos de dados"

2. Clique no conjunto de dados para ver a linhagem de dados.

3. Clique na guia Linhagem.

4. Selecione os botões de processo ou de fonte de dados para mostrar o painel de detalhes.

5. Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

6. Para conferir a linhagem na visualização em lista em vez de gráfico, clique em Lista.

Observação: no gráfico de linhagem, os processos da Vertex AI são precedidos por . Esses processos incluem componentes e modelos do Vertex AI Pipelines e artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Data Catalog com um nome de domínio totalmente qualificado (FQN), clique na entrada no gráfico de linhagem para conferir os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

Conferir a linhagem de um modelo na Vertex AI

Para conferir a linhagem de um modelo, siga estas instruções:

1. No Console do Google Cloud, acesse a página Registro do modelo..

   Abrir a página "Modelo de registro"

2. Clique no modelo para ver a linhagem de dados.

3. Clique na guia Linhagem.

4. Selecione os botões de processo ou de fonte de dados para mostrar o painel de detalhes.

5. Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

6. Para conferir a linhagem na visualização em lista em vez de gráfico, clique em Lista.

Observação: no gráfico de linhagem, os processos da Vertex AI são precedidos por . Esses processos incluem componentes e modelos do Vertex AI Pipelines e artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Data Catalog com um nome de domínio totalmente qualificado (FQN), clique na entrada no gráfico de linhagem para conferir os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

A seguir

• Rastrear a linhagem de dados de um job de cópia e consulta de tabelas do BigQuery.

• Saiba mais sobre o modelo de informações de linhagem de dados.