Usar a linhagem de dados com os sistemas do Google Cloud

A linhagem de dados mostra as relações entre os recursos do seu projeto e os processos que os criaram.

É possível conferir as informações de linhagem de dados no console do Google Cloud nos seguintes formatos:

• Gráfico de linhagem: mostra a linhagem upstream ou downstream de uma única entrada raiz. Para mais informações, consulte Gráfico de linhagem.
• Visualização do caminho de linhagem (pré-lançamento): mostra os links de linhagem entre dois recursos selecionados. Para mais informações, consulte Visualização do caminho de linhagem.
• Visualização de lista de linhagens (pré-lançamento): mostra informações detalhadas de linhagem para recursos em uma única tabela que inclui informações de linhagem para recursos com muitas conexões. Para mais informações, consulte Visualização de lista de linhagem.

Observação: dependendo do volume de dados processados, a linhagem de dados pode levar algum tempo para mostrar um gráfico. Para a maioria dos jobs, leva três horas, mas para alguns pode levar até 24 horas.

Também é possível recuperar informações de linhagem da API Data Lineage na forma de dados JSON.

A linhagem é capturada em vários projetos. Quando você consulta a linhagem gerada em vários projetos, é possível conferir as informações agregadas em qualquer um dos projetos relevantes.

Atenção:a linhagem de dados é ativada por projeto, não por serviço. Depois de ativar a API Data Lineage, as informações de linhagem são informadas automaticamente para vários serviços Google Cloud no projeto, dependendo do controle de linhagem no nível do produto. Para mais detalhes, consulte Considerações sobre a linhagem de dados.

Papéis e permissões

Para conferir as informações de linhagem, peça ao administrador para conceder a você as funções de leitor, conforme descrito em Funções predefinidas para a linhagem de dados. Você precisa ter acesso ao projeto em que você visualiza a linhagem e aos projetos em que a linhagem é gravada.

O Dataplex rastreia as informações de linhagem automaticamente quando você ativa a API Data Lineage. Você não precisa de funções de administrador ou editor para capturar a linhagem dos seus recursos de dados.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso. É possível atribuir um papel em um nível mais alto de pasta ou organização (consulte Conceder ou revogar um único papel).

Ativar a linhagem de dados

Ative a linhagem de dados para começar a rastrear automaticamente as informações de linhagem para sistemas com suporte. É necessário ativar a API Data Lineage no projeto em que você visualiza a linhagem e nos projetos em que a linhagem é gravada. Para mais informações, consulte Tipos de projeto.

1. Para capturar informações de linhagem, faça o seguinte:

   1. No console do Google Cloud, na página Seletor de projetos, selecione o projeto em que você quer registrar a linhagem.

      Acessar o Seletor de projetos

   2. Ative a API Data Lineage.

      Ativar a API Data Lineage

   3. Repita as etapas anteriores para cada projeto em que você quer registrar a linhagem.

2. No projeto em que você visualiza a linhagem, ative a API Data Lineage e a API Dataplex.

   Ativar as APIs

Visualizar a linhagem no Dataplex

É possível conferir informações sobre a linhagem de dados na interface da Web do Dataplex.

Para conferir a linhagem, siga estas instruções:

1. Abra a página de pesquisa do Dataplex Catalog e encontre o recurso para o qual você quer ver as informações de linhagem.

   Acesse Pesquisar

   Para mais informações, consulte Pesquisar recursos no Dataplex Catalog.

2. Na página de detalhes da entrada, selecione a guia Linhagem.

3. Para conferir o gráfico de linhagem, clique em Graph.

   • Selecione os botões de processo ou de fonte de dados para mostrar o painel de detalhes.

   • Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

4. Para conferir a linhagem na visualização em lista, clique em List.

5. Para conferir a visualização do caminho de linhagem, clique em Listar e selecione o recurso de destino na tabela de resultados. No painel de detalhes, clique em Alvo e em Visualizar linhagem.

Conferir a linhagem no BigQuery

É possível conferir informações sobre a linhagem de dados na interface da Web do BigQuery.

Para conferir a linhagem, siga estas instruções:

1. No Console do Google Cloud, acesse a página BigQuery.

   Abrir a página do BigQuery

2. Abra a tabela para a qual você quer conferir a linhagem de dados.

3. Clique na guia Linhagem.

4. Para conferir o gráfico de linhagem, clique em Graph.

   • Selecione os botões de processo ou de fonte de dados para mostrar o painel de detalhes.

   • Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

5. Para conferir a linhagem na visualização em lista, clique em List.

6. Para conferir a visualização do caminho de linhagem, clique em Listar e selecione o recurso de destino na tabela de resultados. No painel de detalhes, clique em Alvo e em Visualizar linhagem.

Conferir a linhagem na Vertex AI

Sistemas como o Vertex AI Pipelines geram dados de linhagem para modelos e conjuntos de dados da Vertex AI. É possível conferir informações de linhagem de dados na interface da Web da interface da Vertex AI.

Observação: para conferir a linhagem das operações da Vertex AI, como os dados de treinamento, teste e avaliação usados ou os hiperparâmetros aplicados, consulte Rastrear a linhagem de artefatos do pipeline.

Conferir a linhagem de um conjunto de dados gerenciado na Vertex AI

Para conferir a linhagem de um conjunto de dados, siga estas instruções:

1. No console do Google Cloud, acesse a página Conjuntos de dados.

   Abrir a página "Conjuntos de dados"

2. Clique no conjunto de dados para ver a linhagem de dados.

3. Clique na guia Linhagem.

4. Para conferir o gráfico de linhagem, clique em Graph.

   • Selecione os botões de processo ou de fonte de dados para mostrar o painel de detalhes.

   • Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

5. Para conferir a linhagem na visualização em lista, clique em List.

6. Para conferir a visualização do caminho de linhagem, clique em Listar e selecione o recurso de destino na tabela de resultados. No painel de detalhes, clique em Alvo e em Visualizar linhagem.

Observação: no gráfico de linhagem, os processos da Vertex AI são precedidos por . Esses processos incluem componentes e modelos do Vertex AI Pipelines e artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Dataplex com um nome de domínio totalmente qualificado (FQN), clique na entrada no gráfico de linhagem para conferir os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

Conferir a linhagem de um modelo na Vertex AI

Para conferir a linhagem de um modelo, siga estas instruções:

1. No Console do Google Cloud, acesse a página Registro do modelo..

   Abrir a página "Modelo de registro"

2. Clique no modelo para ver a linhagem de dados.

3. Clique na guia Linhagem.

4. Para conferir o gráfico de linhagem, clique em Graph.

   • Selecione os botões de processo ou de fonte de dados para mostrar o painel de detalhes.

   • Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

5. Para conferir a linhagem na visualização em lista, clique em List.

6. Para conferir a visualização do caminho de linhagem, clique em Listar e selecione o recurso de destino na tabela de resultados. No painel de detalhes, clique em Alvo e em Visualizar linhagem.

Observação: no gráfico de linhagem, os processos da Vertex AI são precedidos por . Esses processos incluem componentes e modelos do Vertex AI Pipelines e artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Dataplex Catalog com um nome de domínio totalmente qualificado (FQN), clique na entrada no gráfico de linhagem para conferir os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

A seguir

• Rastrear a linhagem de dados de um job de cópia e consulta de tabelas do BigQuery.

• Saiba mais sobre o modelo de informações de linhagem de dados.