Usar a linhagem de dados com os sistemas do Google Cloud

A linhagem de dados mostra as relações entre os recursos do seu projeto e os processos que os criaram.

É possível conferir informações de linhagem de dados no console do Google Cloud das seguintes formas:

• Gráfico de linhagem: mostra a linhagem upstream ou downstream de uma única entrada raiz. Para mais informações, consulte Gráfico de linhagem.
• Visualização de caminho de linhagem (prévia): mostra os links de linhagem entre dois recursos selecionados. Para mais informações, consulte Visualização do caminho de linhagem.
• Visualização em lista da linhagem (prévia): mostra informações detalhadas da linhagem para recursos em uma única tabela que inclui informações de linhagem para recursos com muitas conexões. Para mais informações, consulte Visualização em lista da linhagem.

Dica: se esta for sua primeira vez trabalhando com linhagem de dados, siga o início rápido: Rastrear a linhagem de dados de uma tabela do BigQuery.

Também é possível recuperar informações de linhagem da API Data Lineage na forma de dados JSON.

A linhagem é capturada em todos os projetos. Ao visualizar a linhagem gerada de vários projetos, é possível acessar as informações agregadas em qualquer um dos projetos relevantes.

Atenção:a linhagem de dados é ativada por projeto, não por serviço. Depois de ativar a API Data Lineage, as informações de linhagem são informadas automaticamente para vários serviços Google Cloud no projeto, dependendo do controle de linhagem no nível do produto. Para mais detalhes, consulte Considerações sobre a linhagem de dados.

Dependendo do volume de dados processados, leva tempo para a linhagem de dados mostrar um gráfico. A maioria dos jobs leva três horas, e alguns podem levar até 24 horas.

Papéis e permissões

Para ver informações de linhagem, peça ao administrador para conceder a você funções de leitor conforme descrito em Funções predefinidas para linhagem de dados. Você precisa ter acesso ao projeto em que a linhagem é visualizada e aos projetos em que ela é registrada.

O Dataplex Universal Catalog rastreia informações de linhagem automaticamente quando você ativa a API Data Lineage. Não é necessário ter funções de administrador ou editor para capturar a linhagem dos seus recursos de dados.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso. É possível atribuir um papel em um nível mais alto de pasta ou organização (consulte Conceder ou revogar um único papel).

Ativar a linhagem de dados

Ative a linhagem de dados para começar a rastrear automaticamente as informações de linhagem dos sistemas compatíveis. É necessário ativar a API Data Lineage no projeto em que você vê a linhagem e nos projetos em que ela é registrada. Para mais informações, consulte Tipos de projetos.

1. Para capturar informações de linhagem, faça o seguinte:

   1. No console do Google Cloud , na página Seletor de projetos, selecione o projeto em que você quer registrar a linhagem.

      Acessar o Seletor de projetos

   2. Ative a API Data Lineage.

      Ativar a API Data Lineage

   3. Repita as etapas anteriores para cada projeto em que você quer registrar linhagem.

2. No projeto em que você vê a linhagem, ative a API Data Lineage e a API Dataplex.

   Ativar as APIs

Visualizar a linhagem no catálogo universal do Dataplex

É possível conferir informações de linhagem de dados na interface da Web do Dataplex Universal Catalog.

Para conferir a linhagem, siga estas instruções:

1. No console Google Cloud , acesse a página Pesquisa do Universal Catalog do Dataplex.

   Acesse Pesquisar

2. Selecione Catálogo Universal do Dataplex como o modo de pesquisa.

3. Pesquise a entrada para ver as informações de linhagem. Para mais informações, consulte Pesquisar recursos no Dataplex Universal Catalog.

4. Na página de detalhes da entrada, selecione a guia Linhagem.

5. Para conferir o gráfico de linhagem, clique em Gráfico.

   • Selecione os botões de processo ou fonte de dados para mostrar o painel de detalhes.

   • Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

6. Para ver a linhagem na visualização em lista, clique em Lista.

7. Para conferir a visualização do caminho de linhagem, clique em Lista e selecione o recurso de destino na tabela de resultados. No painel de detalhes, clique em Destino e em Visualizar linhagem.

Ver linhagem no BigQuery

É possível conferir informações de linhagem de dados na interface da Web do BigQuery.

Para conferir a linhagem, siga estas instruções:

1. No console do Google Cloud , acesse a página BigQuery.

   Abrir a página do BigQuery

2. Abra a tabela para ver a linhagem de dados.

3. Clique na guia Linhagem.

4. Para conferir o gráfico de linhagem, clique em Gráfico.

   • Selecione os botões de processo ou fonte de dados para mostrar o painel de detalhes.

   • Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

5. Para ver a linhagem na visualização em lista, clique em Lista.

6. Para conferir a visualização do caminho de linhagem, clique em Lista e selecione o recurso de destino na tabela de resultados. No painel de detalhes, clique em Destino e em Visualizar linhagem.

Ver linhagem na Vertex AI

Sistemas como o Vertex AI Pipelines geram dados de linhagem para modelos e conjuntos de dados da Vertex AI. É possível conferir informações de linhagem de dados na interface da Web da Vertex AI.

Observação: para conferir a linhagem das operações da Vertex AI, como os dados de treinamento, teste e avaliação usados ou os hiperparâmetros aplicados, consulte Rastrear a linhagem de artefatos do pipeline.

Ver a linhagem de um conjunto de dados gerenciado na Vertex AI

Para conferir a linhagem de um conjunto de dados, siga estas instruções:

1. No Google Cloud console, acesse a página Conjuntos de dados.

   Abrir a página "Conjuntos de dados"

2. Clique no conjunto de dados para ver a linhagem de dados.

3. Clique na guia Linhagem.

4. Para conferir o gráfico de linhagem, clique em Gráfico.

   • Selecione os botões de processo ou fonte de dados para mostrar o painel de detalhes.

   • Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

5. Para ver a linhagem na visualização em lista, clique em Lista.

6. Para conferir a visualização do caminho de linhagem, clique em Lista e selecione o recurso de destino na tabela de resultados. No painel de detalhes, clique em Destino e em Visualizar linhagem.

Observação: no gráfico de linhagem, os processos da Vertex AI são precedidos pelo . Esses processos incluem componentes e modelos do Vertex AI Pipelines, além de artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Dataplex Universal Catalog com um nome de domínio totalmente qualificado (FQN), clique na entrada no gráfico de linhagem para ver os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

Ver a linhagem de um modelo na Vertex AI

Para conferir a linhagem de um modelo, siga estas instruções:

1. No console do Google Cloud , acesse a página Registro de modelo.

   Abra a página "Modelo de registro".

2. Clique no modelo para ver a linhagem de dados.

3. Clique na guia Linhagem.

4. Para conferir o gráfico de linhagem, clique em Gráfico.

   • Selecione os botões de processo ou fonte de dados para mostrar o painel de detalhes.

   • Para conferir informações de linhagem upstream ou downstream de um recurso, clique em Expandir.

5. Para ver a linhagem na visualização em lista, clique em Lista.

6. Para conferir a visualização do caminho de linhagem, clique em Lista e selecione o recurso de destino na tabela de resultados. No painel de detalhes, clique em Destino e em Visualizar linhagem.

Observação: no gráfico de linhagem, os processos da Vertex AI são precedidos pelo . Esses processos incluem componentes e modelos do Vertex AI Pipelines, além de artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogado no Dataplex Universal Catalog com um nome de domínio totalmente qualificado (FQN), clique na entrada no gráfico de linhagem para ver os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique em Abrir na Vertex AI no painel Detalhes.

A seguir

• Rastrear a linhagem de dados dos jobs de cópia e consulta de uma tabela do BigQuery.

• Saiba mais sobre o modelo de informações da linhagem de dados.