Usar a linhagem de dados com os sistemas do Google Cloud

Ativar a linhagem de dados em um projeto do Google Cloud para começar automaticamente informações de linhagem de rastreamento para sistemas com suporte.

Cuidado:a linhagem de dados é ativada por projeto. Depois de ativar a API Data Lineage, as informações de linhagem são automaticamente relatados para vários serviços do Google Cloud, dependendo do controle de linhagem no nível do produto. Para mais detalhes, consulte Considerações sobre a linhagem de dados.

Papéis e permissões

O Data Catalog rastreia informações de linhagem automaticamente quando você ativa a API Data Lineage. Você não precisa de funções de administrador ou editor para capturar a linhagem dos seus recursos de dados e acessar a linhagem no console do Google Cloud. Papéis de leitor padrão como descritas nos Identity and Access Management são suficientes. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso. É possível atribuir um papel em um nível superior de pasta ou organização (consulte Conceder ou revogar um único papel).

Ativar a linhagem de dados

1. No console do Google Cloud, na página do seletor de projetos, selecione o que contém os recursos para os quais você quer acompanhar a linhagem.

   Acessar o seletor de projetos

2. Ativar as APIs Data Lineage e Data Catalog.

   Ativar as APIs

Conferir gráficos de linhagem na interface do Dataplex

O gráfico de visualização de linhagem mostra as relações entre os recursos do projeto e os processos que os criaram. É possível conferir a linhagem dos dados informações na forma de uma visualização gráfica no console do Google Cloud, ou recuperá-los da API Data Lineage na forma de dados JSON.

Observação: pode levar algum tempo para que a linhagem de dados mostre um gráfico. Se um gráfico de linhagem não for exibido imediatamente, aguarde alguns minutos.

1. Abra a página de pesquisa do Dataplex e encontre o recurso você quer conferir as informações de linhagem.

   Abrir a página de pesquisa do Dataplex

   Para mais informações, consulte Como pesquisar recursos de dados.

2. Na página de detalhes da entrada, selecione a guia Linhagem.

.

Figura 1. Exemplo de um gráfico de visualização de linhagem na interface do Dataplex.

Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

Conferir gráficos de linhagem na interface do BigQuery

É possível visualizar o gráfico de linhagem diretamente na interface do BigQuery.

1. No Console do Google Cloud, acesse a página BigQuery.

   Abrir a página do BigQuery

2. Abra a tabela que contém a linhagem de dados que você quer conferir.
3. Clique na guia Linhagem.
4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

Conferir gráficos de linhagem na interface da Vertex AI

Visualização — data lineage

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Sistemas como o Vertex AI Pipelines geram dados de linhagem para modelos e conjuntos de dados da Vertex AI. É possível conferir o gráfico de linhagem diretamente na interface da Vertex AI.

Observação :para conferir a linhagem de operações da Vertex AI, como dados de treinamento, teste e avaliação usados ou hiperparâmetros aplicados, consulte Rastrear a linhagem de artefatos de pipeline.

Conferir gráficos de linhagem de um conjunto de dados gerenciado na Vertex AI

Para conferir o gráfico de linhagem de um conjunto de dados, siga estas instruções:

1. No console do Google Cloud, acesse a página Conjuntos de dados.

   Abrir a página "Conjuntos de dados"

2. Clique no conjunto de dados que contém a linhagem de dados que você quer conferir.
3. Clique na guia Linhagem.
4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

.

Observação :no gráfico de linhagem, os processos da Vertex AI são precedidos pelo . Esses processos incluem componentes e modelos do Vertex AI Pipelines Artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogados no Data Catalog com um nome de domínio totalmente qualificado (FQN, na sigla em inglês), poderá clicar na entrada do gráfico de linhagem para ver os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique Abra na Vertex AI no painel Detalhes.

Acessar gráficos de linhagem de um modelo na Vertex AI

Para conferir o gráfico de linhagem de um modelo, siga estas instruções:

1. No Console do Google Cloud, acesse a página Registro do modelo..

   Abrir a página Model Registry

2. Clique no modelo com a linhagem de dados que você quer conferir.
3. Clique na guia Linhagem.
4. Selecione os botões do processo ou da fonte de dados para mostrar o painel de detalhes.

.

Observação :no gráfico de linhagem, os processos da Vertex AI são precedidos pelo . Esses processos incluem componentes e modelos do Vertex AI Pipelines Artefatos, conjuntos de dados e modelos do Vertex ML Metadata. Se o processo for catalogados no Data Catalog com um nome de domínio totalmente qualificado (FQN, na sigla em inglês), poderá clicar na entrada do gráfico de linhagem para ver os detalhes. Como alternativa, para conferir os detalhes do gráfico de linhagem na Vertex AI, clique Abra na Vertex AI no painel Detalhes.

A seguir

• Rastrear a linhagem de dados de jobs de cópia e consulta de tabela do BigQuery BigQuery.

• Saiba mais sobre o modelo de informações de linhagem de dados.