Rastrear a linhagem de dados de uma tabela do BigQuery

Rastrear a linhagem de dados de uma tabela do BigQuery

Linhagem de dados permite que você rastreie como os dados se movem pelos sistemas: de onde vêm, de onde ele é transmitido e quais transformações são aplicadas a ele.

Saiba como rastrear a linhagem de dados em Jobs de cópia e consulta do BigQuery:

1. Copie duas tabelas de um conjunto de dados new_york_taxi_trips disponível publicamente.

2. Combinar o número total de corridas de táxi das duas tabelas em uma nova tabela.

3. Conferir um gráfico de visualização de linhagem para as três operações.

Antes de começar

Configure seu projeto:

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

4. Ative as APIs Data Catalog, BigQuery, and data lineage.

   Ative as APIs

5. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

7. Ative as APIs Data Catalog, BigQuery, and data lineage.

   Ative as APIs

Cuidado:a linhagem de dados é ativada por projeto. Depois de ativar a API Data Lineage, as informações de linhagem são automaticamente relatados para vários serviços do Google Cloud, dependendo do controle de linhagem no nível do produto. Para mais detalhes, consulte Considerações sobre a linhagem de dados.

Funções exigidas

Para receber as permissões necessárias para visualizar gráficos de visualização de linhagem, peça ao seu administrador para conceder a você os seguintes papéis do IAM:

• Leitor do Data Catalog (roles/datacatalog.viewer) no projeto de recursos do Data Catalog
• Leitor de linhagem de dados (roles/datalineage.viewer) no projeto em que você usa o BigQuery
• Leitor de dados do BigQuery (roles/bigquery.dataViewer) no projeto em que você usa o BigQuery

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Adicionar um conjunto de dados público ao projeto

1. No console do Google Cloud, acesse a página do BigQuery.

   Ir para o BigQuery

2. No painel Explorer, clique em Adicionar.

3. No painel Adicionar, pesquise por Public datasets e selecione o Resultado de conjuntos de dados públicos.

4. No painel Marketplace, pesquise por NYC TLC Trips e clique no Resultado da pesquisa NYC TLC Trips.

5. Clique em Ver conjunto de dados.

Nesta etapa, o conjunto de dados new_york_taxi_trips será adicionado ao seu projeto. Detalhes mostra as Informações do conjunto de dados, incluindo informações como: ID do conjunto de dados, Local dos dados e Data da Última modificação.

Criar um conjunto de dados no projeto

1. No painel Explorer, selecione o projeto em que você quer criar o no conjunto de dados.

2. Clique no ícone Ações e em Criar no conjunto de dados.

3. No campo ID do conjunto de dados da página Criar conjunto de dados, digite: data_lineage_demo Não altere os valores padrão dos outros campos.

4. Clique em Criar conjunto de dados.

5. No painel Explorer, clique no data_lineage_demo recém-adicionado.

O painel de detalhes mostra as informações do conjunto de dados.

Copiar duas tabelas acessíveis publicamente para seu conjunto de dados

1. Abrir um editor de consultas: no painel de detalhes, ao lado da guia chamada data_lineage_demo, clique em (Criar nova consulta). Esta etapa cria uma guia chamada Untitled.

2. No editor de consultas, copie a primeira tabela inserindo o seguinte: consulta. Substitua PROJECT_ID pelo código do seu projeto identificador.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
   

3. Clique em Executar. Esta etapa cria a primeira tabela, chamada nyc_green_trips_2021.

4. No painel Resultados da consulta, clique em Ir para a tabela. Esta etapa mostra o conteúdo da primeira tabela.

5. No editor de consultas, copie a segunda tabela substituindo a anterior. com a consulta a seguir. Substitua PROJECT_ID pelo seu do projeto identificador.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
   

6. Clique em Executar. Esta etapa cria a segunda tabela, chamada nyc_green_trips_2022.

7. No painel Resultados da consulta, clique em Ir para a tabela. Esta etapa mostra o conteúdo da segunda tabela.

Agregar dados em uma nova tabela

1. No editor de consultas, insira a consulta a seguir. Substituir PROJECT_ID por o do seu projeto identificador.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
   AS SELECT vendor_id, COUNT(*) AS number_of_trips
   FROM (
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
        UNION ALL
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   )
   GROUP BY vendor_id
   

2. Clique em Executar. Esta etapa cria uma tabela combinada, chamada total_green_trips_22_21.

3. No painel Resultados da consulta, clique em Ir para a tabela. Esta etapa mostra a tabela combinada.

Conferir o gráfico de linhagem no Dataplex

1. Abra a página de pesquisa do Dataplex.

   Abrir a pesquisa do Dataplex

2. Em Escolher plataforma de pesquisa, selecione Data Catalog como o modo de pesquisa.

3. Na caixa Pesquisar, digite total_green_trips_22_21 e clique em Pesquisar.

4. Na lista de resultados, clique em total_green_trips_22_21. Esta etapa mostra na guia Detalhes da tabela do BigQuery.

5. Clique na guia Linhagem.

.

Observação :pode levar algum tempo para a linhagem automática detectar essas mudanças. Se o gráfico de linhagem ainda não estiver disponível, verifique novamente após alguns minutos.

Figura 1. Linhagem de dados com detalhes do nó

.

No gráfico de linhagem, cada nó retangular representa uma tabela, um original, copiada ou combinada. Faça o seguinte:

• Mostrar ou ocultar a origem de uma tabela clicando em + (Expandir) ou - (Recolher).

• Mostrar informações da tabela clicando em um nó. Esta etapa mostra um nó Painel Detalhes.

• Mostrar informações do processo clicando em um ícone de processo. Esta etapa exibe um painel Detalhes do processo mostrando o job que transformou uma tabela de origem em uma de destino.

.

Figura 2. Linhagem de dados com detalhes do processo

.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Exclua o projeto

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. No Console do Google Cloud, acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Excluir o conjunto de dados

1. Acesse a página do BigQuery.

   Ir para o BigQuery

2. No painel Explorer, pesquise o conjunto de dados data_lineage_demo que você criados.

3. Clique com o botão direito do mouse no conjunto de dados e selecione Excluir.

4. Confirme a ação de exclusão.

A seguir

• Saiba mais sobre o Dataplex e o linhagem de dados.
• Saiba como executar o BigQuery comuns.
• Saiba como usar linhagem de dados e visualização linhagem de dados gráficos.
• Saiba mais sobre os preços do Dataplex e faturamento.