Resolver problemas de linhagem de dados

Este documento descreve como resolver problemas com a linhagem de dados do Data Catalog.

Tipos de projeto

Os recursos de dados podem estar em projetos diferentes. Confira a seguir um resumo dos possíveis projetos e os nomes dos recursos.

Projeto de armazenamento do BigQuery

Esse projeto armazena seus recursos de dados do BigQuery. Ele pode ser encontrado nos detalhes do recurso como parte de Table ID, antes do primeiro ponto.

Figura 1. O nome de um projeto de armazenamento do BigQuery.

Projeto do Compute

Esse projeto armazena os metadados da linhagem de dados. No BigQuery, é aqui que você executa um job. Se você executar um job usando o console do Google Cloud, poderá encontrar o nome do projeto de computação no seletor de projetos:

Figura 2. O nome de um projeto de computação que executa jobs do BigQuery.

Ao enviar solicitações para a API BigQuery, especifique o projeto de computação no URL, por exemplo:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Projeto ativo

Este é o projeto em que você está visualizando a linhagem de dados. O console do Google Cloud mostra o projeto ativo no seletor de projetos. Se você estiver usando a API, o projeto ativo é aquele em que você está fazendo chamadas de API.

Figura 3. O projeto ativo no console do Google Cloud.

A linhagem de dados do BigQuery não aparece

O problema a seguir ocorre após a execução de um job do BigQuery. Nesse caso, o problema pode ser causado por três cenários:

• A API Data Lineage está desativada no projeto ativo ou no projeto de computação.
• Você não tem o Visualizador de linhagem de dados (roles/datalineage.viewer) no projeto ativo ou no projeto computação.
• A linhagem de dados ainda não chegou. Dependendo do volume e da complexidade dos dados processados, a exibição da linhagem de dados pode levar de 30 minutos a 24 horas.

Se a mensagem "A busca da linhagem falhou devido à ausência de permissões" aparecer na parte de baixo da página, você não tem permissões no projeto ativo. Caso contrário, você não tem permissões no projeto de computação.

Figura 4. Exemplo de linhagem que não aparece na interface do BigQuery.

Para resolver esse problema, verifique se a API Data Lineage está ativada para o projeto de computação. Depois de ativar a API, você precisa executar um job para conferir a linhagem de dados. Dependendo do volume e da complexidade dos dados processados, a exibição da linhagem de dados pode levar de 30 minutos a 24 horas.

Em seguida, verifique se a API Data Lineage está ativada para o projeto ativo.

Quando a API Data Lineage estiver ativada, conceda o Leitor da linhagem de dados (roles/datalineage.viewer) nos projetos ativo e compute.

Os metadados do processo do BigQuery não aparecem

O problema a seguir ocorre quando você abre o painel de detalhes da tabela, que não mostra todos os detalhes, como a instrução SQL ou a propriedade Process type. Isso acontece mesmo que a linhagem de dados seja exibida corretamente.

Isso pode acontecer quando você não tem permissões para ver metadados no projeto de computação.

Exemplo:

• Tabela de origem do BigQuery: docs-source.dataset.source-001
• Tabela de destino do BigQuery: docs-target.dataset.target-001
• Linhagem de dados entre docs-source.dataset.source-001 e docs-target.dataset.target-001 no projeto de computação docs-compute
• Você tem o papel de Visualizador da linhagem de dados para projetos docs-compute ativos e de computação.

Ao clicar nos detalhes do processo do BigQuery, a seguinte mensagem é exibida no console do Google Cloud:

You don't have permission to view BigQuery process metadata in project X.

Figura 5. Exemplo de detalhes do processo do BigQuery que não aparecem na interface do BigQuery.

Para resolver esse problema, conceda ao usuário a permissão bigquery.jobs.get (por exemplo, incluída no papel de Leitor de recursos do BigQuery) no projeto de computação.

Os detalhes da tabela do BigQuery não aparecem

O problema a seguir ocorre quando você abre o painel de detalhes da tabela, que mostra apenas a propriedade Fully qualified name. Isso acontece mesmo que a linhagem de dados seja mostrada corretamente. Isso pode acontecer quando você não tem todas as permissões necessárias nos projetos de armazenamento da tabela.

Exemplo:

• Tabela do BigQuery docs-source.dataset.source-001
• Tabela do BigQuery docs-target.dataset.target-001
• Linhagem de dados entre docs-source.dataset.source-001 e docs-target.dataset.target-001 com o projeto de computação docs-compute
• Você tem o papel de Leitor da linhagem de dados para os projetos docs-compute ativo e compute.

Nesse caso, ao clicar nos detalhes do nó do BigQuery, você verá uma mensagem Entry with this fully qualified name is not available in the Data Catalog.

Figura 6. Exemplo de detalhes da tabela do BigQuery que não aparecem na interface.

Para resolver esse problema, conceda as permissões bigquery.tables.get (por exemplo, incluídas no papel de Leitor de dados do BigQuery) no projeto de armazenamento.