Questa pagina mostra come risolvere i problemi relativi alla derivazione dei dati di Data Catalog.
Tipi di progetto
Poiché gli asset di dati possono trovarsi in progetti diversi, di seguito è riportato un riepilogo dei possibili progetti e dei relativi nomi degli asset.
Progetto di archiviazione BigQuery
Questo progetto archivia gli asset di dati BigQuery.
Puoi trovarlo nei dettagli dell'asset come parte di Table ID
, prima del primo punto.
![Nella UI di BigQuery, il nome del progetto di archiviazione è visualizzato nel campo ID tabella, prima del primo punto del nome completo della tabella.](https://cloud.google.com/static/data-catalog/images/storage-project-example.png?hl=it)
Progetto Compute
Questo progetto archivia i metadati di derivazione dei dati. Per BigQuery, è qui che esegui un job. Se esegui un job dall'interfaccia utente, puoi trovare il nome del progetto Compute nel selettore di progetti:
![La UI di BigQuery mostra un progetto Compute chiamato docs-compute sulla pagina in cui esegui le query SQL.](https://cloud.google.com/static/data-catalog/images/compute-project-example.png?hl=it)
Quando invii richieste all'API BigQuery, specifica il progetto Compute nell'URL, ad esempio:
POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
"configuration": {
"query": {
"useLegacySql": false,
"query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
}
},
"jobReference": {
"projectId": "docs-compute",
"jobId": "docs-compute-job-id",
"location": "us",
}
}
Progetto attivo
Questo è il progetto da cui stai visualizzando la derivazione dei dati. La console Google Cloud mostra il progetto attivo nel selettore di progetti. Se utilizzi l'API, il progetto attivo è il progetto da cui stai effettuando le chiamate API.
![La UI di BigQuery mostra la derivazione dei dati per un set di dati denominato source-001, che si trova in un progetto chiamato docs-source.](https://cloud.google.com/static/data-catalog/images/active-project-example.png?hl=it)
Derivazione dei dati BigQuery non visualizzata
Il seguente problema si verifica dopo l'esecuzione di un job BigQuery. In questo caso, il problema può essere causato da tre scenari:
- L'API Data Lineage è disabilitata nel progetto attivo o nel progetto Compute,
- Non disponi di un Visualizzatore derivazione dati (
roles/datalineage.viewer
) nel progetto active o compute. - La derivazione dei dati non è ancora arrivata. A seconda del volume e della complessità dei dati in fase di elaborazione, la visualizzazione della derivazione dei dati può richiedere da 30 minuti standard a 24 ore.
Se nella parte inferiore della pagina viene visualizzato il messaggio "Recupero della derivazione non riuscito a causa di autorizzazioni mancanti", significa che non hai le autorizzazioni per il progetto attivo. In caso contrario, non hai le autorizzazioni per il progetto Compute.
![Uno screenshot che mostra un grafico di derivazione vuoto.](https://cloud.google.com/static/data-catalog/images/no-lineage-problem.png?hl=it)
Per risolvere il problema, verifica innanzitutto se l'API Data Lineage è abilitata per il progetto Compute. Dopo aver abilitato l'API, devi eseguire un job per visualizzare la derivazione dei dati. A seconda del volume e della complessità dei dati in elaborazione, la visualizzazione della derivazione dei dati può richiedere da 30 minuti standard a 24 ore.
Successivamente, controlla se l'API Data Lineage è abilitata per il progetto attivo. Se dopo aver abilitato l'API hai le autorizzazioni richieste (vedi di seguito), vedrai la derivazione.
Quando l'API Data Lineage è stata abilitata, concedi il ruolo
Data lineage Viewer (roles/datalineage.viewer
)
sia nel progetto active
sia nel progetto compute.
Metadati di processo BigQuery non visualizzati
Descrizione del problema
Il seguente problema si verifica quando apri il riquadro dei dettagli della tabella, che non mostra tutti i dettagli, come l'istruzione SQL o la proprietà Process type
.
Questo accade anche se la derivazione dei dati viene visualizzata correttamente.
Questo può accadere quando non hai le autorizzazioni per visualizzare i metadati nel progetto Compute.
Esempio:
- Tabella di origine BigQuery:
docs-source.dataset.source-001
- Tabella target BigQuery:
docs-target.dataset.target-001
- Derivazione dei dati tra
docs-source.dataset.source-001
edocs-target.dataset.target-001
nel progetto di computingdocs-compute
- Disponi del ruolo Visualizzatore derivazione dati per progetti
docs-compute
attivi e di compute.
Se fai clic sui dettagli della procedura BigQuery, viene visualizzato il seguente messaggio:
You don't have permission to view BigQuery process metadata in project X.
Nella console Google Cloud:
![Nell'interfaccia utente di BigQuery, nella scheda Derivazione, il riquadro Dettagli mostra un messaggio di errore.](https://cloud.google.com/static/data-catalog/images/no-bq-process-details-problem.png?hl=it)
Per risolvere questo problema, concedi all'utente l'autorizzazione bigquery.jobs.get
(ad esempio inclusa nel ruolo Visualizzatore risorse BigQuery) nel progetto computing.
Dettagli della tabella BigQuery non visualizzati
Il seguente problema si verifica quando apri il riquadro dei dettagli della tabella, che mostra solo la proprietà "Nome completo". Questo accade anche se la derivazione dei dati viene visualizzata correttamente. Questo può accadere quando non disponi di tutte le autorizzazioni necessarie nei progetti di archiviazione della tabella.
Esempio:
- Tabella BigQuery
docs-source.dataset.source-001
, - Tabella BigQuery
docs-target.dataset.target-001
, - derivazione dei dati tra
docs-source.dataset.source-001
edocs-target.dataset.target-001
con progetto computingdocs-compute
, - Utente con il ruolo Visualizzatore derivazione dati per i progetti
docs-compute
attivi e di compute.
In questo caso, l'utente, quando fa clic sui dettagli del nodo BigQuery, può visualizzare il messaggio Entry with this fully qualified name is not available in the Data Catalog
.
![Uno screenshot che mostra il riquadro della tabella vuoto.](https://cloud.google.com/static/data-catalog/images/no-bq-table-details-problem.png?hl=it)
Per risolvere questo problema, concedi all'utente le autorizzazioni bigquery.tables.get
(ad esempio, incluso nel ruolo Visualizzatore dati BigQuery) nel progetto di archiviazione.