Probleme mit der Datenherkunft beheben

Auf dieser Seite wird beschrieben, wie Sie Probleme mit Data Catalog Data Lineage beheben.

Projekttypen

Da sich Daten-Assets in verschiedenen Projekten befinden können, finden Sie hier eine Zusammenfassung möglicher Projekte und ihrer Asset-Namen.

BigQuery-Speicherprojekt

In diesem Projekt werden Ihre BigQuery-Daten-Assets gespeichert. Sie finden sie in den Asset-Details als Teil von Table ID vor dem ersten Punkt.

Abbildung 1. Der Name eines BigQuery-Speicherprojekts.

Compute-Projekt

In diesem Projekt werden die Data-Lineage-Metadaten gespeichert. Für BigQuery führen Sie hier einen Job aus. Wenn Sie einen Job über die UI ausführen, finden Sie den Namen des Compute-Projekts in der Projektauswahl:

Abbildung 2. Der Name eines Compute-Projekts, das BigQuery-Jobs ausführt.

Wenn Sie Anfragen an die BigQuery API senden, geben Sie das Compute-Projekt in der URL an. Beispiel:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Aktives Projekt

Dies ist das Projekt, aus dem Sie die Datenherkunft ansehen. In der Google Cloud Console wird das aktive Projekt in der Projektauswahl angezeigt. Wenn Sie die API verwenden, ist das aktive Projekt das Projekt, von dem aus Sie API-Aufrufe ausführen.

Abbildung 3: Das aktive Projekt in der Google Cloud Console.

BigQuery Data Lineage wird nicht angezeigt

Das folgende Problem tritt nach dem Ausführen eines BigQuery-Jobs auf. In diesem Fall kann das Problem durch drei Szenarien verursacht werden:

• Die Data Lineage API ist im aktiven Projekt oder im Compute-Projekt deaktiviert.
• Sie haben nicht die Rolle Data Lineage Viewer (roles/datalineage.viewer) im aktiven oder compute-Projekt.
• Die Data Lineage ist noch nicht eingetroffen. Je nach Umfang und Komplexität der zu verarbeitenden Daten kann es zwischen 30 Minuten und 24 Stunden dauern, bis die Datenherkunft angezeigt wird.

Wenn Sie unten auf der Seite die Meldung "Abruf der Herkunft aufgrund fehlender Berechtigungen fehlgeschlagen." sehen, fehlen Ihnen Berechtigungen für das aktive Projekt. Andernfalls fehlen Berechtigungen für das Compute-Projekt.

Abbildung 4. Beispiel für die Herkunft, die in der BigQuery-UI nicht angezeigt wird

Um dieses Problem zu beheben, prüfen Sie zuerst, ob die Data Lineage API für das Compute-Projekt aktiviert ist. Nachdem Sie die API aktiviert haben, müssen Sie einen Job ausführen, um die Data-Lineage zu sehen. Je nach Umfang und Komplexität der verarbeiteten Daten kann es zwischen 30 Minuten und 24 Stunden dauern, bis die Data Lineage angezeigt wird.

Prüfen Sie als Nächstes, ob die Data Lineage API für das aktive Projekt aktiviert ist. Wenn Sie die API aktiviert haben und die erforderlichen Berechtigungen haben (siehe unten), wird „Lineage“ angezeigt.

Wenn die Data Lineage API aktiviert wurde, gewähren Sie sowohl im aktiven als auch im compute-Projekt die Rolle Data Lineage Viewer (roles/datalineage.viewer).

BigQuery-Prozessmetadaten werden nicht angezeigt

Problembeschreibung

Das folgende Problem tritt auf, wenn Sie den Bereich mit den Tabellendetails öffnen, in dem nicht alle Details wie die SQL-Anweisung oder das Attribut Process type angezeigt werden. Dies geschieht, obwohl die Datenherkunft korrekt angezeigt wird.

Dies kann passieren, wenn Sie nicht berechtigt sind, Metadaten im Compute-Projekt anzusehen.

Beispiel:

• BigQuery-Quelltabelle: docs-source.dataset.source-001
• BigQuery-Zieltabelle: docs-target.dataset.target-001
• Data Lineage zwischen docs-source.dataset.source-001 und docs-target.dataset.target-001 im Computing-Projekt docs-compute
• Sie haben die Rolle Data Lineage Viewer für aktive und compute-docs-compute-Projekte.

Wenn Sie auf die BigQuery-Prozessdetails klicken, wird die folgende Meldung angezeigt:

You don't have permission to view BigQuery process metadata in project X.

In der Google Cloud Console:

Abbildung 5: Beispiel für BigQuery-Prozessdetails, die nicht in der BigQuery-UI angezeigt werden

Erteilen Sie dem Nutzer die Berechtigung bigquery.jobs.get (z. B. in der Rolle BigQuery Resource Viewer) im Computing-Projekt, um dieses Problem zu beheben.

Details zur BigQuery-Tabelle werden nicht angezeigt

Das folgende Problem tritt auf, wenn Sie den Bereich mit den Tabellendetails öffnen, in dem nur das Attribut „Voll qualifizierter Name“ angezeigt wird. Dies geschieht, obwohl die Data Lineage korrekt angezeigt wird. Dies kann passieren, wenn Sie nicht alle erforderlichen Berechtigungen in den Speicherprojekten der Tabelle haben.

Beispiel:

• BigQuery-Tabelle docs-source.dataset.source-001,
• BigQuery-Tabelle docs-target.dataset.target-001,
• Data Lineage zwischen docs-source.dataset.source-001 und docs-target.dataset.target-001 mit dem Computing-Projekt docs-compute
• Nutzer mit der Rolle Data Lineage-Betrachter für die docs-compute-Projekte aktiv und compute.

In diesem Fall wird dem Nutzer beim Klicken auf die BigQuery-Knotendetails die Meldung Entry with this fully qualified name is not available in the Data Catalog angezeigt.

Abbildung 6: Beispiel für BigQuery-Tabellendetails, die nicht in der BigQuery-UI angezeigt werden

Erteilen Sie dem Nutzer bigquery.tables.get-Berechtigungen (z. B. in der Rolle BigQuery-Datenbetrachter) im Speicherprojekt, um dieses Problem zu beheben.