Probleme mit der Data Lineage beheben

Auf dieser Seite erfahren Sie, wie Sie Probleme mit der Datenabfolge im Data Catalog beheben.

Projekttypen

Da sich Daten-Assets in verschiedenen Projekten befinden können, Projekten und deren Asset-Namen.

BigQuery-Speicherprojekt

In diesem Projekt werden Ihre BigQuery-Daten-Assets gespeichert. Sie finden sie in den Asset-Details als Teil von Table ID vor dem ersten Punkt.

Abbildung 1. Der Name eines BigQuery-Speicherprojekts.

Compute-Projekt

In diesem Projekt werden die Data-Lineage-Metadaten gespeichert. Bei BigQuery wird hier ein Job ausgeführt. Wenn Sie einen Job über die Benutzeroberfläche ausführen, finden Sie den Namen des Compute-Projekts in der Projektauswahl:

Abbildung 2. Der Name eines Compute-Projekts, in dem BigQuery-Jobs ausgeführt werden.

Geben Sie beim Senden von Anfragen an die BigQuery API das Compute-Projekt an in der URL. Beispiel:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Aktives Projekt

Das ist das Projekt, in dem Sie die Datenherkunft aufrufen. In der Google Cloud Console wird das aktive Projekt in der Projektauswahl angezeigt. Wenn Sie die API verwenden, ist das aktive Projekt das Projekt, über das Sie API-Aufrufe ausführen.

Abbildung 3: Das aktive Projekt in der Google Cloud Console.

BigQuery-Datenherkunft wird nicht angezeigt

Nach dem Ausführen eines BigQuery-Jobs tritt das folgende Problem auf. In diesem Fall Das Problem kann durch drei Szenarien verursacht werden:

• Die Data Lineage API ist im aktiven Projekt deaktiviert oder das Compute-Projekt.
• Sie haben nicht den Data Lineage Viewer (roles/datalineage.viewer) im aktiven oder das Compute-Projekt.
• Die Datenherkunft ist noch nicht angekommen. Je nach Umfang und Komplexität der verarbeiteten Daten kann es 30 Minuten bis 24 Stunden dauern, bis die Datenabfolge angezeigt wird.

Wenn die Meldung „Die Herkunft konnte aufgrund fehlender Berechtigungen nicht abgerufen werden“ angezeigt wird. unten auf der Seite fehlen Ihnen Berechtigungen für den aktives Projekt. Andernfalls fehlen Ihnen die Berechtigungen für Compute-Projekt.

Abbildung 4. Beispiel für die Herkunft, die in der BigQuery-UI nicht angezeigt wird

Prüfen Sie zuerst, ob die Data Lineage API für das Compute-Projekt aktiviert ist, um dieses Problem zu beheben. Nachdem Sie die API aktiviert haben, müssen Sie einen Job ausführen, um die Datenherkunft zu sehen. Je nach Umfang und Komplexität der zu verarbeitenden Daten kann es von 30 Minuten bis 24 Stunden, um die Datenherkunft anzuzeigen.

Prüfen Sie als Nächstes, ob die Data Lineage API für das aktive Projekt aktiviert ist. Wenn Sie die API aktiviert haben und die erforderlichen Berechtigungen haben (siehe unten), wird „Abstammung“ angezeigt.

Wenn die Data Lineage API aktiviert war, gewähren Sie Data Lineage-Betrachter (roles/datalineage.viewer) sowohl im aktiven und dem Compute-Projekt.

BigQuery-Prozessmetadaten werden nicht angezeigt

Problembeschreibung

Das folgende Problem tritt auf, wenn Sie den Tabellendetailbereich öffnen. In diesem Alle Details wie die SQL-Anweisung oder das Attribut Process type anzeigen. Das passiert, obwohl die Datenabfolge korrekt angezeigt wird.

Dies kann passieren, wenn Sie nicht berechtigt sind, Metadaten in der Compute-Projekt.

Beispiel:

• BigQuery-Quelltabelle: docs-source.dataset.source-001
• BigQuery-Zieltabelle: docs-target.dataset.target-001
• Datenabfolge zwischen docs-source.dataset.source-001 und docs-target.dataset.target-001 im Berechnungsprojektdocs-compute
• Sie haben den Data Lineage Viewer. Rolle für aktiv und Computing docs-compute-Projekte.

Wenn Sie auf die BigQuery-Prozessdetails klicken, wird die folgende Meldung angezeigt:

You don't have permission to view BigQuery process metadata in project X.

In der Google Cloud Console:

Abbildung 5: Beispiel für BigQuery-Prozessdetails, die nicht in der BigQuery-UI angezeigt werden

Gewähren Sie dem Nutzer die Berechtigung bigquery.jobs.get, um dieses Problem zu beheben (zum Beispiel in BigQuery Resource Viewer enthalten Rolle) im Compute-Projekt.

BigQuery-Tabellendetails werden nicht angezeigt

Das folgende Problem tritt auf, wenn Sie den Detailbereich der Tabelle öffnen, in dem nur die Eigenschaft „Vollständig qualifizierter Name“ angezeigt wird. Dies geschieht auch dann, Data Lineage wird korrekt angezeigt. Dies kann passieren, wenn Sie nicht alle erforderlichen Berechtigungen in der Speicherprojekte.

Beispiel:

• BigQuery-Tabelle docs-source.dataset.source-001,
• BigQuery-Tabelle docs-target.dataset.target-001,
• Data Lineage zwischen docs-source.dataset.source-001 und docs-target.dataset.target-001 mit Computing-Projekt docs-compute,
• Nutzer mit der Rolle Datenherkunft – Betrachter für die aktiven und Compute-docs-compute-Projekte.

In diesem Fall wird dem Nutzer beim Klicken auf die BigQuery-Knotendetails eine Meldung angezeigtEntry with this fully qualified name is not available in the Data Catalog.

Abbildung 6: Beispiel für BigQuery-Tabellendetails, die nicht in der BigQuery-UI angezeigt werden

Um dieses Problem zu beheben, gewähren Sie dem Nutzer bigquery.tables.get Berechtigungen (z. B. in der Rolle BigQuery-Datenbetrachter) im Speicherprojekt.