Memecahkan masalah silsilah data

Dokumen ini menjelaskan cara menyelesaikan masalah terkait silsilah data Data Catalog.

Jenis project

Aset data dapat berada di project yang berbeda. Berikut adalah ringkasan kemungkinan project dan nama asetnya.

Project penyimpanan BigQuery

Project ini menyimpan aset data BigQuery Anda. Anda dapat menemukannya di detail aset sebagai bagian dari Table ID, sebelum titik pertama.

Di UI BigQuery, nama project penyimpanan ditampilkan di kolom ID Tabel, sebelum titik pertama dalam nama tabel yang sepenuhnya memenuhi syarat.
Gambar 1. Nama project penyimpanan BigQuery.

Project Compute

Project ini menyimpan metadata silsilah data. Untuk BigQuery, di sinilah Anda menjalankan tugas. Jika menjalankan tugas menggunakan konsol Google Cloud, Anda dapat menemukan nama project compute di pemilih project:

UI BigQuery menampilkan project komputasi bernama docs-compute di halaman tempat Anda menjalankan kueri SQL.
Gambar 2. Nama project komputasi yang menjalankan tugas BigQuery.

Saat mengirim permintaan ke BigQuery API, tentukan project komputasi di URL, misalnya:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Project aktif

Ini adalah project tempat Anda melihat silsilah data. Konsol Google Cloud menampilkan project aktif di pemilih project. Jika Anda menggunakan API, project aktif adalah project tempat Anda melakukan panggilan API.

UI BigQuery menampilkan garis keturunan data untuk set data yang disebut source-001, yang ada dalam project yang disebut docs-source.
Gambar 3. Project aktif di konsol Google Cloud.

Linimasa data BigQuery tidak ditampilkan

Masalah berikut terjadi setelah menjalankan tugas BigQuery. Dalam hal ini, masalah dapat disebabkan oleh tiga skenario:

  • Data Lineage API dinonaktifkan di project aktif atau project komputasi.
  • Anda tidak memiliki Data lineage Viewer (roles/datalineage.viewer) dalam project aktif atau compute.
  • Lineage data belum diterima. Bergantung pada volume dan kompleksitas data yang sedang diproses, perlu waktu dari 30 menit standar hingga 24 jam agar garis keturunan data ditampilkan.

Jika Anda melihat pesan "Pengambilan silsilah gagal karena izin tidak ada" di bagian bawah halaman, berarti Anda tidak memiliki izin di project aktif. Jika tidak, Anda tidak memiliki izin di project komputasi.

Grafik silsilah kosong.
Gambar 4. Contoh garis keturunan yang tidak ditampilkan di UI BigQuery.

Untuk mengatasi masalah ini, periksa apakah Data Lineage API diaktifkan untuk project komputasi. Setelah mengaktifkan API, Anda perlu menjalankan tugas untuk melihat silsilah data. Bergantung pada volume dan kompleksitas data yang diproses, perlu waktu dari 30 menit standar hingga 24 jam agar garis keturunan data ditampilkan.

Selanjutnya, periksa apakah Data Lineage API diaktifkan untuk project aktif.

Saat Data Lineage API diaktifkan, berikan izin kepada Data lineage Viewer (roles/datalineage.viewer) di project active dan compute.

Metadata proses BigQuery tidak ditampilkan

Masalah berikut terjadi saat Anda membuka panel detail tabel, yang tidak menampilkan semua detail seperti pernyataan SQL atau properti Process type. Hal ini terjadi meskipun garis keturunan data ditampilkan dengan benar.

Hal ini dapat terjadi jika Anda tidak memiliki izin untuk melihat metadata di project komputasi.

Contoh:

  • Tabel sumber BigQuery: docs-source.dataset.source-001
  • Tabel target BigQuery: docs-target.dataset.target-001
  • Silsilah data antara docs-source.dataset.source-001 dan docs-target.dataset.target-001 di project komputasi docs-compute
  • Anda memiliki peran Data lineage Viewer untuk project docs-compute aktif dan komputasi.

Mengklik detail proses BigQuery akan menampilkan pesan berikut di konsol Google Cloud:

You don't have permission to view BigQuery process metadata in project X.
Di UI BigQuery, pada tab Lineage, panel Detail menampilkan pesan error.
Gambar 5. Contoh detail proses BigQuery yang tidak ditampilkan di UI BigQuery.

Untuk mengatasi masalah ini, berikan izin bigquery.jobs.get kepada pengguna (misalnya, disertakan dalam peran BigQuery Resource Viewer) di project komputasi.

Detail tabel BigQuery tidak ditampilkan

Masalah berikut terjadi saat Anda membuka panel detail tabel, yang hanya menampilkan properti Fully qualified name. Hal ini terjadi meskipun lineage data ditampilkan dengan benar. Hal ini dapat terjadi jika Anda tidak memiliki semua izin yang diperlukan di project penyimpanan tabel.

Contoh:

  • Tabel BigQuery docs-source.dataset.source-001
  • Tabel BigQuery docs-target.dataset.target-001
  • Silsilah data antara docs-source.dataset.source-001 dan docs-target.dataset.target-001 dengan project komputasi docs-compute
  • Anda memiliki peran Data lineage Viewer untuk project docs-compute aktif dan compute

Dalam hal ini, saat mengklik detail node BigQuery, Anda dapat melihat pesan Entry with this fully qualified name is not available in the Data Catalog.

Detail tabel BigQuery tidak ditampilkan.
Gambar 6. Contoh detail tabel BigQuery yang tidak ditampilkan di UI BigQuery.

Untuk mengatasi masalah ini, berikan izin bigquery.tables.get (misalnya, disertakan dalam peran BigQuery Data Viewer) di project penyimpanan.