Halaman ini menunjukkan cara menyelesaikan masalah terkait silsilah data Data Catalog.
Jenis project
Karena aset data dapat berada di berbagai project, berikut ini ringkasan kemungkinan project beserta nama asetnya.
Project penyimpanan BigQuery
Project ini menyimpan aset data BigQuery Anda.
Anda dapat menemukannya di detail aset sebagai bagian dari Table ID
, sebelum titik pertama.
![Di UI BigQuery, nama project penyimpanan ditampilkan di kolom ID Tabel, sebelum titik pertama dalam nama tabel yang sepenuhnya memenuhi syarat.](https://cloud.google.com/static/data-catalog/images/storage-project-example.png?authuser=5&hl=id)
Project Compute
Project ini menyimpan metadata silsilah data. Untuk BigQuery, di sinilah Anda menjalankan tugas. Jika menjalankan tugas dari UI, Anda dapat menemukan nama project komputasi di pemilih project:
![UI BigQuery menampilkan project komputasi yang disebut docs-compute di halaman tempat Anda menjalankan kueri SQL.](https://cloud.google.com/static/data-catalog/images/compute-project-example.png?authuser=5&hl=id)
Saat mengirim permintaan ke BigQuery API, tentukan project komputasi di URL, misalnya:
POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
"configuration": {
"query": {
"useLegacySql": false,
"query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
}
},
"jobReference": {
"projectId": "docs-compute",
"jobId": "docs-compute-job-id",
"location": "us",
}
}
Project aktif
Ini adalah proyek tempat Anda melihat silsilah data. Konsol Google Cloud akan menampilkan project yang aktif di pemilih project. Jika Anda menggunakan API, project yang aktif adalah project tempat Anda melakukan panggilan API.
![UI BigQuery menampilkan silsilah data untuk set data yang disebut source-001, yang berada dalam project bernama docs-source.](https://cloud.google.com/static/data-catalog/images/active-project-example.png?authuser=5&hl=id)
Silsilah data BigQuery tidak muncul
Masalah berikut terjadi setelah menjalankan tugas BigQuery. Dalam hal ini, masalah dapat disebabkan oleh tiga skenario:
- Data Lineage API dinonaktifkan dalam project aktif atau project komputasi,
- Anda tidak memiliki Data lineage Viewer (
roles/datalineage.viewer
) di project aktif atau compute. - Silsilah data belum tiba. Bergantung pada volume dan kompleksitas data yang diproses, perlu waktu mulai dari 30 menit standar hingga 24 jam untuk menampilkan silsilah data.
Jika Anda melihat pesan "Pengambilan garis turunan gagal karena izin tidak ada." di bagian bawah halaman, berarti Anda tidak memiliki izin untuk project yang aktif. Jika tidak, Anda tidak akan memiliki izin di project komputasi.
![Screenshot yang menampilkan grafik silsilah kosong.](https://cloud.google.com/static/data-catalog/images/no-lineage-problem.png?authuser=5&hl=id)
Untuk mengatasi masalah ini, periksa terlebih dahulu apakah Data Lineage API diaktifkan untuk project komputasi. Setelah mengaktifkan API, Anda perlu menjalankan tugas untuk melihat silsilah data Bergantung pada volume dan kompleksitas data yang diproses, perlu waktu dari standar 30 menit hingga 24 jam untuk menampilkan silsilah data.
Berikutnya, periksa apakah Data Lineage API diaktifkan untuk project aktif. Setelah mengaktifkan API, jika Anda memiliki izin yang diperlukan (lihat di bawah), Anda akan melihat silsilah.
Saat Data Lineage API diaktifkan, berikan
Data lineage Viewer (roles/datalineage.viewer
)
di project aktif
dan compute.
Metadata proses BigQuery tidak muncul
Deskripsi masalah
Masalah berikut terjadi saat Anda membuka panel detail tabel, yang tidak
menampilkan semua detail seperti pernyataan SQL atau properti Process type
.
Hal ini terjadi meskipun silsilah data ditampilkan dengan benar.
Hal ini dapat terjadi jika Anda tidak memiliki izin untuk melihat metadata dalam project komputasi.
Contoh:
- Tabel sumber BigQuery:
docs-source.dataset.source-001
- Tabel target BigQuery:
docs-target.dataset.target-001
- Silsilah data antara
docs-source.dataset.source-001
dandocs-target.dataset.target-001
dalam project komputasidocs-compute
- Anda memiliki peran Data lineage Viewer
untuk project aktif
dan compute
docs-compute
.
Mengklik detail proses BigQuery akan menampilkan pesan berikut:
You don't have permission to view BigQuery process metadata in project X.
Di konsol Google Cloud:
![Di UI BigQuery, pada tab Lineage, panel Details menampilkan
pesan error.](https://cloud.google.com/static/data-catalog/images/no-bq-process-details-problem.png?authuser=5&hl=id)
Untuk mengatasi masalah ini, beri pengguna izin bigquery.jobs.get
(misalnya yang disertakan dalam peran BigQuery Resource Viewer)
dalam project komputasi.
Detail tabel BigQuery tidak muncul
Masalah berikut terjadi saat Anda membuka panel detail tabel, yang hanya menampilkan properti "Fully qualified name". Hal ini terjadi meskipun silsilah data ditampilkan dengan benar. Hal ini dapat terjadi jika Anda tidak memiliki semua izin yang diperlukan dalam project penyimpanan tabel.
Contoh:
- Tabel BigQuery
docs-source.dataset.source-001
, - Tabel BigQuery
docs-target.dataset.target-001
, - silsilah data antara
docs-source.dataset.source-001
dandocs-target.dataset.target-001
dengan project komputasidocs-compute
, - Pengguna yang memiliki peran Data lineage Viewer
untuk project
docs-compute
aktif dan compute.
Dalam hal ini, pengguna dapat melihat pesan Entry with this fully qualified name is not available in the Data Catalog
saat mengklik detail node BigQuery.
![Screenshot yang menampilkan panel tabel kosong.](https://cloud.google.com/static/data-catalog/images/no-bq-table-details-problem.png?authuser=5&hl=id)
Untuk mengatasi masalah ini, beri pengguna izin bigquery.tables.get
(misalnya yang disertakan dalam peran BigQuery Data Viewer)
di project penyimpanan.