Error umum Eksplorasi

Halaman ini menunjukkan cara menyelesaikan masalah terkait Workbench eksplorasi data di Dataplex.

Database tidak ditemukan

Saat Anda menjalankan kueri Spark dari SQL workbench atau notebook Jupyter, error berikut akan terjadi:

Script failed in execution.
org.apache.spark.sql.catalyst.parser.ParseException:
No viable alternative at input `zone-name`(line 1, pos24)

Nama zona dataplex dipetakan ke nama database yang kompatibel dengan Hive, yang dapat dikueri menggunakan Spark. Nama zona dataplex dapat berisi tanda hubung (-), sedangkan nama database Hive tidak dapat. Oleh karena itu, tanda hubung dalam nama zona Dataplex dipetakan ke garis bawah (_) dalam nama database Hive.

Untuk menyelesaikan masalah ini, ikuti langkah berikut:

  1. Dapatkan daftar database yang tersedia:

    show databases

  2. Tinjau daftar nama database yang ditampilkan dan pastikan Anda mengajukan kueri nama database yang benar.

Tabel tidak ditemukan

Saat Anda menjalankan kueri Spark dari SQL workbench atau notebook Jupyter, error berikut akan terjadi:

Script failed in execution.
org.apache.spark.sql.AnalysisException: Table or view not found

Dataplex menemukan metadata untuk aset BigQuery dan Cloud Storage, serta membuatnya dapat diakses menggunakan Dataproc Metastore (DPMS). Kueri Spark di workbench SQL atau notebook Jupyter terhubung ke DPMS saat mengeksekusi kueri SQL untuk mendapatkan metadata tabel.

Untuk menyelesaikan masalah ini, ikuti langkah berikut:

  1. Dapatkan daftar tabel yang tersedia:

    show tables in DATABASE_NAME

  2. Pastikan Anda mengajukan kueri untuk nama tabel yang benar.

  3. Jika nama tabel berisi huruf besar, tetapkan spark.sql.caseSensitive ke true dalam konfigurasi lingkungan.

Error izin

Kueri Spark gagal dengan error izin. Contoh:

  • HiveException
  • TTransportException

Untuk menggunakan fitur Explore di Dataplex, Anda harus diberi peran dan izin yang diperlukan pada resource Dataplex dan aset dasar.

Untuk menyelesaikan masalah izin, ikuti langkah-langkah berikut:

  • Pastikan Anda diberi peran dan izin yang diperlukan untuk menggunakan workbench Eksplorasi data.
  • Pastikan Anda memiliki izin read di aset Cloud Storage dan BigQuery yang mendasarinya.
  • Untuk paket kustom, pastikan Agen Layanan Cloud Dataplex memiliki izin read di bucket Cloud Storage yang dikonfigurasi di lingkungan.

Tidak dapat menghapus lake yang berisi skrip atau notebook

Saat Anda menghapus lake yang digunakan untuk Eksplorasi Dataplex, dan jika lake berisi skrip atau notebook, error berikut akan terjadi:

Failed to delete `projects/locations/region/lakes/lakename` since it has child
resources.

Explore Dataplex memerlukan setidaknya satu lingkungan untuk ada di browser resource.

Untuk mengatasi masalah ini, gunakan salah satu solusi berikut:

  • Gunakan perintah gcloud CLI untuk menghapus skrip dan notebook dari lake, lalu hapus lake tersebut.
  • Buat lingkungan sementara yang akan mengaktifkan browser resource. Hapus semua skrip dan notebook, diikuti dengan lingkungan sementara dan lake.

Pekerjaan dibatalkan

Saat Anda menjalankan kueri Spark, tugas akan dibatalkan jika ada error kritis.

Untuk mengatasi masalah ini, lihat pesan error untuk mengidentifikasi penyebab utama masalah dan memperbaikinya.

TTransportException saat membuat kueri tabel Iceberg

Saat Anda membuat kueri untuk tabel Iceberg lebar, TTransportException akan muncul.

Iceberg memiliki masalah umum pada Spark 3.1 yang tersedia pada image Dataproc 2.0 yang digunakan oleh Dataplex Explore.

Untuk mengatasi masalah ini, tambahkan proyeksi tambahan di kueri SELECT. Contoh:

SELECT a,b,c, 1 AS dummy FROM ICEBERG_TABLE

Dalam contoh ini, 1 AS dummy adalah proyeksi ekstra. Untuk mengetahui informasi selengkapnya, lihat halaman detail masalah.

Lake tidak muncul di browser resource Explore

Eksplorasi hanya tersedia untuk danau di wilayah us-central1, europe-west2, europe-west1, us-east1, us-west1, asia-southeast1, asia-northeast1. Lake yang termasuk dalam region lain tidak akan muncul di browser resource Jelajahi.

Tidak dapat mulai menggunakan Eksplorasi Dataplex

Di konsol Google Cloud, di halaman Dataplex, saat Anda mengklik Explore, pesan berikut akan ditampilkan:

In order to use Dataplex Explore to query data in CLoud Storage and BigQuery
using open soure applications (ex: SparkSQL), connect a metastore. Get started
by setting up one. If DPMS is already attached to the lake and you are seeing
this page, please check the DPMS logs for any possible issues.

Explore hanya berfungsi jika danau memiliki Dataproc Metastore (DPMS) yang dikonfigurasi dan setidaknya satu penyiapan lingkungan.

Untuk mengatasi masalah ini, tautkan danau Anda ke Dataproc Metastore.

Batasan kuota

Saat membuat lingkungan, Anda mungkin melihat error terkait kuota.

Untuk mengatasi masalah ini, tinjau kuota berikut sebelum membuat lingkungan:

  • Anda dapat membuat 10 lingkungan per danau.
  • Anda dapat membuat lingkungan dengan maksimum 150 node.
  • Durasi sesi untuk setiap sesi pengguna dibatasi hingga 10 jam.

Waktu mulai sesi lama

Perlu waktu 2,5-3,5 menit untuk memulai sesi baru per pengguna. Setelah aktif, sesi akan digunakan untuk menjalankan kueri dan notebook berikutnya untuk pengguna yang sama.

Untuk mengurangi waktu startup sesi, buat lingkungan default dengan startup cepat yang diaktifkan.

Tidak dapat menjadwalkan notebook yang berisi paket Python kustom

Di Konsol Google Cloud, saat Anda menjadwalkan notebook yang berisi paket Python kustom, error berikut akan terjadi:

Selected environment ENVIRONMENT_NAME has additional Python
packages configured. These packages will not be available in the default runtime
for the scheduled notebook when scheduling in the Console. To make the required
additional Python packages available in the runtime, please create Notebook
Schedule using gcloud command instead, referencing a container image with
required additional packages.

Anda tidak dapat menjadwalkan notebook di Konsol Google Cloud jika lingkungan memiliki paket Python kustom.

Untuk mengatasi masalah ini, gunakan gcloud CLI untuk menjadwalkan notebook yang berisi paket kustom.