Membuat dan mengkueri tabel metastore dari Spark

Anda dapat membuat kueri tabel Apache Spark Iceberg di notebook BigQuery menggunakan mesin open source, seperti Spark. Tabel ini adalah tabel Iceberg biasa dengan metadata yang disimpan di metastore BigLake. Tabel yang sama dapat dikueri dari BigQuery dan Spark.

Sebelum memulai

• Buat tabel Iceberg saat menggunakan Spark di notebook BigQuery. Skema tabel disimpan di metastore BigLake. Misalnya, Anda dapat membuat tabel dengan Dataproc, Dataproc Serverless, atau prosedur tersimpan.

Melihat dan membuat kueri tabel

Setelah membuat resource BigQuery di Spark, Anda dapat melihat dan membuat kueri resource tersebut di konsolGoogle Cloud . Contoh berikut menunjukkan langkah-langkah umum untuk membuat kueri tabel metastore menggunakan Spark interaktif:

1. Menggunakan katalog Iceberg kustom:

   USE `CATALOG_NAME`;

   Ganti kode berikut:

   • CATALOG_NAME: nama katalog Spark yang Anda gunakan dengan tugas SQL.

2. Buat namespace

   CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;

   Ganti kode berikut:

   • NAMESPACE_NAME: nama namespace yang mereferensikan tabel Spark Anda.

3. Gunakan namespace yang dibuat:

   USE NAMESPACE_NAME;

4. Buat tabel Iceberg:

   CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;

   Ganti kode berikut:

   • TABLE_NAME: nama untuk tabel Iceberg Anda.

5. Menyisipkan baris tabel:

   INSERT INTO TABLE_NAME VALUES (1, "first row");

6. Gunakan konsol Google Cloud untuk melakukan salah satu hal berikut:

   • Melihat metadata tabel
   • Membuat kueri tabel

    SELECT * FROM `TABLE_NAME`;

Langkah berikutnya

• Siapkan fitur BigLake metastore tambahan.