Membuat dan mengkueri tabel metastore dari Spark

Anda dapat membuat kueri tabel Apache Spark Iceberg di notebook BigQuery menggunakan mesin open source, seperti Spark. Tabel ini adalah tabel Iceberg reguler dengan metadata yang disimpan di metastore BigQuery. Tabel yang sama dapat dikueri dari BigQuery dan Spark.

Sebelum memulai

Pertimbangan

  • Saat ini, hanya tabel Iceberg yang didukung.

  • Saat menjalankan kueri, jangan lupa untuk memetakan nama namespace dan database sebagai nama set data BigQuery. Tabel berikut mencantumkan pemetaan kunci yang berlaku untuk digunakan:

    Open source BigQuery
    Namespace Set data BigQuery
    Database Set data BigQuery
    Tabel (dipartisi atau tidak dipartisi) Tabel BigQuery

Melihat dan membuat kueri tabel

Setelah membuat resource BigQuery di Spark, Anda dapat melihat dan membuat kueri di konsolGoogle Cloud . Contoh berikut menunjukkan langkah-langkah umum untuk membuat kueri tabel metastore menggunakan Spark interaktif:

  1. Gunakan katalog Iceberg kustom:

    USE `CATALOG_NAME`;

    Ganti kode berikut:

    • CATALOG_NAME: nama katalog Spark yang Anda gunakan dengan tugas SQL.

  2. Buat namespace

    CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;

    Ganti kode berikut:

    • NAMESPACE_NAME: nama namespace yang mereferensikan tabel Spark Anda.

  3. Gunakan namespace yang dibuat:

    USE NAMESPACE_NAME;

  4. Buat tabel Iceberg:

    CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;

    Ganti kode berikut:

    • TABLE_NAME: nama untuk tabel Iceberg Anda.

  5. Menyisipkan baris tabel:

    INSERT INTO TABLE_NAME VALUES (1, "first row");

  6. Gunakan konsol Google Cloud untuk melakukan salah satu hal berikut:

     SELECT * FROM `TABLE_NAME`;

Langkah selanjutnya