從 Spark 建立及查詢 metastore 資料表

您可以使用 Spark 等開放原始碼引擎，在 BigQuery 筆記本中查詢 Apache Spark Iceberg 資料表。這些資料表是儲存在 BigLake Metastore 的一般 Iceberg 資料表。您可以透過 BigQuery 和 Spark 查詢同一個資料表。

事前準備

• 在 BigQuery 筆記本中使用 Spark 時，建立 Iceberg 資料表。資料表結構定義會儲存在 BigLake 中繼資料儲存庫。舉例來說，您可以使用 Dataproc、Dataproc Serverless 或預存程序建立資料表。

查看及查詢資料表

在 Spark 中建立 BigQuery 資源後，您可以在Google Cloud 控制台中查看及查詢這些資源。以下範例說明使用互動式 Spark 查詢中繼存放區資料表的一般步驟：

1. 使用自訂 Iceberg 目錄：

   USE `CATALOG_NAME`;

   更改下列內容：

   • CATALOG_NAME：您在 SQL 工作中使用的 Spark 目錄名稱。

2. 建立命名空間：

   CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;

   更改下列內容：

   • NAMESPACE_NAME：參照 Spark 資料表的命名空間名稱。

3. 使用建立的命名空間：

   USE NAMESPACE_NAME;

4. 建立 Iceberg 資料表：

   CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;

   更改下列內容：

   • TABLE_NAME：Iceberg 資料表的名稱。

5. 插入表格列：

   INSERT INTO TABLE_NAME VALUES (1, "first row");

6. 使用 Google Cloud 控制台執行下列其中一項操作：

   • 查看資料表的中繼資料
   • 查詢資料表

    SELECT * FROM `TABLE_NAME`;

後續步驟

• 設定其他 BigLake Metastore 功能。