Crea y consulta tablas de metastore desde Spark

Puedes consultar tablas de Apache Spark Iceberg en un notebook de BigQuery con motores de código abierto, como Spark. Estas tablas son tablas de Iceberg normales con metadatos almacenados en BigLake Metastore. La misma tabla se puede consultar desde BigQuery y Spark.

Antes de comenzar

Cómo ver y consultar una tabla

Después de crear tus recursos de BigQuery en Spark, puedes verlos y consultarlos en la consola deGoogle Cloud . En el siguiente ejemplo, se muestran los pasos generales para consultar una tabla de metastore con Spark interactivo:

  1. Usa el catálogo de Iceberg personalizado:

    USE `CATALOG_NAME`;

    Reemplaza lo siguiente:

    • CATALOG_NAME: Es el nombre del catálogo de Spark que usas con tu trabajo de SQL.

  2. Crea un espacio de nombres:

    CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;

    Reemplaza lo siguiente:

    • NAMESPACE_NAME: Es el nombre del espacio de nombres que hace referencia a tu tabla de Spark.

  3. Usa el espacio de nombres creado:

    USE NAMESPACE_NAME;

  4. Crea una tabla de Iceberg:

    CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;

    Reemplaza lo siguiente:

    • TABLE_NAME: Es un nombre para tu tabla de Iceberg.

  5. Inserta una fila de la tabla:

    INSERT INTO TABLE_NAME VALUES (1, "first row");

  6. Usa la consola de Google Cloud para realizar una de las siguientes acciones:

     SELECT * FROM `TABLE_NAME`;

¿Qué sigue?