Crear y consultar tablas de metastore desde Spark

Puedes consultar tablas de Apache Spark Iceberg en un cuaderno de BigQuery con motores de código abierto, como Spark. Estas tablas son tablas de Iceberg normales con metadatos almacenados en el metastore de BigLake. La misma tabla se puede consultar desde BigQuery y desde Spark.

Antes de empezar

Ver y consultar una tabla

Una vez que hayas creado tus recursos de BigQuery en Spark, podrás verlos y consultarlos en laGoogle Cloud consola. En el siguiente ejemplo se muestran los pasos generales para consultar una tabla de metastore mediante Spark interactivo:

  1. Usa el catálogo personalizado de Iceberg:

    USE `CATALOG_NAME`;

    Haz los cambios siguientes:

    • CATALOG_NAME: el nombre del catálogo de Spark que estás usando con tu trabajo de SQL.

  2. Crea un espacio de nombres:

    CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;

    Haz los cambios siguientes:

    • NAMESPACE_NAME: el nombre del espacio de nombres que hace referencia a tu tabla de Spark.

  3. Usa el espacio de nombres creado:

    USE NAMESPACE_NAME;

  4. Crea una tabla de Iceberg:

    CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;

    Haz los cambios siguientes:

    • TABLE_NAME: un nombre para tu tabla Iceberg.

  5. Insertar una fila de una tabla:

    INSERT INTO TABLE_NAME VALUES (1, "first row");

  6. Usa la Google Cloud consola para hacer una de las siguientes acciones:

     SELECT * FROM `TABLE_NAME`;

Siguientes pasos