Criar e consultar tabelas do metastore no Spark

É possível consultar tabelas do Apache Spark Iceberg em um notebook do BigQuery usando mecanismos de código aberto, como o Spark. Essas tabelas são tabelas regulares do Iceberg com metadados armazenados no metastore do BigLake. A mesma tabela pode ser consultada no BigQuery e no Spark.

Antes de começar

Ver e consultar uma tabela

Depois de criar os recursos do BigQuery no Spark, é possível conferir e consultar esses recursos no consoleGoogle Cloud . O exemplo a seguir mostra as etapas gerais para consultar uma tabela do metastore usando o Spark interativo:

  1. Use o catálogo personalizado do Iceberg:

    USE `CATALOG_NAME`;

    Substitua:

    • CATALOG_NAME: o nome do catálogo do Spark que você está usando com seu job do SQL.

  2. Para criar um namespace:

    CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;

    Substitua:

    • NAMESPACE_NAME: o nome do namespace que referencia sua tabela do Spark.

  3. Use o namespace criado:

    USE NAMESPACE_NAME;

  4. Crie uma tabela do Iceberg:

    CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;

    Substitua:

    • TABLE_NAME: um nome para sua tabela do Iceberg.

  5. Insira uma linha da tabela:

    INSERT INTO TABLE_NAME VALUES (1, "first row");

  6. Use o console Google Cloud para fazer uma das seguintes ações:

     SELECT * FROM `TABLE_NAME`;

A seguir