Crie e consulte tabelas de metastore a partir do Spark
Pode consultar tabelas do Apache Spark Iceberg num bloco de notas do BigQuery através de motores de código aberto, como o Spark. Estas tabelas são tabelas Iceberg normais com metadados armazenados no metastore do BigLake. Pode consultar a mesma tabela a partir do BigQuery e do Spark.
Antes de começar
- Crie uma tabela Iceberg enquanto usa o Spark num notebook do BigQuery. O esquema de tabela é armazenado no metastore do BigLake. Por exemplo, pode criar a tabela com o Dataproc, o Google Cloud Serverless para Apache Spark ou um procedimento armazenado.
Veja e consulte uma tabela
Depois de criar os recursos do BigQuery no Spark, pode vê-los e consultá-los na Google Cloud consola. O exemplo seguinte mostra os passos gerais para consultar uma tabela do metastore através do Spark interativo:
Use o catálogo Iceberg personalizado:
USE `CATALOG_NAME`;
Substitua o seguinte:
CATALOG_NAME: o nome do catálogo do Spark que está a usar com a sua tarefa de SQL.
Crie um espaço de nomes:
CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;
Substitua o seguinte:
NAMESPACE_NAME: o nome do espaço de nomes que faz referência à sua tabela do Spark.
Use o espaço de nomes criado:
USE NAMESPACE_NAME;
Crie uma tabela Iceberg:
CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;
Substitua o seguinte:
TABLE_NAME: um nome para a sua tabela Iceberg.
Inserir uma linha da tabela:
INSERT INTO TABLE_NAME VALUES (1, "first row");
Use a Google Cloud consola para fazer uma das seguintes ações:
SELECT * FROM `TABLE_NAME`;