Metastore-Tabellen aus Spark erstellen und abfragen

Sie können Apache Spark Iceberg-Tabellen in einem BigQuery-Notebook mit Open-Source-Engines wie Spark abfragen. Diese Tabellen sind reguläre Iceberg-Tabellen, deren Metadaten im BigLake Metastore gespeichert sind. Dieselbe Tabelle kann sowohl über BigQuery als auch über Spark abgefragt werden.

Hinweise

• Erstellen Sie eine Iceberg-Tabelle mit Spark in einem BigQuery-Notebook. Das Tabellenschema wird im BigLake-Metastore gespeichert. Sie können die Tabelle beispielsweise mit Dataproc, Google Cloud Serverless für Apache Spark oder einer gespeicherten Prozedur erstellen.

Tabelle ansehen und abfragen

Nachdem Sie Ihre BigQuery-Ressourcen in Spark erstellt haben, können Sie sie in derGoogle Cloud -Konsole ansehen und abfragen. Das folgende Beispiel zeigt die allgemeinen Schritte zum Abfragen einer Metastore-Tabelle mit interaktivem Spark:

1. Benutzerdefinierten Iceberg-Katalog verwenden:

   USE `CATALOG_NAME`;

   Ersetzen Sie Folgendes:

   • CATALOG_NAME: der Name des Spark-Katalogs, den Sie mit Ihrem SQL-Job verwenden.

2. Erstellen Sie einen Namespace:

   CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;

   Ersetzen Sie Folgendes:

   • NAMESPACE_NAME: Der Namespace-Name, der auf Ihre Spark-Tabelle verweist.

3. So verwenden Sie den erstellten Namespace:

   USE NAMESPACE_NAME;

4. Iceberg-Tabelle erstellen:

   CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;

   Ersetzen Sie Folgendes:

   • TABLE_NAME: Ein Name für Ihre Iceberg-Tabelle.

5. So fügen Sie eine Tabellenzeile ein:

   INSERT INTO TABLE_NAME VALUES (1, "first row");

6. Verwenden Sie die Google Cloud Console, um einen der folgenden Schritte auszuführen:

   • Tabellenmetadaten ansehen
   • Tabelle abfragen

    SELECT * FROM `TABLE_NAME`;

Nächste Schritte

• Richten Sie zusätzliche BigLake Metastore-Funktionen ein.