Usa Spark SQL con Dataproc Metastore

En esta página, se muestra un ejemplo del uso de Spark SQL con un servicio de Dataproc Metastore. En este ejemplo, se inicia una sesión de Spark SQL en un clúster de Dataproc y se ejecutan algunos comandos de muestra para crear una base de datos y una tabla.

Antes de comenzar

Conéctate a Spark SQL

Si deseas comenzar a usar Spark SQL, usa SSH para conectarte al clúster de Dataproc asociado a tu servicio de Dataproc Metastore. Después de conectarte al clúster con SSH, puedes ejecutar comandos de Spark para administrar tus metadatos.

Conectarse a Spark SQL

  1. En la consola de Google Cloud, ve a la página Instancias de VM.
  2. En la lista de instancias de máquina virtual, haz clic en SSH en la fila de la instancia de VM de Dataproc a la que deseas conectarte.

Se abrirá una ventana del navegador en tu directorio principal en el nodo con un resultado similar al siguiente:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Para iniciar Hive y crear una base de datos y una tabla, ejecuta los siguientes comandos en la sesión de SSH:

  1. Inicia la shell de Spark.

    spark-shell

  2. Crea una base de datos llamada myDB.

    spark.sql("create database myDB");

  3. Usa la base de datos que creaste.

    spark.sql("use myDB");

  4. Crea una tabla llamada myTable.

    spark.sql("create table bar(id int,name string)");

  5. Enumera las tablas en myDatabase.

    spark.sql("show tables").show();

  6. Muestra las filas de la tabla que creaste.

    desc myTable;

Cuando ejecutes estos comandos, se mostrará un resultado similar al siguiente:

$spark-shell

scala>spark.sql("create database myDB");

scala>spark.sql("use myTable");

scala>spark.sql("create table myTable(id int,name string)");

scala>spark.sql("show tables").show();

+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
|    myDB|  myTable|      false|
+--------+---------+-----------+
+--------+---------+-------+
|col_name|data_type|comment|
+--------+---------+-------+
|      id|      int|   null|
|    name|   string|   null|
+--------+---------+-------+

¿Qué sigue?