Menggunakan Spark SQL dengan Dataproc Metastore

Halaman ini menunjukkan contoh penggunaan Spark SQL dengan layanan Metastore Dataproc. Dalam contoh ini, Anda akan meluncurkan sesi Spark SQL di cluster Dataproc dan menjalankan beberapa contoh perintah untuk membuat database dan tabel.

Sebelum memulai

Menghubungkan ke Spark SQL

Untuk mulai menggunakan Spark SQL, gunakan SSH untuk terhubung ke cluster Dataproc yang terkait dengan layanan Dataproc Metastore Anda. Setelah terhubung ke cluster dengan SSH, Anda dapat menjalankan perintah Spark untuk mengelola metadata.

Untuk terhubung ke Spark SQL

  1. Di konsol Google Cloud, buka halaman VM Instances.
  2. Dalam daftar instance virtual machine, klik SSH di baris instance VM Dataproc yang ingin Anda hubungkan.

Jendela browser akan terbuka di direktori beranda Anda di node dengan output yang mirip dengan berikut ini:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Untuk memulai Hive dan membuat database serta tabel, jalankan perintah berikut dalam sesi SSH:

  1. Mulai shell Spark.

    spark-shell

  2. Buat database dengan nama myDB.

    spark.sql("create database myDB");

  3. Gunakan database yang Anda buat.

    spark.sql("use myDB");

  4. Buat tabel bernama myTable.

    spark.sql("create table bar(id int,name string)");

  5. Cantumkan tabel di bagian myDatabase.

    spark.sql("show tables").show();

  6. Menampilkan baris tabel dalam tabel yang Anda buat.

    desc myTable;

Menjalankan perintah ini akan menampilkan output yang mirip dengan berikut:

$spark-shell

scala>spark.sql("create database myDB");

scala>spark.sql("use myTable");

scala>spark.sql("create table myTable(id int,name string)");

scala>spark.sql("show tables").show();

+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
|    myDB|  myTable|      false|
+--------+---------+-----------+
+--------+---------+-------+
|col_name|data_type|comment|
+--------+---------+-------+
|      id|      int|   null|
|    name|   string|   null|
+--------+---------+-------+

Langkah selanjutnya