Menggunakan Spark SQL dengan Dataproc Metastore

Halaman ini menunjukkan contoh penggunaan Spark SQL dengan layanan Dataproc Metastore. Dalam contoh ini, Anda meluncurkan sesi SQL Spark pada cluster Dataproc dan menjalankan beberapa contoh perintah untuk membuat database dan tabel.

Sebelum memulai

Terhubung ke Spark SQL

Untuk mulai menggunakan Spark SQL, gunakan SSH agar terhubung ke cluster Dataproc yang terkait dengan layanan Dataproc Metastore Anda. Setelah terhubung ke cluster dengan SSH, Anda dapat menjalankan perintah Spark untuk mengelola metadata.

Untuk terhubung ke Spark SQL

  1. Di konsol Google Cloud, buka halaman VM Instances.
  2. Dalam daftar instance virtual machine, klik SSH di baris instance VM Dataproc yang ingin dihubungkan.

Jendela browser akan terbuka di direktori utama Anda pada node dengan output yang mirip dengan berikut ini:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Untuk memulai Hive serta membuat database dan tabel, jalankan perintah berikut di sesi SSH:

  1. Mulai shell Spark.

    spark-shell

  2. Buat database dengan nama myDB.

    spark.sql("create database myDB");

  3. Menggunakan database yang telah Anda buat.

    spark.sql("use myDB");

  4. Buat tabel bernama myTable.

    spark.sql("create table bar(id int,name string)");

  5. Cantumkan tabel dalam myDatabase.

    spark.sql("show tables").show();

  6. Tampilkan baris tabel dalam tabel yang Anda buat.

    desc myTable;

Menjalankan perintah ini akan menampilkan output yang mirip dengan berikut ini:

$spark-shell

scala>spark.sql("create database myDB");

scala>spark.sql("use myTable");

scala>spark.sql("create table myTable(id int,name string)");

scala>spark.sql("show tables").show();

+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
|    myDB|  myTable|      false|
+--------+---------+-----------+
+--------+---------+-------+
|col_name|data_type|comment|
+--------+---------+-------+
|      id|      int|   null|
|    name|   string|   null|
+--------+---------+-------+

Langkah selanjutnya