Halaman ini menunjukkan contoh penggunaan Spark SQL dengan layanan Dataproc Metastore. Dalam contoh ini, Anda meluncurkan sesi SQL Spark pada cluster Dataproc dan menjalankan beberapa contoh perintah untuk membuat database dan tabel.
Sebelum memulai
- Buat layanan Dataproc Metastore.
- Lampirkan layanan Dataproc Metastore ke cluster Dataproc.
Terhubung ke Spark SQL
Untuk mulai menggunakan Spark SQL, gunakan SSH agar terhubung ke cluster Dataproc yang terkait dengan layanan Dataproc Metastore Anda. Setelah terhubung ke cluster dengan SSH, Anda dapat menjalankan perintah Spark untuk mengelola metadata.
Untuk terhubung ke Spark SQL
- Di konsol Google Cloud, buka halaman VM Instances.
- Dalam daftar instance virtual machine, klik SSH di baris instance VM Dataproc yang ingin dihubungkan.
Jendela browser akan terbuka di direktori utama Anda pada node dengan output yang mirip dengan berikut ini:
Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$
Untuk memulai Hive serta membuat database dan tabel, jalankan perintah berikut di sesi SSH:
Mulai shell Spark.
spark-shell
Buat database dengan nama
myDB
.spark.sql("create database myDB");
Menggunakan database yang telah Anda buat.
spark.sql("use myDB");
Buat tabel bernama
myTable
.spark.sql("create table bar(id int,name string)");
Cantumkan tabel dalam
myDatabase
.spark.sql("show tables").show();
Tampilkan baris tabel dalam tabel yang Anda buat.
desc myTable;
Menjalankan perintah ini akan menampilkan output yang mirip dengan berikut ini:
$spark-shell
scala>spark.sql("create database myDB");
scala>spark.sql("use myTable");
scala>spark.sql("create table myTable(id int,name string)");
scala>spark.sql("show tables").show();
+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| myDB| myTable| false|
+--------+---------+-----------+
+--------+---------+-------+
|col_name|data_type|comment|
+--------+---------+-------+
| id| int| null|
| name| string| null|
+--------+---------+-------+