将 Spark SQL 与 Dataproc Metastore 搭配使用
使用集合让一切井井有条
根据您的偏好保存内容并对其进行分类。
本页面展示了将 Spark SQL 与 Dataproc Metastore 服务搭配使用的一个示例。在此示例中,您将在 Dataproc 集群上启动 Spark SQL 会话
并运行一些示例命令来创建数据库和表。
准备工作
连接到 Spark SQL
要开始使用 Spark SQL,请使用 SSH 连接到
与您的 Dataproc Metastore 服务关联的资源。连接到
您可以运行 Spark 命令来管理元数据。
如何连接到 Spark SQL
- 在 Google Cloud 控制台中,前往虚拟机
实例页面。
- 在虚拟机实例列表中,点击要连接的 Dataproc 虚拟机实例所在行中的 SSH。
该节点上的主目录中会打开一个浏览器窗口,并显示如下输出:
更改为以下代码:
Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$
如需启动 Hive 并创建数据库和表,请在 SSH 会话中运行以下命令:
启动 Spark shell。
spark-shell
创建一个名为 myDB
的数据库。
spark.sql("create database myDB");
使用您创建的数据库。
spark.sql("use myDB");
创建一个名为 myTable
的表。
spark.sql("create table bar(id int,name string)");
列出 myDatabase
下的表。
spark.sql("show tables").show();
在您创建的表格中显示表格行。
desc myTable;
运行这些命令后,您会看到类似于以下内容的输出:
$spark-shell
scala>spark.sql("create database myDB");
scala>spark.sql("use myTable");
scala>spark.sql("create table myTable(id int,name string)");
scala>spark.sql("show tables").show();
+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| myDB| myTable| false|
+--------+---------+-----------+
+--------+---------+-------+
|col_name|data_type|comment|
+--------+---------+-------+
| id| int| null|
| name| string| null|
+--------+---------+-------+
后续步骤
如未另行说明,那么本页面中的内容已根据知识共享署名 4.0 许可获得了许可,并且代码示例已根据 Apache 2.0 许可获得了许可。有关详情,请参阅 Google 开发者网站政策。Java 是 Oracle 和/或其关联公司的注册商标。
最后更新时间 (UTC):2024-09-19。
[{
"type": "thumb-down",
"id": "hardToUnderstand",
"label":"Hard to understand"
},{
"type": "thumb-down",
"id": "incorrectInformationOrSampleCode",
"label":"Incorrect information or sample code"
},{
"type": "thumb-down",
"id": "missingTheInformationSamplesINeed",
"label":"Missing the information/samples I need"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻译问题"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"其他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"易于理解"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"解决了我的问题"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"其他"
}]
{"lastModified": "\u6700\u540e\u66f4\u65b0\u65f6\u95f4 (UTC)\uff1a2024-09-19\u3002"}
[[["易于理解","easyToUnderstand","thumb-up"],["解决了我的问题","solvedMyProblem","thumb-up"],["其他","otherUp","thumb-up"]],[["Hard to understand","hardToUnderstand","thumb-down"],["Incorrect information or sample code","incorrectInformationOrSampleCode","thumb-down"],["Missing the information/samples I need","missingTheInformationSamplesINeed","thumb-down"],["翻译问题","translationIssue","thumb-down"],["其他","otherDown","thumb-down"]],["最后更新时间 (UTC):2024-09-19。"]]