使用可选组件功能创建 Dataproc 集群时,您可以安装其他组件,例如 Trino。本页面介绍了如何选择在 Dataproc 集群上安装 Trino 组件。
Trino 是一个开源分布式 SQL 查询引擎。默认情况下,您可以通过集群的第一个主节点上的 8060
端口(如果已启用 Kerberos,则为 7778
端口)访问 Trino 服务器和网页界面。
默认情况下,Dataproc 上的 Trino 配置为与 Hive
、BigQuery
、Memory
、TPCH
和 TPCDS
connectors配合使用。
使用 Trino 组件创建集群后,您可以运行查询:
- 从本地终端使用
gcloud dataproc jobs submit trino
命令 - 使用
trino
CLI(命令行界面)从集群第一个主节点上的终端窗口中运行 - 请参阅将 Trino 与 Dataproc 搭配使用。
安装组件
在创建 Dataproc 集群时安装组件。
如需查看每个 Dataproc 映像版本中包含的组件版本,请参阅支持的 Dataproc 版本。
gcloud 命令
如需创建包含 Trino 组件的 Dataproc 集群,请使用带有 --optional-components
标志的 gcloud dataproc clusters create cluster-name 命令。
gcloud dataproc clusters create cluster-name \ --optional-components=TRINO \ --region=region \ --enable-component-gateway \ ... other flags
配置属性
将 --properties
标志添加到 gcloud dataproc clusters create
命令中,以设置 trino、trino-jvm 和 trino-catalog 的配置属性。
-
应用属性:使用带有
trino:
前缀的集群属性来配置 Trino 应用属性,例如--properties="trino:join-distribution-type=AUTOMATIC"
。 - JVM 配置属性:使用带有
trino-jvm:
前缀的集群属性为 Trino 协调器和工作器 Java 进程配置 JVM 属性(例如--properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError"
)。 - 创建新目录和添加目录属性:使用
trino-catalog:catalog-name.property-name
配置 Trino 目录。示例:可以将以下“properties”标志与“gcloud dataproc clusters create”命令搭配使用,以创建具有“生产”Hive 目录的 Trino 集群。系统将在
/usr/lib/trino/etc/catalog/
下创建一个prodhive.properties
文件,以启用正式目录。--properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=localhost:9000"
REST API
可以通过 Dataproc API 使用 SoftwareConfig.Component 将 Trino 组件指定为 clusters.create 请求的一部分。
控制台
- 启用组件和组件网关。
- 在 Google Cloud 控制台中,打开 Dataproc 的创建集群页面。选中“设置集群”面板。
- 在组件部分中执行以下操作:
- 在“可选组件”下,选择要在集群上安装的 Trino 和其他可选组件。
- 在“组件网关”下,选择“启用组件网关”(请参阅查看和访问组件网关网址)。