Puoi installare componenti aggiuntivi come Trino quando crei un cluster Dataproc utilizzando la funzionalità Componenti facoltativi. In questa pagina viene descritto come installare facoltativamente il componente Trino in un cluster Dataproc.
Trino è un motore di query SQL distribuito in open source. Il server Trino e la UI web sono disponibili per impostazione predefinita sulla porta 8060
(o sulla porta 7778
se è abilitato Kerberos) sul primo nodo master del cluster.
Per impostazione predefinita, Trino su Dataproc è configurato per funzionare con i connettori Hive
, BigQuery
,
Memory
, TPCH
e TPCDS
.
Dopo aver creato un cluster con il componente Trino, puoi eseguire query:
- da un terminale locale con il comando
gcloud dataproc jobs submit trino
- da una finestra del terminale sul primo nodo master del cluster utilizzando l'interfaccia a riga di comando
trino
(Command-Line Interface, interfaccia a riga di comando); vedi Utilizzare Trino con Dataproc.
Installare il componente
Installare il componente quando crei un cluster Dataproc.
Vedi le versioni Dataproc supportate per la versione del componente inclusa in ogni release dell'immagine Dataproc.
Comando gcloud
Per creare un cluster Dataproc che include il componente Trino, utilizza il comando gcloud dataproc clusters create cluster-name con il flag --optional-components
.
gcloud dataproc clusters create cluster-name \ --optional-components=TRINO \ --region=region \ --enable-component-gateway \ ... other flags
Configurazione delle proprietà
Aggiungi il flag --properties
al comando
gcloud dataproc clusters create
per impostare le proprietà di configurazione
trino, trino-jvm e trino-catalog.
-
Proprietà dell'applicazione: utilizza le proprietà del cluster con il prefisso
trino:
per configurare le proprietà dell'applicazione Trino, ad esempio--properties="trino:join-distribution-type=AUTOMATIC"
. - Proprietà della configurazione JVM: utilizza le proprietà cluster con il prefisso
trino-jvm:
per configurare le proprietà JVM per i processi Java e del coordinatore Trino, ad esempio--properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError"
. - Creazione di nuovi cataloghi e aggiunta delle proprietà del catalogo:utilizza
trino-catalog:catalog-name.property-name
per configurare i cataloghi Trino.Esempio: il seguente flag "properties" può essere utilizzato con il comando "gcloud dataproc clusters create" per creare un cluster Trino con un catalogo "prodhive" Hive. Verrà creato un file
prodhive.properties
in/usr/lib/trino/etc/catalog/
per abilitare il catalogo del prodotto.--properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=localhost:9000"
API REST
Il componente Trino può essere specificato tramite l'API Dataproc utilizzando SoftwareConfig.Component nell'ambito di una richiesta clusters.create.
Console
- Abilitare il componente e il gateway del componente.
- Nella console Google Cloud, apri la pagina Crea un cluster di Dataproc. Il riquadro Configurazione cluster è selezionato.
- Nella sezione Componenti:
- In Componenti facoltativi, seleziona Trino e altri componenti facoltativi da installare sul cluster.
- In Gateway componenti, seleziona Abilita gateway del componente (vedi Visualizzazione e accesso agli URL del gateway componente).