Componente Presto facoltativo di Dataproc

Nota: il componente facoltativo Presto è disponibile come componente opzionale di Trino nelle versioni 2.1 e successive delle immagini.

Puoi installare componenti aggiuntivi come Presto quando crei un progetto Dataproc utilizzando il cluster Componenti facoltativi funzionalità. Questa pagina descrive come installare facoltativamente il componente Presto su un cluster Dataproc.

Presto (Trino) è un programma aperto motore di query SQL distribuito di origine. Il server Presto e Le UI web sono disponibili per impostazione predefinita sulla porta 8060 (o sulla porta 7778 se Kerberos è abilitata) sul primo nodo master del cluster.

Per impostazione predefinita, Presto su Dataproc è configurato per funzionare con connettori Hive, BigQuery, Memory, TPCH e TPCDS.

Dopo aver creato un cluster con il componente Presto, puoi eseguire query:

• da un terminale locale con il comando gcloud dataproc jobs submit presto
• da una finestra del terminale sul primo nodo master del cluster utilizzando l'interfaccia a riga di comando presto (Command Line Interface). Consulta Utilizzare Trino con Dataproc

Installa il componente

Installa il componente quando crei un cluster Dataproc. I componenti possono essere aggiunti ai cluster creati con Dataproc versione 1.3 e successivi.

Consulta Versioni Dataproc supportate per la versione del componente inclusa in ogni release dell'immagine Dataproc.

Comando g-cloud

Per creare un cluster Dataproc che includa il componente Presto, utilizza il comando cluster-name gcloud dataproc clusters create con il flag --optional-components.

Durante la creazione del cluster, utilizza il comando gcloud dataproc clusters create con il flag --enable-component-gateway, come mostrato di seguito, per attivare la connessione all'interfaccia utente web di Presto utilizzando il Component Gateway.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Configurazione delle proprietà

Aggiungi il flag --properties alla Comando gcloud dataproc clusters create da impostare presto, presto-jvm e presto-catalog.

• Proprietà applicazione: utilizza le proprietà del cluster con Prefisso presto: da configurare Proprietà dell'applicazione Presto, ad esempio --properties="presto:join-distribution-type=AUTOMATIC".
• Proprietà di configurazione JVM: utilizza le proprietà del cluster con il prefisso presto-jvm: per configurare le proprietà JVM per i processi Java del coordinatore e dei worker di Presto, ad esempio --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
• Per creare nuovi cataloghi e aggiungere proprietà del catalogo: utilizza presto-catalog:catalog-name.property-name per configurare i cataloghi Presto.

  Esempio: il seguente flag "properties" può essere utilizzato con il comando "gcloud dataproc clusters create" per creare un cluster Presto con un catalogo Hive "prodhive". Verrà creato un file prodhive.properties in /usr/lib/presto/etc/catalog/ per attivare il catalogo prodhive.

  --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

API REST

Il componente Presto può essere specificato tramite l'API Dataproc utilizzando SoftwareConfig.Component nell'ambito di una richiesta clusters.create.

Utilizzando l'API v1 Dataproc, imposta la proprietà EndpointConfig.enableHttpPortAccess su true nell'ambito della richiesta clusters.create per consentire la connessione all'interfaccia utente web di Presto utilizzando il gateway dei componenti.

Console

1. Attiva il componente e il gateway dei componenti.
   • Nella console Google Cloud, apri Dataproc Crea un cluster . Il riquadro Configura cluster è selezionato.
   • Nella sezione Componenti:
     • In Componenti facoltativi, seleziona Presto e altri componenti facoltativi da installare sul cluster.
     • In Gateway dei componenti, seleziona Abilita gateway dei componenti (vedi Visualizzazione e accesso agli URL del gateway dei componenti).