Componente Presto facoltativo Dataproc

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Puoi installare componenti aggiuntivi come Presto quando crei un cluster Dataproc utilizzando la funzionalità Componenti facoltativi. Questa pagina descrive come installare facoltativamente il componente Presto su un cluster Dataproc.

Presto (Trino) è un motore di query SQL distribuito open source. Il server Presto e la UI web sono disponibili per impostazione predefinita sulla porta 8060 (o sulla porta 7778 se Kerberos è abilitato) sul primo nodo master del cluster.

Per impostazione predefinita, Presto su Dataproc è configurato per funzionare con Hive, BigQuery, Memory, TPCH e TPCDS connettori.

Dopo aver creato un cluster con il componente Presto, puoi eseguire query:

Installa il componente

Installa il componente quando crei un cluster Dataproc. I componenti possono essere aggiunti ai cluster creati con Dataproc versione 1.3 e successive.

Consulta la pagina relativa alle versioni di Dataproc supportate per la versione del componente inclusa in ogni release dell'immagine Dataproc.

Comando gcloud

Per creare un cluster Dataproc che include il componente Presto, utilizza il comando gcloud dataproc clusters create cluster-name con il flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Configurazione delle proprietà

Aggiungi il flag --properties al comando gcloud dataproc clusters create per impostare le proprietà di configurazione presto, presto-jvm e presto-catalog.

  • Proprietà dell'applicazione: utilizza le proprietà cluster con il prefisso presto: per configurare le proprietà dell'applicazione Presto, ad esempio --properties="presto:join-distribution-type=AUTOMATIC".
  • Proprietà di configurazione JVM: utilizza le proprietà cluster con il prefisso presto-jvm: per configurare le proprietà JVM per i moderatori Presto e i processi Java dei worker, ad esempio --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • Creazione di nuovi cataloghi e aggiunta di proprietà di catalogo. Usa presto-catalog:catalog-name.property-name per configurare i cataloghi Presto.

    Esempio:il seguente flag "properties" può essere utilizzato con il comando "gcloud dataproc clusters create" per creare un cluster Presto con un catalogo "hive" "prodhive". Verrà creato un file prodhive.properties in /usr/lib/presto/etc/catalog/ per abilitare il catalogo del prodotto.

    --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

API REST

Il componente Presto può essere specificato tramite l'API Dataproc utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.

Console

    1. Attiva il componente e il gateway del componente.
      • Nella console Google Cloud, apri la pagina Crea un cluster di Dataproc. Viene selezionato il riquadro Configura cluster.
      • Nella sezione Componenti: