Presto es un motor de consulta de SQL distribuido que se diseñó para consultar grandes conjuntos de datos distribuidos en una o más fuentes de datos heterogéneas. Presto puede consultar Hive, MySQL, Kafka y otras fuentes de datos a través de conectores. En este instructivo, se muestra cómo hacer lo siguiente:
- Instalar el servicio de Presto en un clúster de Dataproc
- Consultar datos públicos de un cliente de Presto instalado en tu máquina local que se comunique con un servicio de Presto en tu clúster
- Ejecutar consultas desde una aplicación Java que se comunique con el servicio Presto en tu clúster mediante el controlador JDBC de Java de Presto.
Objetivos
Crear un clúster de Dataproc con Presto instalado
Preparar los datos. En este instructivo, se usa el conjunto de datos públicos Chicago Taxi Trips, disponible en BigQuery
- Extraer los datos de BigQuery
- Cargar los datos en Cloud Storage como archivos CSV
- Transformar los datos:
- Exponer los datos como una tabla externa de Hive para que Presto pueda consultarlos
- Convertir los datos del formato CSV al formato Parquet para que las consultas sean más rápidas
Enviar las consultas de la CLI de Presto o del código de la aplicación mediante un túnel SSH o un controlador JDBC de Presto, respectivamente, al coordinador de Presto que se ejecuta en el clúster
Revisar los registros y supervisar el servicio de Presto a través de la IU web de Presto

Costos
En este instructivo, se usan los siguientes componentes facturables de Google Cloud:
Usa la calculadora de precios para generar una estimación de los costos según el uso previsto. Es posible que los usuarios nuevos de Google Cloud sean aptos para obtener una prueba gratuita.
Antes de comenzar
Si aún no lo hiciste, crea un proyecto de Google Cloud y un bucket de Cloud Storage para conservar los datos que se usan en este instructivo.
Configura el proyecto
- Accede a tu Cuenta de Google.
Si todavía no tienes una cuenta, regístrate para obtener una nueva.
-
En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Cloud. Descubre cómo confirmar que tienes habilitada la facturación en un proyecto.
- Habilita las API de Dataproc, Compute Engine, Cloud Storage, and BigQuery.
- Instala e inicializa el SDK de Cloud.
- Accede a tu Cuenta de Google.
Crea un depósito de Cloud Storage en tu proyecto para conservar los datos que se usan en este instructivo.
- En Cloud Console, ve a la página Navegador de Cloud Storage.
- Haz clic en Crear depósito.
- En el diálogo Crear bucket, especifica los siguientes atributos:
- Un nombre de depósito único, sujeto a los requisitos del nombre de bucket
- Una clase de almacenamiento.
- Una ubicación donde se almacenan los datos del depósito.
- Haz clic en Crear.
Cree un clúster de Dataproc.
Cree un clúster de Dataproc con la marca optional-components
(disponible en la versión 1.3 y posteriores) para instalar el componente opcional de Presto en el clúster y la marca enable-component-gateway
para habilitar la Puerta de enlace del componente para que pueda acceder a la IU web de Presto desde Cloud Console.
- Configura las variables de entorno:
- PROJECT: El ID de tu proyecto
- BUCKET_NAME: El nombre del depósito de Cloud Storage que creaste en la sección Antes de comenzar
- REGION: La región donde se creará el clúster que se usa en este instructivo, por ejemplo, "us-west1"
- WORKERS: Se recomienda usar entre 3 y 5 trabajadores para las actividades de este instructivo.
export PROJECT=project-id export WORKERS=number export REGION=region export BUCKET_NAME=bucket-name
- Ejecuta la herramienta de línea de comandos
gcloud
en tu máquina local para crear el clúster.gcloud beta dataproc clusters create presto-cluster \ --project=${PROJECT} \ --region=${REGION} \ --num-workers=${WORKERS} \ --scopes=cloud-platform \ --optional-components=PRESTO \ --image-version=1.3 \ --enable-component-gateway
Prepara los datos
Exporta el conjunto de datos chicago_taxi_trips de bigquery-public-data
a Cloud Storage como archivos CSV y, luego, crea una tabla externa de Hive para hacer referencia a los datos.
- Ejecuta el siguiente comando en tu máquina local para importar los datos de taxis de BigQuery como archivos CSV sin encabezados al depósito de Cloud Storage que creaste en la sección Antes de comenzar.
bq --location=us extract --destination_format=CSV \ --field_delimiter=',' --print_header=false \ "bigquery-public-data:chicago_taxi_trips.taxi_trips" \ gs://${BUCKET_NAME}/chicago_taxi_trips/csv/shard-*.csv
- Crea tablas externas de Hive que estén respaldadas por los archivos CSV y Parquet de tu depósito de Cloud Storage.
- Crea la tabla externa de Hive
chicago_taxi_trips_csv
.gcloud dataproc jobs submit hive \ --cluster presto-cluster \ --region=${REGION} \ --execute " CREATE EXTERNAL TABLE chicago_taxi_trips_csv( unique_key STRING, taxi_id STRING, trip_start_timestamp TIMESTAMP, trip_end_timestamp TIMESTAMP, trip_seconds INT, trip_miles FLOAT, pickup_census_tract INT, dropoff_census_tract INT, pickup_community_area INT, dropoff_community_area INT, fare FLOAT, tips FLOAT, tolls FLOAT, extras FLOAT, trip_total FLOAT, payment_type STRING, company STRING, pickup_latitude FLOAT, pickup_longitude FLOAT, pickup_location STRING, dropoff_latitude FLOAT, dropoff_longitude FLOAT, dropoff_location STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE location 'gs://${BUCKET_NAME}/chicago_taxi_trips/csv/';"
- Verifica la creación de la tabla externa de Hive.
gcloud dataproc jobs submit hive \ --cluster presto-cluster \ --region=${REGION} \ --execute "SELECT COUNT(*) FROM chicago_taxi_trips_csv;"
- Crea otro
chicago_taxi_trips_parquet
de tabla externa de Hive con las mismas columnas, pero con datos almacenados en formato Parquet para mejorar el rendimiento de las consultas.gcloud dataproc jobs submit hive \ --cluster presto-cluster \ --region=${REGION} \ --execute " CREATE EXTERNAL TABLE chicago_taxi_trips_parquet( unique_key STRING, taxi_id STRING, trip_start_timestamp TIMESTAMP, trip_end_timestamp TIMESTAMP, trip_seconds INT, trip_miles FLOAT, pickup_census_tract INT, dropoff_census_tract INT, pickup_community_area INT, dropoff_community_area INT, fare FLOAT, tips FLOAT, tolls FLOAT, extras FLOAT, trip_total FLOAT, payment_type STRING, company STRING, pickup_latitude FLOAT, pickup_longitude FLOAT, pickup_location STRING, dropoff_latitude FLOAT, dropoff_longitude FLOAT, dropoff_location STRING) STORED AS PARQUET location 'gs://${BUCKET_NAME}/chicago_taxi_trips/parquet/';"
- Carga los datos de la tabla CSV de Hive en la tabla de Parquet de Hive.
gcloud dataproc jobs submit hive \ --cluster presto-cluster \ --region=${REGION} \ --execute " INSERT OVERWRITE TABLE chicago_taxi_trips_parquet SELECT * FROM chicago_taxi_trips_csv;"
- Verifica que los datos se hayan cargado correctamente.
gcloud dataproc jobs submit hive \ --cluster presto-cluster \ --region=${REGION} \ --execute "SELECT COUNT(*) FROM chicago_taxi_trips_parquet;"
- Crea la tabla externa de Hive
Ejecuta consultas
Puedes ejecutar consultas de forma local desde la CLI de Presto o desde una aplicación.
Consultas de la CLI de Presto
En esta sección, se muestra cómo consultar el conjunto de datos de taxis de Parquet de Hive con la CLI de Presto.
- Ejecuta el siguiente comando en tu máquina local para establecer una conexión SSH al nodo principal de tu clúster. La terminal local dejará de responder durante la ejecución del comando.
gcloud compute ssh presto-cluster-m
- En la ventana de la terminal de SSH del nodo principal de tu clúster, ejecuta la CLI de Presto, que se conecta al servidor Presto que se ejecuta en el nodo principal.
presto --catalog hive --schema default
- Cuando aparezca el mensaje
presto:default
, verifica que Presto pueda encontrar las tablas de Hive.show tables;
Table ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ chicago_taxi_trips_csv chicago_taxi_trips_parquet (2 rows)
- Ejecuta consultas desde el mensaje
presto:default
y compara el rendimiento de las consultas de datos Parquet y las consultas de datos CSV.- Consulta de datos Parquet
select count(*) from chicago_taxi_trips_parquet where trip_miles > 50;
_col0 ‐‐‐‐‐‐‐‐ 117957 (1 row)
Query 20180928_171735_00006_2sz8c, FINISHED, 3 nodes Splits: 308 total, 308 done (100.00%) 0:16 [113M rows, 297MB] [6.91M rows/s, 18.2MB/s] - Consulta de datos CSV
select count(*) from chicago_taxi_trips_csv where trip_miles > 50;
_col0 ‐‐‐‐‐‐‐‐ 117957 (1 row)
Query 20180928_171936_00009_2sz8c, FINISHED, 3 nodes Splits: 881 total, 881 done (100.00%) 0:47 [113M rows, 41.5GB] [2.42M rows/s, 911MB/s]
- Consulta de datos Parquet
Consultas de aplicaciones Java
Para ejecutar consultas desde una aplicación Java mediante el controlador JDBC de Java de Presto, debes realizar los siguientes pasos:
Descarga el controlador JDBC de Java de Presto.
Agrega una dependencia
presto-jdbc
en Maven pom.xml.<dependency> <groupId>com.facebook.presto</groupId> <artifactId>presto-jdbc</artifactId> <version>0.206</version> </dependency>
Ejemplo de código Java
package dataproc.codelab.presto;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
public class PrestoQuery {
private static final String URL = "jdbc:presto://presto-cluster-m:8080/hive/default";
private static final String SOCKS_PROXY = "localhost:1080";
private static final String USER = "user";
private static final String QUERY =
"select count(*) as count from chicago_taxi_trips_parquet where trip_miles > 50";
public static void main(String[] args) {
try {
Properties properties = new Properties();
properties.setProperty("user", USER);
properties.setProperty("socksProxy", SOCKS_PROXY);
Connection connection = DriverManager.getConnection(URL, properties);
try (Statement stmt = connection.createStatement()) {
ResultSet rs = stmt.executeQuery(QUERY);
while (rs.next()) {
int count = rs.getInt("count");
System.out.println("The number of long trips: " + count);
}
}
} catch (SQLException e) {
e.printStackTrace();
}
}
}
Registros y supervisión
Logging
Los registros de Presto se encuentran en /var/log/presto/
, en los nodos principales y trabajadores del clúster.
IU web
Consulta Visualiza las URL de la puerta de enlace de componentes y accede a ellas para abrir la IU web de Presto que se ejecuta en el nodo principal del clúster en tu navegador local.
Supervisa
Presto expone la información de tiempo de ejecución del clúster a través de tablas de tiempo de ejecución.
En una sesión de Presto (desde presto:default
), ejecuta la siguiente consulta para ver los datos de la tabla del entorno de ejecución:
select * FROM system.runtime.nodes;
Limpia
Una vez que hayas terminado el instructivo Usa Presto con Cloud Dataproc, puedes borrar los recursos que creaste en Google Cloud para que no consuman la cuota y no se te cobre por ellos en el futuro. En las siguientes secciones, se describe cómo borrar o desactivar estos recursos.
Borra el proyecto
La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.
Para borrar el proyecto, sigue estos pasos:
- En Cloud Console, ve a la página Administrar recursos.
- En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
- En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.
Borra el clúster
- Para borrar tu clúster, realiza los siguientes pasos:
gcloud dataproc clusters delete --project=${PROJECT} presto-cluster \ --region=${REGION}
Borra el bucket
- Para borrar el depósito de Cloud Storage que creaste en la sección Antes de comenzar, incluidos los archivos de datos almacenados en el depósito, ejecuta lo siguiente:
gsutil -m rm -r gs://${BUCKET_NAME}