Se usó la API de Cloud Translation para traducir esta página.

Usa Presto con Dataproc

Presto (ahora Trino) es un motor de consulta de SQL distribuido diseñado para consultar grandes conjuntos de datos distribuidos en una o más fuentes de datos heterogéneas. Presto puede consultar Hive, MySQL, Kafka y otras fuentes de datos a través de conectores. En este instructivo, se muestra cómo hacer lo siguiente:

Instalar el servicio de Presto en un clúster de Dataproc
Consultar datos públicos de un cliente de Presto instalado en tu máquina local que se comunique con un servicio de Presto en tu clúster
Ejecutar consultas desde una aplicación Java que se comunique con el servicio Presto en tu clúster mediante el controlador JDBC de Java de Presto.

Objetivos

Crear un clúster de Dataproc con Presto instalado
Preparar los datos. En este instructivo, se usa el conjunto de datos públicos Chicago Taxi Trips, disponible en BigQuery
1. Extraer los datos de BigQuery
2. Cargar los datos en Cloud Storage como archivos CSV
3. Transforma los datos:
  1. Exponer los datos como una tabla externa de Hive para que Presto pueda consultarlos
  2. Convertir los datos del formato CSV al formato Parquet para que las consultas sean más rápidas
Enviar las consultas de la CLI de Presto o del código de la aplicación mediante un túnel SSH o un controlador JDBC de Presto, respectivamente, al coordinador de Presto que se ejecuta en el clúster
Revisar los registros y supervisar el servicio de Presto a través de la IU web de Presto

Costos

En este instructivo, se usan los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Antes de comenzar

Si aún no lo hiciste, crea un proyecto de Google Cloud y un bucket de Cloud Storage para conservar los datos que se usan en este instructivo.

Configura tu proyecto
Crea un bucket de Cloud Storage en tu proyecto para conservar los datos que se usan en este instructivo.
1. En Cloud Console, ve a la página Navegador de Cloud Storage.
  Ir al navegador
2. Haga clic en Crear bucket.
3. En la página Crear un bucket, ingresa la información de tu bucket. Para ir al paso siguiente, haz clic en Continuar.
  - En Nombre de tu bucket, ingresa un nombre que cumpla con los requisitos de nomenclatura de buckets.
  - En Elige dónde almacenar tus datos, haz lo siguiente:
    - Selecciona una opción de Tipo de ubicación.
    - Selecciona una opción de Ubicación.
  - Para Elegir una clase de almacenamiento predeterminada para tus datos, selecciona una clase de almacenamiento.
  - En Elige cómo controlar el acceso a los objetos, selecciona una opción de Control de acceso.
  - Para la Configuración avanzada (opcional), especifica un método de encriptación, una política de retención o etiquetas de bucket.
4. Haga clic en Crear.

Cree un clúster de Dataproc.

Crea un clúster de Dataproc con la marca optional-components (disponible en la versión de imagen 1.3 y posteriores) para instalar el componente opcional de Presto en el clúster y la marca enable-component-gateway a fin de habilitar la puerta de enlace de componentes para permitirte acceder a la IU web de Presto desde Cloud Console.

Configure las variables de entorno:
- PROJECT: El ID de tu proyecto
- BUCKET_NAME: El nombre del depósito de Cloud Storage que creaste en la sección Antes de comenzar
- REGION: La región donde se creará el clúster que se usa en este instructivo, por ejemplo, "us-west1"
- WORKERS: Se recomienda usar entre 3 y 5 trabajadores para las actividades de este instructivo.
```
export PROJECT=project-id
export WORKERS=number
export REGION=region
export BUCKET_NAME=bucket-name
```
Ejecuta la CLI de Google Cloud en tu máquina local para crear el clúster.
```
gcloud beta dataproc clusters create presto-cluster \
    --project=${PROJECT} \
    --region=${REGION} \
    --num-workers=${WORKERS} \
    --scopes=cloud-platform \
    --optional-components=PRESTO \
    --image-version=1.3  \
    --enable-component-gateway
```
No se recomienda crear un clúster de alta disponibilidad, es decir, un clúster con varios nodos principales, dado que el coordinador se inicia en el nodo principal 0 y cualquier otro nodo principal permanecerá inactivo.

Prepara los datos

Exporta el conjunto de datos chicago_taxi_trips de bigquery-public-data a Cloud Storage como archivos CSV y, luego, crea una tabla externa de Hive para hacer referencia a los datos.

En tu máquina local, ejecuta el siguiente comando para importar los datos de taxis de BigQuery como archivos CSV sin encabezados al bucket de Cloud Storage que creaste en la sección Antes de comenzar.

bq --location=us extract --destination_format=CSV \
     --field_delimiter=',' --print_header=false \
       "bigquery-public-data:chicago_taxi_trips.taxi_trips" \
       gs://${BUCKET_NAME}/chicago_taxi_trips/csv/shard-*.csv

Crea tablas externas de Hive que estén respaldadas por los archivos CSV y Parquet de tu bucket de Cloud Storage.

Crea la tabla externa de Hive chicago_taxi_trips_csv.

gcloud dataproc jobs submit hive \
    --cluster presto-cluster \
    --region=${REGION} \
    --execute "
        CREATE EXTERNAL TABLE chicago_taxi_trips_csv(
          unique_key   STRING,
          taxi_id  STRING,
          trip_start_timestamp  TIMESTAMP,
          trip_end_timestamp  TIMESTAMP,
          trip_seconds  INT,
          trip_miles   FLOAT,
          pickup_census_tract  INT,
          dropoff_census_tract  INT,
          pickup_community_area  INT,
          dropoff_community_area  INT,
          fare  FLOAT,
          tips  FLOAT,
          tolls  FLOAT,
          extras  FLOAT,
          trip_total  FLOAT,
          payment_type  STRING,
          company  STRING,
          pickup_latitude  FLOAT,
          pickup_longitude  FLOAT,
          pickup_location  STRING,
          dropoff_latitude  FLOAT,
          dropoff_longitude  FLOAT,
          dropoff_location  STRING)
        ROW FORMAT DELIMITED
        FIELDS TERMINATED BY ','
        STORED AS TEXTFILE
        location 'gs://${BUCKET_NAME}/chicago_taxi_trips/csv/';"

Verifica la creación de la tabla externa de Hive.
Omite este paso para ahorrar tiempo y uso de recursos. Si tu clúster tiene 3 nodos o menos, esta consulta puede tardar varios minutos. Puedes omitir este paso de consulta y solo verificar la creación del último archivo Parquet de Hive, a continuación, ya que ese paso de la consulta es mucho más rápido.
```
gcloud dataproc jobs submit hive \
    --cluster presto-cluster \
    --region=${REGION} \
    --execute "SELECT COUNT(*) FROM chicago_taxi_trips_csv;"
```

Crea otra tabla externa de Hive chicago_taxi_trips_parquet con las mismas columnas, pero con datos almacenados en formato Parquet para mejorar el rendimiento de las consultas.

gcloud dataproc jobs submit hive \
    --cluster presto-cluster \
    --region=${REGION} \
    --execute "
        CREATE EXTERNAL TABLE chicago_taxi_trips_parquet(
          unique_key   STRING,
          taxi_id  STRING,
          trip_start_timestamp  TIMESTAMP,
          trip_end_timestamp  TIMESTAMP,
          trip_seconds  INT,
          trip_miles   FLOAT,
          pickup_census_tract  INT,
          dropoff_census_tract  INT,
          pickup_community_area  INT,
          dropoff_community_area  INT,
          fare  FLOAT,
          tips  FLOAT,
          tolls  FLOAT,
          extras  FLOAT,
          trip_total  FLOAT,
          payment_type  STRING,
          company  STRING,
          pickup_latitude  FLOAT,
          pickup_longitude  FLOAT,
          pickup_location  STRING,
          dropoff_latitude  FLOAT,
          dropoff_longitude  FLOAT,
          dropoff_location  STRING)
        STORED AS PARQUET
        location 'gs://${BUCKET_NAME}/chicago_taxi_trips/parquet/';"

Carga los datos de la tabla CSV de Hive en la tabla Parquet de Hive.

gcloud dataproc jobs submit hive \
    --cluster presto-cluster \
    --region=${REGION} \
    --execute "
        INSERT OVERWRITE TABLE chicago_taxi_trips_parquet
        SELECT * FROM chicago_taxi_trips_csv;"

Verifica que los datos se hayan cargado correctamente.

gcloud dataproc jobs submit hive \
    --cluster presto-cluster \
    --region=${REGION} \
    --execute "SELECT COUNT(*) FROM chicago_taxi_trips_parquet;"

Ejecuta consultas

Puedes ejecutar consultas de forma local desde la CLI de Presto o desde una aplicación.

Consultas de la CLI de Presto

En esta sección, se muestra cómo consultar el conjunto de datos de taxis de Parquet de Hive con la CLI de Presto.

Ejecuta el siguiente comando en tu máquina local para establecer una conexión SSH al nodo principal del clúster. La terminal local dejará de responder durante la ejecución del comando.
```
gcloud compute ssh presto-cluster-m
```
En la ventana de la terminal SSH del nodo principal del clúster, ejecuta la CLI de Presto, que se conecta al servidor de Presto que se ejecuta en el nodo principal.
```
presto --catalog hive --schema default
```

En el mensaje presto:default, verifica que Presto pueda encontrar las tablas de Hive.

show tables;

Table
‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
 chicago_taxi_trips_csv
 chicago_taxi_trips_parquet
(2 rows)

Ejecuta consultas desde el mensaje presto:default y compara el rendimiento de las consultas de datos de Parquet y CSV.

Consulta de datos de Parquet

select count(*) from chicago_taxi_trips_parquet where trip_miles > 50;

 _col0
‐‐‐‐‐‐‐‐
 117957
(1 row)

Query 20180928_171735_00006_2sz8c, FINISHED, 3 nodes
Splits: 308 total, 308 done (100.00%)
0:16 [113M rows, 297MB] [6.91M rows/s, 18.2MB/s]

Consulta de datos CSV

select count(*) from chicago_taxi_trips_csv where trip_miles > 50;

_col0
‐‐‐‐‐‐‐‐
 117957
(1 row)

Query 20180928_171936_00009_2sz8c, FINISHED, 3 nodes
Splits: 881 total, 881 done (100.00%)
0:47 [113M rows, 41.5GB] [2.42M rows/s, 911MB/s]

Consultas de aplicaciones Java

Para ejecutar consultas desde una aplicación Java mediante el controlador JDBC de Java de Presto, debes realizar los siguientes pasos:

Descarga el controlador JDBC de Java de Presto.

Agrega una dependencia presto-jdbc en Maven pom.xml.

<dependency>
<groupId>com.facebook.presto</groupId>
<artifactId>presto-jdbc</artifactId>
<version>0.206</version>
</dependency>

Ejemplo de código Java

package dataproc.codelab.presto;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;

public class PrestoQuery {
  private static final String URL = "jdbc:presto://presto-cluster-m:8080/hive/default";
  private static final String SOCKS_PROXY = "localhost:1080";
  private static final String USER = "user";
  private static final String QUERY =
      "select count(*) as count from chicago_taxi_trips_parquet where trip_miles > 50";

  public static void main(String[] args) {
    try {
      Properties properties = new Properties();
      properties.setProperty("user", USER);
      properties.setProperty("socksProxy", SOCKS_PROXY);
      Connection connection = DriverManager.getConnection(URL, properties);
      try (Statement stmt = connection.createStatement()) {
        ResultSet rs = stmt.executeQuery(QUERY);
        while (rs.next()) {
          int count = rs.getInt("count");
          System.out.println("The number of long trips: " + count);
        }
      }
    } catch (SQLException e) {
      e.printStackTrace();
    }
  }
}

Registros y supervisión

Logging

Los registros de Presto se encuentran en /var/log/presto/, en los nodos principales y trabajadores del clúster.

IU web

Consulta Visualiza las URL de la puerta de enlace de componentes y accede a ellas para abrir la IU web de Presto que se ejecuta en el nodo principal del clúster en tu navegador local.

Supervisión

Presto expone la información de tiempo de ejecución del clúster a través de tablas de tiempo de ejecución. En una sesión de Presto (desde presto:default), ejecuta la siguiente consulta para ver los datos de la tabla del entorno de ejecución:

select * FROM system.runtime.nodes;

Limpia

Una vez que completes el instructivo, puedes limpiar los recursos que creaste para que dejen de usar la cuota y generar cargos. En las siguientes secciones, se describe cómo borrar o desactivar estos recursos.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.

Para borrar el proyecto, haga lo siguiente:

Precaución: Borrar un proyecto tiene estas consecuencias:

Se borra todo en el proyecto. Si utilizaste un proyecto existente para este instructivo, cuando lo borres, también borrarás cualquier otro trabajo que hayas realizado en el proyecto.
Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varios instructivos y guías de inicio rápido, la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

En la consola de Cloud, ve a la página Administrar recursos.
Ir a Administrar recursos
En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.

Borra el clúster

Sigue estos pasos para borrar tu clúster:

gcloud dataproc clusters delete --project=${PROJECT} presto-cluster \
    --region=${REGION}

Borra el bucket

Para borrar el bucket de Cloud Storage que creaste en la sección Antes de comenzar, incluidos los archivos de datos almacenados en el bucket:
```
gsutil -m rm -r gs://${BUCKET_NAME}
```