Menggunakan Trino dengan Dataproc

---

Trino (sebelumnya Presto) adalah mesin kueri SQL terdistribusi yang dirancang untuk mengkueri set data besar yang didistribusikan pada satu atau beberapa sumber data heterogen. Trino dapat mengkueri Hive, MySQL, Kafka, dan sumber data lainnya melalui konektor. Tutorial ini menunjukkan kepada Anda cara:

• Menginstal layanan Trino di cluster Dataproc
• Membuat kueri data publik dari klien Trino yang diinstal di komputer lokal yang berkomunikasi dengan layanan Trino di cluster Anda
• Jalankan kueri dari aplikasi Java yang berkomunikasi dengan layanan Trino pada cluster Anda melalui driver JDBC Trino Java.

Tujuan

Buat cluster Dataproc dengan Trino terinstal

Menyiapkan data. Tutorial ini menggunakan set data publik Perjalanan Taksi Chicago yang tersedia di BigQuery.

1. Mengekstrak data dari BigQuery
2. Muat data ke Cloud Storage sebagai file CSV
3. Mentransformasi data:
   1. Mengekspos data sebagai tabel eksternal Hive agar data dapat dikueri oleh Trino
   2. Konversi data dari format CSV ke format Parquet untuk membuat kueri lebih cepat

Mengirim kueri Trino CLI atau kode aplikasi masing-masing menggunakan tunnel SSH atau driver JDBC Trino, ke koordinator Trino yang berjalan di cluster

Memeriksa log dan memantau layanan Trino melalui UI Web Trino

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

• Dataproc
• Cloud Storage
• BigQuery

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

Jika Anda belum melakukannya, buat project Google Cloud dan bucket Cloud Storage untuk menyimpan data yang digunakan dalam tutorial ini. 1. Menyiapkan project

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Aktifkan API Dataproc, Compute Engine, Cloud Storage, and BigQuery.

   Mengaktifkan API

5. Menginstal Google Cloud CLI.

6. Untuk initialize gcloud CLI, jalankan perintah berikut:

   gcloud init

7. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

8. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

9. Aktifkan API Dataproc, Compute Engine, Cloud Storage, and BigQuery.

   Mengaktifkan API

10. Menginstal Google Cloud CLI.

11. Untuk initialize gcloud CLI, jalankan perintah berikut:

    gcloud init

1. Membuat bucket Cloud Storage di project Anda untuk menyimpan data yang digunakan dalam tutorial ini.

1. Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.

   Buka halaman Bucket

2. Klik Buat bucket.
3. Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke langkah berikutnya, klik Lanjutkan.
   • Untuk Beri nama bucket, masukkan nama yang memenuhi persyaratan penamaan bucket.
   • Untuk Pilih tempat untuk menyimpan data, lakukan tindakan berikut:
     • Pilih opsi Jenis lokasi.
     • Pilih opsi Lokasi.
   • Untuk Memilih kelas penyimpanan default untuk data Anda, pilih kelas penyimpanan.
   • Untuk Memilih cara mengontrol akses ke objek, pilih opsi Kontrol akses.
   • Untuk Setelan lanjutan (opsional), tentukan metode enkripsi, kebijakan retensi, atau label bucket.
4. Klik Buat.

Membuat cluster Dataproc

Buat cluster dengan menjalankan perintah yang ditampilkan di bagian ini dari jendela terminal di mesin lokal Anda.

Buat cluster Dataproc menggunakan flag optional-components (tersedia pada image versi 2.1 dan yang lebih baru) untuk menginstal komponen opsional Trino di cluster dan flag enable-component-gateway untuk mengaktifkan Gateway Komponen agar Anda bisa mengakses UI Web Trino dari Konsol Google Cloud.

1. Tetapkan variabel lingkungan:
   • PROJECT: project ID Anda
   • BUCKET_NAME: nama bucket Cloud Storage yang Anda buat di bagian Sebelum memulai
   • REGION: region tempat cluster yang digunakan dalam tutorial ini akan dibuat, misalnya, "us-west1"
   • PEKERJA: 3 - 5 pekerja direkomendasikan untuk tutorial ini

   export PROJECT=project-id
   export WORKERS=number
   export REGION=region
   export BUCKET_NAME=bucket-name
   

2. Jalankan Google Cloud CLI di komputer lokal Anda untuk membuat cluster.

   gcloud beta dataproc clusters create trino-cluster \
       --project=${PROJECT} \
       --region=${REGION} \
       --num-workers=${WORKERS} \
       --scopes=cloud-platform \
       --optional-components=TRINO \
       --image-version=2.1  \
       --enable-component-gateway
   

   Membuat cluster Ketersediaan Tinggi—cluster dengan beberapa node master – tidak direkomendasikan karena koordinator dimulai pada node master 0, dan node master lainnya akan tetap tidak ada aktivitas.

Menyiapkan data

Ekspor set data chicago_taxi_trips bigquery-public-data ke Cloud Storage sebagai file CSV, lalu buat tabel eksternal Hive untuk mereferensikan data.

1. Di komputer lokal Anda, jalankan perintah berikut untuk mengimpor data taksi dari BigQuery sebagai file CSV tanpa header ke bucket Cloud Storage yang telah dibuat di bagian Sebelum memulai.

   bq --location=us extract --destination_format=CSV \
        --field_delimiter=',' --print_header=false \
          "bigquery-public-data:chicago_taxi_trips.taxi_trips" \
          gs://${BUCKET_NAME}/chicago_taxi_trips/csv/shard-*.csv
   

2. Buat tabel eksternal Hive yang didukung oleh file CSV dan Parquet di bucket Cloud Storage Anda.
   1. Buat tabel eksternal Hive chicago_taxi_trips_csv.

      gcloud dataproc jobs submit hive \
          --cluster trino-cluster \
          --region=${REGION} \
          --execute "
              CREATE EXTERNAL TABLE chicago_taxi_trips_csv(
                unique_key   STRING,
                taxi_id  STRING,
                trip_start_timestamp  TIMESTAMP,
                trip_end_timestamp  TIMESTAMP,
                trip_seconds  INT,
                trip_miles   FLOAT,
                pickup_census_tract  INT,
                dropoff_census_tract  INT,
                pickup_community_area  INT,
                dropoff_community_area  INT,
                fare  FLOAT,
                tips  FLOAT,
                tolls  FLOAT,
                extras  FLOAT,
                trip_total  FLOAT,
                payment_type  STRING,
                company  STRING,
                pickup_latitude  FLOAT,
                pickup_longitude  FLOAT,
                pickup_location  STRING,
                dropoff_latitude  FLOAT,
                dropoff_longitude  FLOAT,
                dropoff_location  STRING)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY ','
              STORED AS TEXTFILE
              location 'gs://${BUCKET_NAME}/chicago_taxi_trips/csv/';"
      

   2. Verifikasi pembuatan tabel eksternal Hive.
      Lewati langkah ini untuk menghemat waktu dan penggunaan resource. Jika cluster Anda memiliki 3 node atau kurang, kueri ini dapat memerlukan waktu beberapa menit. Anda dapat melewati langkah kueri ini dan hanya memverifikasi pembuatan Hive Parquet akhir di bawah ini, karena langkah kueri tersebut jauh lebih cepat.

      gcloud dataproc jobs submit hive \
          --cluster trino-cluster \
          --region=${REGION} \
          --execute "SELECT COUNT(*) FROM chicago_taxi_trips_csv;"
      

   3. Buat tabel eksternal Hive lain chicago_taxi_trips_parquet dengan kolom yang sama, tetapi dengan data yang disimpan dalam format Parquet untuk performa kueri yang lebih baik.

      gcloud dataproc jobs submit hive \
          --cluster trino-cluster \
          --region=${REGION} \
          --execute "
              CREATE EXTERNAL TABLE chicago_taxi_trips_parquet(
                unique_key   STRING,
                taxi_id  STRING,
                trip_start_timestamp  TIMESTAMP,
                trip_end_timestamp  TIMESTAMP,
                trip_seconds  INT,
                trip_miles   FLOAT,
                pickup_census_tract  INT,
                dropoff_census_tract  INT,
                pickup_community_area  INT,
                dropoff_community_area  INT,
                fare  FLOAT,
                tips  FLOAT,
                tolls  FLOAT,
                extras  FLOAT,
                trip_total  FLOAT,
                payment_type  STRING,
                company  STRING,
                pickup_latitude  FLOAT,
                pickup_longitude  FLOAT,
                pickup_location  STRING,
                dropoff_latitude  FLOAT,
                dropoff_longitude  FLOAT,
                dropoff_location  STRING)
              STORED AS PARQUET
              location 'gs://${BUCKET_NAME}/chicago_taxi_trips/parquet/';"
      

   4. Muat data dari tabel CSV Hive ke tabel Hive Parquet.

      gcloud dataproc jobs submit hive \
          --cluster trino-cluster \
          --region=${REGION} \
          --execute "
              INSERT OVERWRITE TABLE chicago_taxi_trips_parquet
              SELECT * FROM chicago_taxi_trips_csv;"
      

   5. Pastikan data dimuat dengan benar.

      gcloud dataproc jobs submit hive \
          --cluster trino-cluster \
          --region=${REGION} \
          --execute "SELECT COUNT(*) FROM chicago_taxi_trips_parquet;"
      

Menjalankan kueri

Anda dapat menjalankan kueri secara lokal dari Trino CLI atau dari aplikasi.

Kueri CLI Trino

Bagian ini menunjukkan cara membuat kueri set data taksi Hive Parquet menggunakan Trino CLI.

1. Jalankan perintah berikut di komputer lokal Anda ke SSH ke node master cluster Anda. Terminal lokal akan berhenti merespons selama eksekusi perintah.

   gcloud compute ssh trino-cluster-m
   

2. Di jendela terminal SSH pada node master cluster, jalankan Trino CLI, yang terhubung ke server Trino yang berjalan pada node master.

   trino --catalog hive --schema default
   

3. Pada perintah trino:default, pastikan Trino dapat menemukan tabel Hive.

   show tables;
   

   Table
   ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
    chicago_taxi_trips_csv
    chicago_taxi_trips_parquet
   (2 rows)
   

4. Jalankan kueri dari perintah trino:default, dan bandingkan performa kueri data Parquet dengan data CSV.
   • Kueri data park

     select count(*) from chicago_taxi_trips_parquet where trip_miles > 50;
     

      _col0
     ‐‐‐‐‐‐‐‐
      117957
     (1 row)
     
     Query 20180928_171735_00006_2sz8c, FINISHED, 3 nodes
     Splits: 308 total, 308 done (100.00%)
     0:16 [113M rows, 297MB] [6.91M rows/s, 18.2MB/s]
     

   • Kueri data CSV

     select count(*) from chicago_taxi_trips_csv where trip_miles > 50;
     

     _col0
     ‐‐‐‐‐‐‐‐
      117957
     (1 row)
     
     Query 20180928_171936_00009_2sz8c, FINISHED, 3 nodes
     Splits: 881 total, 881 done (100.00%)
     0:47 [113M rows, 41.5GB] [2.42M rows/s, 911MB/s]
     

Kueri aplikasi Java

Untuk menjalankan kueri dari aplikasi Java melalui driver JDBC Trino Java: 1. Download driver JDBC Trino Java. 1. Tambahkan dependensi trino-jdbc di Maven pom.xml.

<dependency>
  <groupId>io.trino</groupId>
  <artifactId>trino-jdbc</artifactId>
  <version>376</version>
</dependency>

Contoh kode Java

package dataproc.codelab.trino;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
public class TrinoQuery {
  private static final String URL = "jdbc:trino://trino-cluster-m:8080/hive/default";
  private static final String SOCKS_PROXY = "localhost:1080";
  private static final String USER = "user";
  private static final String QUERY =
      "select count(*) as count from chicago_taxi_trips_parquet where trip_miles > 50";
  public static void main(String[] args) {
    try {
      Properties properties = new Properties();
      properties.setProperty("user", USER);
      properties.setProperty("socksProxy", SOCKS_PROXY);
      Connection connection = DriverManager.getConnection(URL, properties);
      try (Statement stmt = connection.createStatement()) {
        ResultSet rs = stmt.executeQuery(QUERY);
        while (rs.next()) {
          int count = rs.getInt("count");
          System.out.println("The number of long trips: " + count);
        }
      }
    } catch (SQLException e) {
      e.printStackTrace();
    }
  }
}

Logging dan pemantauan

Logging

Log Trino berada di /var/log/trino/ pada node master dan pekerja cluster.

UI Web

Baca artikel Melihat dan Mengakses URL Gateway Komponen untuk membuka UI Web Trino yang berjalan di node master cluster di browser lokal Anda.

Monitoring

Trino mengekspos informasi runtime cluster melalui tabel runtime. Pada sesi Trino (dari perintah trino:default), jalankan kueri berikut untuk melihat data tabel runtime:

select * FROM system.runtime.nodes;

Pembersihan

Setelah menyelesaikan tutorial, Anda dapat membersihkan resource yang dibuat agar resource tersebut berhenti menggunakan kuota dan dikenai biaya. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource ini.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus cluster

• Untuk menghapus cluster:

  gcloud dataproc clusters delete --project=${PROJECT} trino-cluster \
      --region=${REGION}
  

Menghapus bucket

• Untuk menghapus bucket Cloud Storage yang Anda buat di bagian Sebelum memulai, termasuk file data yang disimpan di bucket:

  gsutil -m rm -r gs://${BUCKET_NAME}