Komponen Presto opsional Dataproc

Anda dapat menginstal komponen tambahan seperti Presto saat membuat cluster Dataproc menggunakan fitur Komponen opsional. Halaman ini menjelaskan cara menginstal komponen Presto secara opsional di cluster Dataproc.

Presto (Trino) adalah mesin kueri SQL terdistribusi open source. Server Presto dan UI Web secara default tersedia di port 8060 (atau port 7778 jika Kerberos diaktifkan) pada node master pertama cluster.

Secara default, Presto di Dataproc dikonfigurasi agar berfungsi dengan connectors Hive, BigQuery, Memory, TPCH, dan TPCDS.

Setelah membuat cluster dengan komponen Presto, Anda dapat menjalankan kueri:

dari terminal lokal dengan perintah gcloud dataproc jobs submit presto
dari jendela terminal pada node master pertama cluster menggunakan CLI presto (Antarmuka Command Line)—lihat Menggunakan Trino dengan Dataproc

Menginstal komponen

Instal komponen saat Anda membuat cluster Dataproc. Komponen dapat ditambahkan ke cluster yang dibuat dengan Dataproc versi 1.3 dan yang lebih baru.

Lihat Versi Dataproc yang didukung untuk versi komponen yang disertakan dalam setiap rilis image Dataproc.

Perintah gcloud

Untuk membuat cluster Dataproc yang menyertakan komponen Presto, gunakan perintah gcloud dataproc cluster create cluster-name dengan flag --optional-components.

Saat membuat cluster, gunakan perintah gcloud dataproc cluster create dengan flag --enable-component-gateway, seperti yang ditunjukkan di bawah ini, untuk memungkinkan koneksi ke UI Web Presto menggunakan Gateway Komponen.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Mengonfigurasi properti

Tambahkan flag --properties ke perintah gcloud dataproc clusters create untuk menetapkan properti konfigurasi presto, presto-jvm, dan presto-catalog.

Properti aplikasi: Gunakan properti cluster dengan awalan presto: untuk mengonfigurasi properti aplikasi Presto—misalnya, --properties="presto:join-distribution-type=AUTOMATIC".
Properti konfigurasi JVM: Gunakan properti cluster dengan awalan presto-jvm: guna mengonfigurasi properti JVM untuk koordinator Presto dan proses Java pekerja, misalnya --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
Membuat katalog baru dan menambahkan properti katalog: Gunakan presto-catalog:catalog-name.property-name untuk mengonfigurasi katalog Presto.

Contoh: Tanda `properties` berikut dapat digunakan dengan perintah `gcloud dataproc cluster create` untuk membuat cluster Presto dengan katalog Hive "prodhive". File prodhive.properties akan dibuat di /usr/lib/presto/etc/catalog/ untuk mengaktifkan katalog produk.
```
--properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083
```

REST API

Komponen Presto dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Dengan menggunakan Dataproc v1 API, tetapkan properti EndpointConfig.enableHttpPortAccess ke true sebagai bagian dari permintaan Cluster.create untuk mengaktifkan koneksi ke UI Web Presto menggunakan Gateway Komponen.

Konsol

Aktifkan gateway komponen dan komponen.
- Di Konsol Google Cloud, buka halaman Buat cluster Dataproc. Panel Siapkan cluster dipilih.
- Di bagian Components:
  - Di bagian Optional Components, pilih Presto dan komponen opsional lainnya untuk diinstal di cluster Anda.
  - Pada Gateway Komponen, pilih Aktifkan gateway komponen (lihat Melihat dan Mengakses URL Gateway Komponen).