Dataproc クラスタを作成する際には、オプション コンポーネント機能を使用して、Trino などの追加コンポーネントをインストールできます。このページでは、必要に応じて、Dataproc クラスタに Trino コンポーネントをインストールする方法について説明します。
Trino は、オープンソースの分散 SQL クエリエンジンです。Trino サーバーとウェブ UI は、デフォルトでは、クラスタの最初のマスターノードのポート 8060
(Kerberos が有効になっている場合はポート 7778
)で使用できます。
デフォルトで、Dataproc 上の Trino は、Hive
、BigQuery
、Memory
、TPCH
、TPCDS
のコネクタとそれぞれ連携するように構成されています。
Trino コンポーネントを使用してクラスタを作成した後は、次の方法でクエリを実行できます。
gcloud dataproc jobs submit trino
コマンドを使用してローカルのターミナルから実行するtrino
CLI(コマンドライン インターフェース)を使用して、クラスタの最初のマスターノードのターミナルウィンドウから実行する(Dataproc で Trino を使用するをご覧ください)
コンポーネントをインストールする
Dataproc クラスタの作成時にコンポーネントをインストールします。
Dataproc イメージの各リリースに含まれるコンポーネント バージョンについては、サポートされる Dataproc バージョンをご覧ください。
gcloud コマンド
Trino コンポーネントを含む Dataproc クラスタを作成するには、--optional-components
フラグを指定した gcloud dataproc clusters create cluster-name コマンドを使用します。
gcloud dataproc clusters create cluster-name \ --optional-components=TRINO \ --region=region \ --enable-component-gateway \ ... other flags
プロパティの構成
gcloud dataproc clusters create
コマンドに --properties
フラグを追加して、trino、trino-jvm、trino-catalog の構成プロパティを設定します。
- アプリケーション プロパティ:
trino:
接頭辞が付いたクラスタ プロパティを使用して、Trino アプリケーション プロパティを構成します(例:--properties="trino:join-distribution-type=AUTOMATIC"
)。 - JVM 構成プロパティ:
trino-jvm:
接頭辞が付いたクラスタ プロパティを使用して、Trino コーディネーターとワーカー Java プロセスの JVM プロパティを構成します(例:--properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError"
)。 - 新しいカタログを作成してカタログのプロパティを追加する:
trino-catalog:catalog-name.property-name
を使用して Trino カタログを構成します。例: 次の「properties」フラグを「gcloud dataproc clusters create」コマンドで使用すると、「prodhive」Hive カタログを含む Trino クラスタを作成できます。
/usr/lib/trino/etc/catalog/
の下にprodhive.properties
ファイルが作成され、prodhive カタログが有効になります。--properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=localhost:9000"
REST API
Dataproc API を使用して Trino コンポーネントを指定するには、clusters.create リクエストの一部として SoftwareConfig.Component を使用します。
Console
- コンポーネントとコンポーネント ゲートウェイを有効にします。
- Google Cloud コンソールで、Dataproc の [クラスタの作成] ページを開きます。[クラスターを設定] パネルが選択されています。
- [
- コンポーネント] セクションで次の設定を行います。
- [オプション コンポーネント] で、クラスタにインストールする Trino やその他のオプション コンポーネントを選択します。
- [コンポーネント ゲートウェイ] で [コンポーネント ゲートウェイを有効にする] を選択します(コンポーネント ゲートウェイの URL を表示してアクセスするをご覧ください)。