Optionale Trino-Komponente für Dataproc

Beim Erstellen eines Dataproc können Sie zusätzliche Komponenten wie Trino installieren. mit dem Optionale Komponenten . Auf dieser Seite wird beschrieben, wie Sie die Trino-Komponente optional in einem Dataproc-Cluster installieren können.

Trino ist eine verteilte Open Source-SQL-Abfrage-Engine. Der Trino-Server und die Web-UI sind standardmäßig an Port 8060 (oder Port 7778, wenn Kerberos aktiviert ist) auf dem ersten Masterknoten des Clusters verfügbar.

Standardmäßig ist Trino in Dataproc für die Connectors Hive, BigQuery, Memory, TPCH und TPCDS konfiguriert.

Nachdem Sie einen Cluster mit der Trino-Komponente erstellt haben, können Sie Abfragen ausführen:

• aus einem lokalen Terminal mit dem Befehl gcloud dataproc jobs submit trino
• in einem Terminalfenster auf dem ersten Masterknoten des Clusters mithilfe der trino CLI (Command Line Interface) – siehe Trino mit Dataproc verwenden

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Dataproc-Cluster erstellen.

Informationen zu den Komponentenversionen, die im jeweiligen Dataproc-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.

gcloud-Befehl

Zum Erstellen eines Dataproc-Clusters, der die Trino-Komponente enthält, verwenden Sie den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.

Verwenden Sie beim Erstellen des Clusters den Befehl gcloud dataproc clusters create mit dem Flag --enable-component-gateway, um die Verbindung zur Trino-Web-UI mit dem Component Gateway zu ermöglichen.

gcloud dataproc clusters create cluster-name \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Attribute konfigurieren

Fügen Sie das Flag --properties Festzulegender gcloud dataproc clusters create-Befehl „trino“, „trino-jvm“ und „trino-catalog“.

• Anwendungsattribute: Verwenden Sie Clusterattribute mit dem Präfix trino:, um Trino-Anwendungsattribute zu konfigurieren, z. B. --properties="trino:join-distribution-type=AUTOMATIC".
• JVM-Konfigurationsattribute: Verwenden Sie Clusterattribute mit der Präfix trino-jvm: zum Konfigurieren von JVM-Attributen für Trino und Worker-Java-Prozesse, z. B. --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
• Neue Kataloge erstellen und Katalog-Properties hinzufügen: Verwenden Sie trino-catalog:catalog-name.property-name Trino-Kataloge zu konfigurieren.

  Beispiel: Das folgende Attribut-Flag kann mit dem Befehl „gcloud dataproc clusters create“ verwendet werden, um einen Trino-Cluster mit einem „prodhive“-Hive-Katalog zu erstellen. Unter /usr/lib/trino/etc/catalog/ wird eine prodhive.properties-Datei erstellt, um den Produktkatalog zu aktivieren.

  --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=localhost:9000"

REST API

Die Trino-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Legen Sie mithilfe der Dataproc v1 API das Attribut EndpointConfig.enableHttpPortAccess als Teil der Anfrage „clusters.create“ auf true fest, um die Verbindung zur Trino-Web-UI über das Component Gateway zu ermöglichen.

Console

1. Aktivieren Sie die Komponente und das Komponentengateway.
   • Öffnen Sie Dataproc in der Google Cloud Console. Cluster erstellen Seite. Der Bereich „Cluster einrichten“ ist ausgewählt.
   • Im Bereich „Komponenten“:
     • Wählen Sie unter „Optionale Komponenten“ Trino und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.
     • Wählen Sie unter Component Gateway „Component Gateway aktivieren“ aus (siehe Component Gateway-URLs ansehen und aufrufen).