Zusatzversionen

Dataproc Metastore-Zusatzversionen sind Hive-Metastore-Dienste, die an einen primären Dataproc Metastore-Dienst angehängt sind. Die Hilfsversionen sind älter als die primäre Dataproc Metastore-Version. Sie helfen bei der Kompatibilität von Hive-Metastore-Versionen mit verschiedenen Datenverarbeitungsmodulen, die unterschiedliche Versionen der Hive-Metastore-Clientbibliothek verwenden.

Zusätzliche Versionen verwenden

Mit Hilfsversionen können Sie zusätzliche Endpunkte bereitstellen, die das Hive-Metastore-Protokoll für Hive-Versionen verwenden, die älter als das Metadatendatenbankschema in Ihren Dataproc Metastore-Diensten sind. Dadurch kannst du Metadaten zwischen mehreren Datenverarbeitungsmodulen teilen, die verschiedene Versionen der Hive-Metastore-Clientbibliothek verwenden.

Funktionsweise von Hilfsversionen

Sie haben die Möglichkeit, zusätzliche Hive-Metastore-Versionen für einen Dataproc Metastore-Dienst anzugeben, die dann über separate Endpunkte verfügbar gemacht werden. Alle Endpunkte haben eine gemeinsame Metadatendatenbank.

Die Schemaversion der Metadatendatenbank stimmt mit der primären Hive-Metastore-Version von Dataproc Metastore überein. Alle Hilfsversionen sind älter als die Version des Hauptdienstes, um Kompatibilitätsprobleme mit dem Metadatenschema zu vermeiden.

Pro Dataproc Metastore-Dienst wird nur eine Zusatzversion unterstützt.

Sie können Hilfsversionen angeben, wenn Sie Dataproc Metastore-Dienste erstellen oder aktualisieren. Wenn Sie einen Dienst aktualisieren, können Sie die Zusatzversion hinzufügen oder löschen.

Hilfsversion mit dem Dataproc Metastore-Dienst erstellen

In der folgenden Anleitung wird gezeigt, wie Sie eine Hilfsversion mit Ihrem Dataproc Metastore-Dienst erstellen.

Console

  1. Öffnen Sie in der Konsole die Dataproc Metastore-Seite:

    Dataproc Metastore in der Konsole öffnen

  2. Klicken Sie oben auf der Dataproc Metastore-Seite auf die Schaltfläche Create (Erstellen). Die Seite Dienst erstellen wird geöffnet.

  3. Konfigurieren Sie Ihren Dienst wie gewünscht.

  4. Aktivieren Sie unter Zusätzliche Versionskonfiguration die Hilfsversionen.

  5. Klicken Sie auf Add Auxiliary Version (Zusätzliche Version hinzufügen).

    1. Geben Sie einen Namen für die Hilfsversion ein.

    2. Wählen Sie eine Version für die Hilfsversion aus.

    3. Optional: Klicken Sie auf + Überschreibungen hinzufügen, um eine Zuordnung auf die Hilfsversion anzuwenden.

    4. Klicken Sie auf Fertig.

  6. Klicken Sie auf Senden.

gcloud

  1. Führen Sie einen der folgenden gcloud beta metastore services create-Befehle aus
    , um einen Dienst mit einer Hilfsversion zu erstellen:

    gcloud beta metastore services create SERVICE \
        --location=LOCATION \
        --auxiliary-versions=AUXILIARY_VERSIONS, ...
    

    oder

    gcloud beta metastore services create SERVICE \
        --location=LOCATION \
        --auxiliary-versions-from-file=AUXILIARY_VERSIONS_FROM_FILE
    

    Ersetzen Sie Folgendes:

    • SERVICE: ein Name für den neuen Dienst
    • LOCATION: eine Google Cloud-Region
    • AUXILIARY_VERSIONS: eine durch Kommas getrennte Liste von Hive-Metastore-Versionen, die bereitgestellt werden sollen
    • AUXILIARY_VERSIONS_FROM_FILE: ein Pfad zu einer YAML-Datei, die die Konfiguration der Hilfsversionen enthält. Weitere Informationen und ein Beispiel finden Sie in der SDK-Dokumentation.
  2. Prüfen Sie, ob die Erstellung erfolgreich war.

curl

Sie können eine Hilfsversion mit Ihrem Dataproc Metastore-Dienst erstellen, wenn Sie sie mit der create-Methode erstellen:

   ```
     curl -X POST -s -i \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
     -H "Content-Type:application/json" \
     https://metastore.googleapis.com/v1beta/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID
   ```

Hilfsversion mit dem Dataproc Metastore-Dienst aktualisieren

In der folgenden Anleitung wird gezeigt, wie Sie eine Hilfsversion mit Ihrem Dataproc Metastore-Dienst aktualisieren.

Console

  1. Öffnen Sie in der Konsole die Dataproc Metastore-Seite:

    Dataproc Metastore in der Konsole öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des Dienstes, den Sie aktualisieren möchten. Die Seite Dienstdetails für diesen Dienst wird geöffnet.

  3. Klicken Sie auf dem Tab Configuration (Konfiguration) auf die Schaltfläche Edit (Bearbeiten). Die Seite Dienst bearbeiten wird geöffnet.

  4. Aktivieren oder deaktivieren Sie unter Zusätzliche Versionskonfiguration die Hilfsversionen.

  5. Wenn Sie die Hilfsversion löschen möchten, klicken Sie auf Löschen.

  6. Klicken Sie auf Add Auxiliary Version (Zusätzliche Version hinzufügen), um eine neue Zusatzversion hinzuzufügen.

  7. Klicken Sie auf + Überschreibungen hinzufügen, um eine Zuordnung auf die Hilfsversion anzuwenden.

  8. Klicken Sie auf Senden.

gcloud

  1. Führen Sie den folgenden gcloud beta metastore services update-Befehl aus, um einen Dienst mit Private Service Connect zu aktualisieren:

    gcloud beta metastore services update SERVICE \
       --location=LOCATION \
       --add-auxiliary-versions=AUXILIARY_VERSIONS, ...
    

    oder

    gcloud beta metastore services update SERVICE \
       --location=LOCATION \
       --update-auxiliary-versions-from-file=AUXILIARY_VERSIONS_FROM_FILE
    

    Ersetzen Sie Folgendes:

    • SERVICE: der Name Ihres Dienstes
    • LOCATION: eine Google Cloud-Region
    • AUXILIARY_VERSIONS: eine durch Kommas getrennte Liste von Hive-Metastore-Versionen, die bereitgestellt werden sollen
    • AUXILIARY_VERSIONS_FROM_FILE: ein Pfad zu einer YAML-Datei, die die Konfiguration der Hilfsversionen enthält. Weitere Informationen und ein Beispiel finden Sie in der SDK-Dokumentation.
  2. Prüfen Sie, ob die Aktualisierung erfolgreich war.

curl

Sie können eine Hilfsversion mit Ihrem Dataproc Metastore-Dienst aktualisieren, wenn Sie sie mit der patch-Methode aktualisieren:

 ```
   curl -X PATCH -s -i \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
   -H "Content-Type:application/json" \
   https://metastore.googleapis.com/v1beta/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions
 ```

Gemeinsame Verhaltensweisen und Properties

In der folgenden Tabelle sind die verschiedenen Verhaltensweisen und Attribute eines Dataproc Metastore-Dienstes aufgeführt und ob diese für den gesamten Dienst freigegeben oder pro Hive-Metastore-Version repliziert werden. Im Allgemeinen werden Aspekte mit der statischen Konfiguration, der Metadatendatenbank und den Metadaten selbst geteilt. Andererseits werden Verhaltensweisen, die den Anfragepfad für Hive-Metastore-Metadatenanfragen beeinflussen, pro Hive-Metastore-Version repliziert.

Verhalten Pro Dienst Pro Version
Endpunkt
Hive-Konfigurationsüberschreibungen
Kerberos-Konfiguration
Endpunktprotokoll (Thrift/ gRPC)
Thrift-Port
Cloud Storage-Bucket für Artefakte
Stufe
Wartungsfenster
Release-Version
Verschlüsselungskonfiguration
Datenbanktyp
Ein-/Aus-Schaltfläche für die Data Catalog-Synchronisierung
Messwert „Anzahl der Anfragen“

Dataproc-Cluster anhängen

Sie können einen Dataproc-Cluster anhängen, der die Hive-Metastore-Nebenversion als Hive-Metastore verwendet. Dazu verwenden Sie den Endpunkt-URI und das Warehouse-Verzeichnis.

Weitere Informationen zum Anhängen eines Dataproc-Clusters finden Sie unter Dataproc-Cluster mit ENDPOINT_URI und WAREHOUSE_DIR anhängen.

Hinweise zu Hilfsversionen

Bei Hilfsversionen sind folgende Einschränkungen zu beachten:

  • Die Hilfsversion muss älter als die Hauptversion sein.

  • Pro Dataproc Metastore-Dienst wird nur eine Zusatzversion unterstützt.

  • Hilfsversionen werden für die Private Service Connect-Konfiguration nicht unterstützt.

  • Import, Export, Sicherung und Wiederherstellung gelten für Hilfsversionen.

  • Abhängig von den Hive-Versionen funktionieren einige Hive-Metastore-Methoden in der Hilfsversion möglicherweise nicht mit der Hauptversion.

  • Die Hilfsversion ist von der Hauptversion getrennt. Sie können Cloud Logging verwenden, um Probleme mit Hive-Metastores zu beheben.

Weitere Informationen