Zusatzversionen

Auf dieser Seite wird erläutert, wie Sie die Funktion für Hilfsversionen mit Dataproc Metastore verwenden.

Mit Hilfsversionen können Sie zwei verschiedene Versionen eines Hive-Metaspeichers mit Ihrem Netzwerk verbinden. einen einzelnen Dataproc Metastore-Dienst. Mit dieser Konfiguration können Sie mehrere Datenverarbeitungs-Engines unterstützen, die auf verschiedenen Hive Metastore-Versionen ausgeführt werden müssen.

Mit Hilfsversionen können Sie zum Beispiel mehrere Dataproc-Cluster mit demselben Dataproc Metastore-Dienst verbinden. In dieser Konfiguration kann ein Cluster Dataproc Version 2.0 ausführen, während auf der anderen Dataproc Version 1.5 ausgeführt wird. Dataproc 2.0-Cluster kann eine Verbindung zu einem Endpunkt herstellen, auf dem die Hive-Version 3.1.2 verfügbar ist, während die Dataproc 1.5-Cluster stellt eine Verbindung zu einem Endpunkt her, der die Hive-Version verfügbar macht 2.3.6.

Funktionsweise von Zusatzversionen

Wenn Sie Zusatzversionen aktivieren, stellt Dataproc Metastore für jede Hive Metastore-Version einen separaten Endpunkt bereit. Beides Endpunkte nutzen weiterhin dieselbe Metadatendatenbank.

Mit dieser Funktion können Sie keine verschiedenen Metadatensätze mit einem einzelnen Dataproc Metastore-Dienst verwenden. Stattdessen bietet es Ihnen die Möglichkeit, die Kompatibilität zwischen Ihren Diensten zu erweitern und zu verbessern.

Hinweis: Wenn Sie diese Funktion aktivieren, wird der ursprüngliche Hive-Metaspeicher in der Konfiguration wird als primäre Version bezeichnet und der andere Hive-Metaspeicher ist als Hilfsversion.

Hinweise

Allgemein

• Sie können jeweils nur eine Hilfsversion erstellen Dataproc Metastore-Dienst

• Die Zusatzversion muss so konfiguriert sein, dass eine niedrigere Hive Metastore-Version als die primäre Version verwendet wird.

• Die Hilfsversion verwaltet eine separate Protokolldatei als die primäre Version. Version. Sie können Cloud Logging verwenden, um Hive-Metastore-Probleme zu beheben.

Funktionsunterstützung

• Folgende Funktionen werden von der Hilfsversion nicht unterstützt:

  • Metadaten importieren, Metadaten exportieren

  • Sicherung aus einem Metastore Metastore aus einem Back-up

    Die auf Metadaten bezogenen Funktionen (Import/Export/Sicherung/Wiederherstellung) können nur wird mit der primären Version verwendet, da die Back-End-Metadaten Versionen freigegeben.

• Einige Hive-Methoden sind möglicherweise nicht kompatibel zwischen der Hilfs- und der Primärversion. Diese Kompatibilität hängt davon ab, welche Hive-Versionen Sie verwenden für Ihre Primär- und Hilfsversionen und die Methoden, ist mit den Hive-Versionen kompatibel.

• Nicht alle Funktionen einer primären Dataproc Metastore-Instanz werden von der Zusatzversion unterstützt. Das Einfügen von Datensätzen in eine Hive-Transaktionstabelle wird mit einer Hive 2-Client-Schnittstelle nicht unterstützt mit der Zusatzversion 2.3.6. Dieser Vorgang wird jedoch mit einem Hive 3-Client-Schnittstelle zur primären Version 3.1.2.

  Wenn ein Feature in einer niedrigeren Hive-Version in einer höheren Hive-Version eingestellt wird, wird es in der entsprechenden niedrigeren Hilfsversion nicht unterstützt. Hive 2 unterstützt beispielsweise indexes, aber ein Eine Hilfsversion mit Hive 2.3.6 unterstützt den Index nicht, wenn die primäre Version 3.1.2 ausgeführt wird.

• Transaktionstabellen mit der Hilfsversion erstellen oder Daten in Transaktionstabellen in der Hilfsversion werden verhindert.

Gemeinsame Eigenschaften zwischen Versionen

Wenn Sie eine Hilfsversion erstellen, die sowohl in der Zusatz- als auch in der primären Version gemeinsam genutzt werden. Version. Andere Properties werden nicht gemeinsam verwendet und sind für beide Versionen getrennt.

In der folgenden Tabelle sind diese Unterschiede aufgeführt.

Attribute	Verbreitet	Trennen
Endpunkt		✓
Hive-Konfigurationsüberschreibungen*		✓
Kerberos-Konfiguration	✓
Endpunktprotokoll (Thrift/gRPC)	✓
Thrift-Port	✓
Cloud Storage-Bucket für Artefakte	✓
Stufe	✓
Wartungsfenster	✓
Release-Version	✓
Verschlüsselungskonfiguration	✓
Datenbanktyp	✓
Ein/Aus-Schaltfläche für die Data Catalog-Synchronisierung	✓
Messwert für die Anzahl der Anfragen		✓
Netzwerkkonfigurationen		✓

* Die Hive-Konfigurationsüberschreibungen bleiben zwischen der Zusatz- und der Hauptversion getrennt. Die Zusatzversion verweist jedoch auf eine zusammengeführte Liste der Überschreibungen (Haupt- und Zusatzversion). In diesem Fall hat die sekundäre Konfiguration Vorrang vor der primären Konfiguration.

Hinweise

• Dataproc Metastore aktivieren

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigung zum Erstellen eines Dataproc-Metastores mit Hilfsversionen zu erhalten. Dabei wird das Prinzip der geringsten Berechtigung angewendet:

• Vollständige Kontrolle über Dataproc Metastore-Ressourcen gewähren (roles/metastore.editor)
• Uneingeschränkten Zugriff auf alle Dataproc Metastore-Ressourcen gewähren, einschließlich der Verwaltung von IAM-Richtlinien (roles/metastore.admin)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigung metastore.services.create, die zum Erstellen eines Dataproc-Metastores mit Hilfsversionen erforderlich ist.

Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und ‑Berechtigungen finden Sie unter Dataproc-Zugriff mit IAM verwalten.

Hilfsversion für einen neuen Dienst erstellen

Das folgende Beispiel zeigt eine gekürzte Version der Schritte, Hilfsversionen aktivieren. Eine vollständige Anleitung für den gesamten Prozess finden Sie unter Dataproc Metastore erstellen.

Console

1. Öffnen Sie in der Google Cloud Console die Dataproc Metastore-Seite:

   Dataproc Metastore öffnen

2. Klicken Sie oben auf der Seite Dataproc Metastore auf die Schaltfläche Erstellen.

   Die Seite Dienst erstellen wird geöffnet.

3. Aktivieren Sie unter Konfiguration der Zusatzversion die Zusatzversionen.

4. Klicken Sie auf Zusatzversion hinzufügen.

   1. Geben Sie einen Namen für die Zusatzversion ein.

   2. Wählen Sie eine Version für die Zusatzversion aus.

   3. Optional: Klicken Sie auf + Überschreibungen hinzufügen, um eine Zuordnung auf die Hilfsversion anzuwenden.

   4. Klicken Sie auf Fertig.

5. Wählen Sie die verbleibenden Konfigurationen aus. für Ihren Dienst.

6. Klicken Sie auf Senden.

gcloud-CLI

1. Zum Erstellen eines Dataproc Metastore-Dienstes mit einem Hilfsprogramm führen Sie einen der folgenden gcloud metastore services create aus. Befehle:

   gcloud metastore services create SERVICE \
       --location=LOCATION \
       --auxiliary-versions=AUXILIARY_VERSIONS, ...
   

   • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
   • LOCATION: die Region, in der Sie Ihren Dataproc Metastore-Dienst erstellen möchten.
   • AUXILIARY_VERSIONS: eine durch Kommas getrennte Liste der Hive-Metastore-Versionen, die für Ihre Hilfsversion bereitgestellt werden sollen. Es wird nur eine Hilfsversion unterstützt. Verwenden Sie das folgende Format: "2.3.6".
   • AUXILIARY_VERSIONS_FROM_FILE: Pfad zu einer YAML-Datei, die die Konfiguration der Hilfsversionen enthält. Weitere Informationen Informationen und ein Beispiel finden Sie SDK-Dokumentation

2. Prüfen Sie, ob die Erstellung erfolgreich war.

curl

Verwenden Sie die Methode create, um einen Dataproc Metastore-Dienst mit einer Hilfsversion zu erstellen.

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud-Befehlszeile angemeldet haben. Dazu haben Sie gcloud init oder gcloud auth login ausgeführt oder die Cloud Shell genutzt, die Sie automatisch in der gcloud-Befehlszeile anmeldet. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

curl -X POST -s -i \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
     -H "Content-Type:application/json" \
     https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID

Ersetzen Sie Folgendes:

• SERVICE_ID: Der Name des neuen Dataproc Metastore-Dienstes.
• PROJECT_ID: die Google Cloud-Projekt-ID, in der Sie den Dataproc Metastore-Dienst erstellen.
• LOCATION: die Region, in der Ihr Dataproc Metastore befindet sich.
• AUX_VERSIONS: eine durch Kommas getrennte Liste von Hive Metastore-Versionen bereitzustellen. Es wird nur eine zusätzliche Version unterstützt.

Zusatzversion für einen vorhandenen Dienst aktualisieren

Die folgenden Anweisungen zeigen, wie Sie ein vorhandenes Dataproc Metastore-Dienst, der Hilfsversionen verwendet.

Beim Ausführen eines Aktualisierungsvorgangs können Sie die folgenden Aufgaben ausführen:

• Fügen Sie eine neue Zusatzversion hinzu.
• Löschen Sie eine vorhandene Hilfsversion.

• Sie können Überschreibungen einer vorhandenen Zusatzversion hinzufügen oder ändern.

Console

1. Öffnen Sie in der Google Cloud Console die Dataproc Metastore-Seite:

   Dataproc Metastore öffnen

2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des Dienstes, den Sie aktualisieren möchten.

   Die Seite Dienstdetails wird geöffnet.

3. Klicken Sie auf dem Tab Konfiguration auf Bearbeiten.

   Die Seite Dienst bearbeiten wird geöffnet.

4. Klicken Sie im Abschnitt Konfiguration der Zusatzversion auf die Ein/Aus-Schaltfläche, um die Option zu aktivieren. oder die Deaktivierung von Zusatzversionen.

   Sie können die folgenden Aufgaben ausführen:

   1. Klicken Sie auf Löschen, um eine vorhandene Hilfsversion zu löschen.

   2. Klicken Sie auf Zusatzversion hinzufügen, um eine neue Zusatzversion hinzuzufügen.

   3. Um eine Überschreibungszuordnung auf eine Hilfsversion anzuwenden, klicken Sie auf + Überschreibungen hinzufügen.

5. Klicken Sie auf Senden.

gcloud-CLI

1. Wenn Sie einen Dataproc Metastore-Dienst aktualisieren möchten, der eine Hilfsversion verwendet, führen Sie einen der folgenden gcloud metastore services update-Befehle aus:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --add-auxiliary-versions=AUXILIARY_VERSIONS, ...
   

   oder

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --update-auxiliary-versions-from-file=AUXILIARY_VERSIONS_FROM_FILE
   

   Ersetzen Sie Folgendes:

   • SERVICE: der Name Ihres Dataproc Metastore-Dienst
   • LOCATION: die Region, in der Ihr Dataproc Metastore befindet sich.
   • AUXILIARY_VERSIONS: eine durch Kommas getrennte Liste der zu implementierenden Hive-Metastore-Hilfsversionen.
   • AUXILIARY_VERSIONS_FROM_FILE: Pfad zu einer YAML-Datei, die die Konfiguration der Hilfsversionen enthält. Weitere Informationen und ein Beispiel finden Sie in der SDK-Dokumentation.

2. Prüfen Sie, ob die Aktualisierung erfolgreich war.

curl

Zum Aktualisieren eines Dataproc Metastore-Dienstes, der ein Hilfsprogramm verwendet verwenden Sie die Methode patch.

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud CLI angemeldet haben. Dazu haben Sie gcloud init oder gcloud auth login ausgeführt oder die Cloud Shell genutzt, die Sie automatisch in der gcloud CLI anmeldet. Sie können das aktive Konto prüfen, indem Sie gcloud auth list ausführen.

curl -X PATCH -s -i \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
   -H "Content-Type:application/json" \
   https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions

Ersetzen Sie Folgendes:

• SERVICE_ID: der Name Ihres Dataproc Metastore-Dienstes.
• PROJECT_ID: die Google Cloud-Projekt-ID, in der Sie den Dataproc Metastore-Dienstcluster erstellen.
• LOCATION: die Region, in der Ihr Dataproc Metastore befindet sich.
• AUX_VERSIONS: eine durch Kommas getrennte Liste von Bereitstellung von Hive-Hilfs-Metaspeicherversionen.

Nächste Schritte

• Dienste erstellen
• Dienste aktualisieren und löschen