Dataproc Metastore-Dienst aktualisieren

Auf dieser Seite wird erläutert, wie Sie einen Dataproc Metastore-Dienst aktualisieren.

Sie können den Dataproc Metastore-Dienst aktualisieren, um die Konfigurationseinstellungen zu ändern oder optionale Features zu aktivieren oder zu deaktivieren.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt gemäß dem Prinzip der geringsten Berechtigung zu gewähren, um die Berechtigung zu erhalten, die Sie zum Aktualisieren eines Dataproc Metastore-Dienstes benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierte Rolle enthält die Berechtigung metastore.services.update, die zum Aktualisieren eines Dataproc Metastore-Dienstes erforderlich ist.

Möglicherweise können Sie diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie in der Übersicht über Dataproc Metastore – IAM.

Informationen zum Aktualisieren von Diensten

Sie können die folgenden Dataproc Metastore-Parameter aktualisieren.

  • Portnummer: Aktualisieren Sie die TCP-Portnummer der Apache Thrift-Schnittstelle.
  • Dienststufe: Wechseln Sie zwischen der Dienststufe Entwickler und Enterprise. Diese Stufen beeinflussen die Kapazität des Dienstes.
  • Data Catalog-Synchronisierung: Aktivieren oder deaktivieren Sie die Data Catalog-Synchronisierungsfunktion.
  • Wartungsfenster. Ändern Sie die Häufigkeit Ihres Wartungsfensters, einschließlich Wochentag und Tageszeit.
  • Kerberos: Aktiviere oder deaktiviere die Kerberos-Authentifizierung. Wenn die Option zuvor aktiviert war, können Sie Ihre Kerberos-Konfigurationsdateien aktualisieren.
  • Hive-Metastore-Konfigurationen. Aktualisieren Sie den Speicherort Ihres Hive-Warehouse-Verzeichnisses.
  • Konfiguration der zusätzlichen Version (Vorschau). Hilfsversionen aktivieren, deaktivieren oder hinzufügen.
  • Labels: Optionale Labels hinzufügen oder entfernen, die Ihre Metadaten beschreiben.
  • Skalierungsfaktor: Ändern Sie den Skalierungsfaktor. Sie können Autoscaling aktivieren oder deaktivieren und die minimalen oder maximalen Skalierungsfaktoren aktualisieren.

Dienst aktualisieren

Beachten Sie die folgenden Hinweise, bevor Sie eine Aktualisierung ausführen:

  • Sie können jeweils nur einen Aktualisierungsjob ausführen (für jeden Dataproc Metastore-Dienst).
  • Sie können mehrere Parameter in einem einzigen Aktualisierungsjob aktualisieren.
  • Sie können den Dataproc Metastore weiterhin verwenden, während er aktualisiert wird.

Nach erfolgreicher Aktualisierung geht Dataproc Metastore automatisch in den Status Aktiv über. Wenn die Aktualisierung fehlschlägt, wird der Dataproc Metastore-Dienst auf den vorherigen fehlerfreien Zustand zurückgesetzt.

Die folgende Anleitung zeigt, wie Sie einen Dataproc Metastore-Dienst aktualisieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie aktualisieren möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Detailseite des Dataproc Metastore-Dienstes

  3. Klicken Sie auf dem Tab Konfiguration auf Bearbeiten.

    Die Seite Dienst bearbeiten wird geöffnet.

  4. Wählen Sie die Werte aus, die Sie für Ihren Dienst aktualisieren möchten.

  5. Klicken Sie auf Senden.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich aktualisiert wurde.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services update-Befehl aus, um einen Dienst zu aktualisieren:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Ersetzen Sie Folgendes:

    • SERVICE: Der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: Die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • PORT (optional): Der TCP-Port der Thrift-Schnittstelle, die Sie mit Ihrem Dataproc Metastore-Dienst verwenden.
    • TIER (optional): Stufenkapazität Ihres Dataproc Metastore-Dienstes.
    • MAINTENANCE_WINDOW_DAY (optional): Der Wochentag, an dem das Zeitfenster beginnt.
    • MAINTENANCE_WINDOW_HOUR (optional): Die Tageszeit, zu der das Dienstfenster beginnt.
    • KERBEROS_PRINCIPAL (optional): Ein Kerberos-Hauptkonto, das sowohl im Keytab als auch im KDC vorhanden ist. Ein typisches Hauptkonto hat die Form „primary/instance@REALM“, aber es gibt kein genaues Format.
    • KEYTAB (optional): Eine Kerberos-Keytab-Datei, die zum Authentifizieren eines Dienstprinzipals bei einem Kerberos Key Distribution Center verwendet wird.
    • KRB5_CONFIG: Optional: Die Datei krb5.config gibt die KDC- und Kerberos-Echtzeitinformationen an, die Standorte von KDCs und Standardeinstellungen für den Bereich und die Kerberos-Anwendungen umfassen.
    • [KEY, ...] (optional): Die Hive-Metastore-Konfigurationen, die Sie aktualisieren möchten. Wenn in diesem Feld eine Variable vorhanden ist, wird ihr Wert aktualisiert. Andernfalls wird eine neue Variable erstellt. Wenn dieses Flag gesetzt ist, wird -clear-hive-metastore-configs automatisch ebenfalls festgelegt.
    • [KEY, ...] (optional): Die Hive-Metastore-Konfigurationen, die Sie entfernen möchten.
    • [KEY=VALUE, ...] (optional): Die Labels oder die Konfigurationen für das Hive-Metastore-Schlüssel/Wert-Paar, die Sie aktualisieren möchten.
    • [KEY, ...] (optional): Die Labels oder die Konfigurationen für das Hive-Metastore-Schlüssel/Wert-Paar, die Sie entfernen möchten.

  2. Prüfen Sie, ob die Aktualisierung erfolgreich war.

REST

Folgen Sie der API-Anleitung, um einen Dienst mithilfe des APIs Explorers zu aktualisieren.

Hive Metastore-Warehouse-Konfiguration aktualisieren

Wenn sich Ihr Hive-Warehouse-Verzeichnis in Cloud Storage befindet, sollten Sie eine Metastore-Konfigurationsüberschreibung festlegen. Durch diese Überschreibung wird Ihr bestimmtes Data Warehouse als Standard-Warehouse-Verzeichnis für Dataproc Metastore festgelegt

Bevor Sie diese Überschreibung festlegen, muss Ihr Dataproc Metastore-Dienst Lese- und Schreibberechtigungen für Objekte für den Zugriff auf das Warehouse-Verzeichnis haben. Weitere Informationen finden Sie im Hive Warehouse-Verzeichnis.

Die folgende Anleitung zeigt, wie Sie eine Hive Metastore-Konfigurationsüberschreibung aktualisieren.

Console

  1. Öffnen Sie in der Google Cloud Console die Dataproc Metastore-Seite:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des Dienstes, den Sie aktualisieren möchten.

    Die Seite Dienstdetails wird geöffnet.

  3. Klicken Sie auf dem Tab Konfiguration auf Bearbeiten.

    Die Seite Dienst bearbeiten wird geöffnet.

  4. Geben Sie in den Metastore-Konfigurationsüberschreibungen Folgendes ein:

    • Schlüssel: Geben Sie den folgenden Wert ein: hive.metastore.warehouse.dir.
    • Wert: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses. Beispiel: gs://my-bucket/path/to/location

  5. Klicken Sie auf Senden.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich aktualisiert wurde.

gcloud

  1. Führen Sie den folgenden gcloud metastore services update-Befehl aus, um einen Dienst zu aktualisieren:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Ersetzen Sie Folgendes:

    • SERVICE: Der Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: Die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • CUSTOMER_DIR: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses. Beispiel: gs://my-bucket/path/to/location

  2. Prüfen Sie, ob die Aktualisierung erfolgreich war.

Nächste Schritte