Auf dieser Seite wird erläutert, wie Sie einen Dataproc Metastore-Dienst aktualisieren.
Sie können Ihren Dataproc Metastore-Dienst aktualisieren, um Konfigurationseinstellungen festzulegen oder optionale Funktionen zu aktivieren oder zu deaktivieren.
Hinweise
Erforderliche Rollen
Um die Berechtigung zum Aktualisieren eines Dataproc Metastore-Dienstes zu erhalten, bitten Sie Ihren Administrator, Ihnen folgende IAM-Rollen für Ihr Projekt basierend auf dem Prinzip der geringsten Berechtigung:
-
Vollständige Kontrolle über Dataproc Metastore-Ressourcen gewähren (
roles/metastore.editor) -
Vollzugriff auf alle Dataproc Metastore-Ressourcen gewähren, einschließlich der Verwaltung von IAM-Richtlinien (
roles/metastore.admin)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierte Rolle enthält die Berechtigung metastore.services.update, die zum Aktualisieren eines Dataproc-Metastore-Dienstes erforderlich ist.
Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Weitere Informationen zu bestimmten Rollen und Berechtigungen für Dataproc Metastore finden Sie unter IAM-Rollen für Dataproc Metastore.Dienst aktualisieren
Sie können die folgenden Dataproc Metastore-Parameter aktualisieren.
- Portnummer Aktualisieren Sie die TCP-Portnummer der Apache Thrift-Schnittstelle.
- Dienststufe: Wechseln Sie zwischen der Dienststufe Entwickler oder Enterprise. Diese Stufen beeinflussen die Kapazität des Dienstes.
- Data Catalog-Synchronisierung Aktivieren oder deaktivieren Sie die Synchronisierungsfunktion für Data Catalog.
- Wartungsfenster. Ändern Sie die Häufigkeit des Wartungsfensters, einschließlich Wochentag und Uhrzeit.
- Kerberos. Aktivieren oder deaktivieren Sie die Kerberos-Authentifizierung. Wenn die Funktion zuvor aktiviert war, können Sie Ihre Kerberos-Konfigurationsdateien aktualisieren.
- Hive-Metastore-Konfigurationen Aktualisieren Sie den Speicherort Ihres Hive-Warehouse-Verzeichnisses.
- Konfiguration der Zusatzversion (Vorschau): Aktivieren, deaktivieren oder fügen Sie zusätzliche Zusatzversionen hinzu.
- Labels. Optionale Labels, die Ihre Metadaten beschreiben, hinzufügen oder entfernen
- Skalierungsfaktor: Ändern Sie den Skalierungsfaktor. Sie können Autoscaling aktivieren oder deaktivieren und die minimalen oder maximalen Skalierungsfaktoren aktualisieren.
Dienst aktualisieren
Beachten Sie die folgenden Hinweise, bevor Sie eine Aktualisierung ausführen:
- Sie können jeweils nur einen Aktualisierungsjob für jeden Dataproc Metastore-Dienst ausführen.
- Sie können mehrere Parameter in einem einzigen Update-Job aktualisieren.
- Sie können den Dataproc Metastore während der Aktualisierung weiterhin verwenden.
Wenn die Aktualisierung erfolgreich ist, wechselt Dataproc Metastore automatisch in den Status aktiv. Wenn das Update fehlschlägt, wird der Dataproc Metastore-Dienst auf seinen vorherigen fehlerfreien Zustand zurückgesetzt.
In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore-Dienst aktualisieren.
Console
Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:
Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des den Sie aktualisieren möchten.
Die Seite Dienstdetails wird geöffnet.
Detailseite des Dataproc Metastore-Dienstes Klicken Sie auf dem Tab Konfiguration auf Bearbeiten.
Die Seite Dienst bearbeiten wird geöffnet.
Wählen Sie die Werte aus, die Sie für Ihren Dienst aktualisieren möchten.
Klicken Sie auf Senden.
Kehren Sie zur Seite Dataproc Metastore zurück und überprüfen, ob Ihr Dienst erfolgreich aktualisiert wurde.
gcloud-CLI
Führen Sie den folgenden
gcloud metastore services update-Befehl aus, um einen Dienst zu aktualisieren:gcloud metastore services update SERVICE \ --location=LOCATION \ --port=PORT \ --tier=TIER \ --maintenance-window-day=MAINTENANCE_WINDOW_DAY \ --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \ --kerberos_principal=KERBEROS_PRINCIPAL \ --keytab=KEYTAB \ --krb5-config=KRB5_CONFIG \ --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \ --clear-hive-metastore-configs \ --remove-hive-metastore-configs=[KEY, ...] \ --update-labels=[KEY=VALUE, ...] \ --clear-labels \ --remove-labels=[KEY, ...]Ersetzen Sie Folgendes:
SERVICE: Der Name Ihres Dataproc Metastore-Dienstes.LOCATION: Die Google Cloud-Region, in der sich der Dataproc Metastore-Dienst befindet.PORT(optional): Der TCP-Port der Thrift-Oberfläche, die Sie mit Ihrem Dataproc Metastore-Dienst verwenden.TIER(optional): Die Stufenkapazität Ihres Dataproc Metastore-Dienstes.MAINTENANCE_WINDOW_DAY(optional): der Wochentag, an dem beginnt das Servicefenster.MAINTENANCE_WINDOW_HOUR(optional): die Tageszeit, zu der beginnt das Servicefenster.KERBEROS_PRINCIPAL: Optional: Ein Kerberos Principal, der sowohl in Keytab als auch im KDC vorhanden ist. Ein typisches Hauptkonto hat das Format „primary/instance@REALM“, aber es gibt kein genaues Format.KEYTAB(optional): Eine Kerberos-Keytab-Datei, die wird verwendet, um ein Diensthauptkonto mit einem Kerberos-Schlüssel zu authentifizieren Distribution Center (Vertriebscenter) aus.KRB5_CONFIG: Optional: Die Datei krb5.config gibt die KDC- und Kerberos-Echtzeitinformationen an, die Standorte von KDCs und Standardeinstellungen für den Bereich und die Kerberos-Anwendungen umfassen.[KEY, ...](optional): Hive-Metaspeicher Konfigurationen, die Sie aktualisieren möchten. Wenn in diesem Feld eine Variable vorhanden ist, wird ihr Wert aktualisiert. Andernfalls wird eine neue Variable erstellt. Wenn dieses Flag festgelegt ist, wird auch-clear-hive-metastore-configsautomatisch festgelegt.[KEY, ...]: Optional: Die Hive-Metastore-Konfigurationen, die Sie entfernen möchten.[KEY=VALUE, ...](optional): Die Labels oder Konfiguration von Schlüssel/Wert-Paaren für Hive-Metastore die Sie aktualisieren möchten.[KEY, ...](optional): Die Labels oder Konfigurationen für Schlüssel/Wert-Paare in Hive-Metastore die Sie entfernen möchten.
Prüfen Sie, ob die Aktualisierung erfolgreich war.
REST
Folgen Sie der API-Anleitung, um einen Dienst mithilfe des APIs Explorers zu aktualisieren.
Hive Metastore-Warehouse-Konfiguration aktualisieren
Wenn sich Ihr Hive-Warehouse-Verzeichnis in Cloud Storage befindet, sollten Sie eine Überschreibung der Metastore-Konfiguration festlegen. Dadurch wird Ihr bestimmtes Data Warehouse als standardmäßiges Warehouse-Verzeichnis für Dataproc Metastore festgelegt.
Bevor Sie diese Überschreibung festlegen, muss Ihr Dataproc Metastore-Dienst hat Lese- und Schreibberechtigungen für Objekte, um auf das Warehouse-Verzeichnis zuzugreifen. Weitere Informationen finden Sie im Hive-Warehouse-Verzeichnis.
In der folgenden Anleitung erfahren Sie, wie Sie eine Hive Metastore-Konfigurationsüberschreibung aktualisieren.
Console
Öffnen Sie in der Google Cloud Console die Dataproc Metastore-Seite:
Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des die Sie aktualisieren möchten.
Die Seite Dienstdetails wird geöffnet.
Klicken Sie auf dem Tab Konfiguration auf Bearbeiten.
Die Seite Dienst bearbeiten wird geöffnet.
Geben Sie unter Metastore-Konfigurationsüberschreibungen Folgendes ein:
- Schlüssel: Geben Sie den folgenden Wert ein:
hive.metastore.warehouse.dir. - Wert: Der Cloud Storage-Speicherort Ihres Speicherverzeichnisses. Beispiel:
gs://my-bucket/path/to/location
- Schlüssel: Geben Sie den folgenden Wert ein:
Klicken Sie auf Senden.
Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich aktualisiert wurde.
gcloud
Führen Sie den folgenden
gcloud metastore services update-Befehl aus, um einen Dienst zu aktualisieren:gcloud metastore services update SERVICE \ --location=LOCATION \ --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"Ersetzen Sie Folgendes:
SERVICE: Der Name Ihres Dataproc Metastore-Dienstes.LOCATION: Die Google Cloud-Region, in der sich Ihr Dataproc Metastore-Dienst befindet.CUSTOMER_DIR: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses. Beispiel:gs://my-bucket/path/to/location
Prüfen Sie, ob die Aktualisierung erfolgreich war.