Dataproc Metastore-Dienst erstellen

Auf dieser Seite erfahren Sie, wie Sie einen Dataproc Metastore-Dienst erstellen.

Nachdem Sie den Dataproc Metastore-Dienst erstellt haben, können Sie Metadaten importieren und eine Verbindung zu einem der folgenden Dienste herstellen:

Nachdem Sie einen dieser Dienste verbunden haben, verwendet er während der Abfrageausführung Ihren Dataproc Metastore-Dienst als seinen Hive-Metastore.

Hinweise

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt gemäß dem Prinzip der geringsten Berechtigung zu gewähren, um die Berechtigung zu erhalten, die Sie zum Erstellen eines Dataproc Metastores benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierte Rolle enthält die Berechtigung metastore.services.create, die zum Erstellen eines Dataproc Metastore erforderlich ist.

Möglicherweise können Sie diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Zugriff mit IAM verwalten.

Dataproc Metastore mit Standardeinstellungen erstellen

Wenn Sie einen Dataproc Metastore mit den Standardeinstellungen erstellen, wird der Dienst mit einer Unternehmensstufe, einer mittleren Instanzgröße, der neuesten Version des Hive Metastore, einem Thrift-Endpunkt und dem Datenspeicherort us-central konfiguriert.

Dataproc Metastore 2

In der folgenden Anleitung erfahren Sie, wie Sie einen Dataproc Metastore 2 mit einem Thrift-Endpunkt und anderen bereitgestellten Standardeinstellungen erstellen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Dataproc Metastore auf.

    Zu Dataproc Metastore

  2. Klicken Sie in der Navigationsleiste auf +Erstellen.

    Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.

  3. Wählen Sie Dataproc Metastore 2 aus.

  4. Wählen Sie im Abschnitt Preise und Kapazität eine Instanzgröße aus.

    Weitere Informationen finden Sie unter Preismodelle und Skalierungskonfigurationen.

  5. Geben Sie im Feld Dienstname einen eindeutigen Namen für den Dienst ein.

    Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

  6. Wählen Sie den Speicherort der Daten aus.

    Weitere Informationen zum Auswählen der entsprechenden Region finden Sie unter Verfügbare Regionen und Zonen und Regionaler Endpunkt.

  7. Verwenden Sie für die übrigen Dienstkonfigurationsoptionen die angegebenen Standardeinstellungen.

  8. Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.

    Der neue Metastore-Dienst wird auf der Seite Dataproc Metastore angezeigt. Der Status lautet Wird erstellt, bis der Dienst einsatzbereit ist. Sobald sie fertig ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.

gcloud-CLI

Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen Dataproc Metastore-Metastore-Dienst 2 mit den angegebenen Standardeinstellungen zu erstellen:

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

Ersetzen Sie Folgendes:

  • SERVICE: Der Name Ihres neuen Dataproc Metastore-Dienstes.

  • LOCATION: Die Google Cloud-Region, in der Sie den Dataproc Metastore erstellen möchten. Sie können auch einen standardmäßigen Standort festlegen.

    Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

  • INSTANCE_SIZE: die Instanzgröße des multiregionalen Dataproc Metastores. Beispiel: small, medium oder large. Wenn Sie für INSTANCE_SIZE einen Wert festlegen, geben Sie keinen Wert für SCALING_FACTOR an.

  • SCALING_FACTOR: der Skalierungsfaktor des Dataproc Metastore-Dienstes. Beispiel: 0.1 Wenn Sie einen Wert für SCALING_FACTOR angeben, geben Sie keinen Wert für INSTANCE_SIZE an.

REST

Folgen Sie der API-Anleitung, um mit APIs Explorer einen Dienst zu erstellen.

Dataproc Metastore 1

Die folgende Anleitung zeigt, wie Sie einen Dataproc Metastore 1 mit einem Thrift-Endpunkt und anderen bereitgestellten Standardeinstellungen erstellen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Dataproc Metastore auf.

    Zu Dataproc Metastore

  2. Klicken Sie in der Navigationsleiste auf +Erstellen.

    Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.

  3. Wählen Sie Dataproc Metastore 1 aus.

  4. Geben Sie im Feld Dienstname einen eindeutigen Namen für den Dienst ein.

    Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

  5. Wählen Sie den Speicherort der Daten aus.

    Weitere Informationen zum Auswählen der entsprechenden Region finden Sie unter Verfügbare Regionen und Zonen und Regionaler Endpunkt.

  6. Verwenden Sie für die übrigen Dienstkonfigurationsoptionen die angegebenen Standardeinstellungen.

  7. Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.

    Der neue Metastore-Dienst wird auf der Seite Dataproc Metastore angezeigt. Der Status lautet Wird erstellt, bis der Dienst einsatzbereit ist. Sobald sie fertig ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.

gcloud-CLI

Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen einfachen Metaspeicherdienst mit den angegebenen Standardeinstellungen zu erstellen:

gcloud metastore services create SERVICE \
  --location=LOCATION

Ersetzen Sie Folgendes:

  • SERVICE: Der Name Ihres neuen Dataproc Metastore-Dienstes.

  • LOCATION: Die Google Cloud-Region, in der Sie den Dataproc Metastore erstellen möchten. Sie können auch einen standardmäßigen Standort festlegen.

    Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

REST

Folgen Sie der API-Anleitung, um mit APIs Explorer einen Dienst zu erstellen.

Dataproc Metastore mit erweiterten Einstellungen erstellen

Wenn Sie einen Dataproc Metastore mit den erweiterten Einstellungen erstellen, müssen Sie Konfigurationen wie Netzwerkkonfigurationen, Skalierungs-, Endpunkteinstellungen, Sicherheitseinstellungen und optionale Funktionen ändern.

Dataproc Metastore 2 oder 1

In der folgenden Anleitung erfahren Sie, wie Sie einen Dataproc Metastore 2- oder Dataproc Metastore 1-Dienst mit erweiterten Einstellungen erstellen.

Console

Jetzt loslegen

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie im Navigationsmenü auf + Erstellen.

    Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.

  3. Wählen Sie die gewünschte Metastore-Version aus, also Dataproc Metastore 1 oder Dataproc Metastore 2.

    Serviceinformationen

    Seite „Dienst erstellen“
    Beispiel für die Seite Dienst erstellen

    1. (Optional): Für Dataproc Metastore 2. Wählen Sie im Abschnitt Preise und Kapazität eine Instanzgröße aus.

      Weitere Informationen finden Sie unter Preismodelle und Skalierungskonfigurationen.

    2. Geben Sie im Feld Dienstname einen eindeutigen Namen für den Dienst ein.

      Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.

    3. Wählen Sie den Speicherort der Daten aus.

      Weitere Informationen zum Auswählen der entsprechenden Region finden Sie unter Verfügbare Regionen und Zonen und Regionaler Endpunkt.

    4. Wählen Sie die Hive Metastore-Version aus.

      Wenn dieser Wert nicht geändert wird, verwendet Ihr Dienst die neueste unterstützte Version von Hive (derzeit Version 3.1.2).

      Weitere Informationen zur Auswahl der richtigen Version finden Sie unter Versionsrichtlinie.

    5. Wählen Sie die Release-Version aus.

      Wenn dieser Wert nicht geändert wird, verwendet der Metaspeicher den Wert Stable. Weitere Informationen finden Sie unter Release-Version.

    6. Geben Sie den TCP-Port ein.

      Der TCP-Port, mit dem Ihr Thrift-Endpunkt eine Verbindung herstellt. Wenn dieser Wert nicht geändert wird, wird Portnummer 9083 verwendet. Wenn Sie den Endpunkt in gRPC ändern, ändert sich dieser Wert automatisch in 443 und kann nicht geändert werden.

    7. (Optional) Für Dataproc Metastore 1. Wählen Sie die Dienststufe aus.

      Die Dienststufe wirkt sich auf die Kapazität Ihres Dienstes aus. Weitere Informationen finden Sie unter Dienststufe.

    Endpunktprotokoll

    • Optional: Wählen Sie ein Endpunktprotokoll aus.

      Die standardmäßig ausgewählte Option ist Apache Thrift. Weitere Informationen zu den verschiedenen Endpunkten finden Sie unter Endpunktprotokoll auswählen.

    Netzwerkkonfiguration

    1. Wählen Sie eine Netzwerkkonfiguration aus.

      Standardmäßig wird Ihr Dienst nur in einem VPC-Netzwerk bereitgestellt und verwendet das Netzwerk default. Das Netzwerk default ermöglicht Ihrem Dienst nur, eine Verbindung zu anderen Diensten im selben Projekt herzustellen.

      Ändern Sie die standardmäßigen Netzwerkeinstellungen, um die folgenden Aktionen auszuführen:

      • Dataproc Metastore-Dienst mit Dataproc Metastore-Diensten in anderen Projekten verbinden
      • Dataproc Metastore-Dienst mit anderen Google Cloud-Diensten wie dem Dataproc-Cluster verwenden

    2. Optional: Klicken Sie auf Freigegebenes VPC-Netzwerk verwenden und geben Sie die Projekt-ID und den VPC-Netzwerknamen ein.

    3. Optional: Klicken Sie auf Dienste in mehreren VPC-Subnetzwerken zugänglich machen und wählen Sie die Subnetzwerke aus. Sie können bis zu fünf Subnetzwerke angeben.

    4. Klicken Sie auf Fertig.

    Metadatenintegration

    Wartungsfenster

    • Optional: Wählen Sie den Wochentag und die Tageszeit für das Wartungsfenster aus.

      Weitere Informationen finden Sie unter Wartungsfenster.

    Sicherheit

    1. Optional: Aktivieren Sie Kerberos.

      1. Klicken Sie auf die Ein/Aus-Schaltfläche, um Kerberos zu aktivieren.
      2. Wählen Sie Ihre Secret-Ressourcen-ID aus oder geben Sie sie ein.
      3. Verwenden Sie entweder die neueste Secret-Version oder wählen Sie eine ältere aus.

      4. Geben Sie das Kerberos-Hauptkonto ein.

        Dies ist das diesem Dataproc Metastore-Dienst zugewiesene Hauptkonto.

      5. Wechseln Sie zur Datei krb5 config.

    2. Optional: Wählen Sie einen Verschlüsselungstyp aus.

      • Die standardmäßig ausgewählte Option ist Von Google verwalteter Verschlüsselungsschlüssel.

      • Klicken Sie auf Vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK) verwenden, um einen vom Kunden verwalteten Schlüssel auszuwählen.

        Weitere Informationen finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel verwenden.

    Metastore-Konfigurationsüberschreibungen

    • Optional: Klicken Sie auf + Überschreibungen hinzufügen, um eine Zuordnung auf den Hive-Metastore anzuwenden.

    Konfiguration der Zusatzversion

    • Optional: Klicken Sie auf Aktivieren, um eine Konfiguration für eine Zusatzversion hinzuzufügen.

      Weitere Informationen finden Sie unter Zusatzversionen.

    Datenbanktyp

    • Optional: Wählen Sie einen Datenbanktyp aus.

      Wählen Sie als Datenbanktyp MySQL oder Spanner aus. MySQL ist der Standard-Datenbanktyp.

      Weitere Informationen zum Auswählen eines bestimmten Datenbanktyps finden Sie unter Datenbanktypen.

    Labels

    • Optional: Klicken Sie auf + Labels hinzufügen, um optionale Labels hinzuzufügen oder zu entfernen, die Ihre Metadaten beschreiben.

Dienst starten

Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.

Der neue Metastore-Dienst wird auf der Seite Dataproc Metastore angezeigt. Der Status lautet Wird erstellt, bis der Dienst einsatzbereit ist. Sobald sie fertig ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen Metaspeicher zu erstellen:

    gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR \
  --port=PORT \
  --tier=TIER \
  --endpoint-protocol=ENDPOINT_PROTOCOL \
  --database-type=DATABASE_TYPE \
  --hive-metastore-version=HIVE_METASTORE_VERSION \
  --data-catalog-sync=DATA_CATALOG_SYNC \
  --release-channel=RELEASE_CHANNEL \
  --hive-metastore-configs=METADATA_OVERRIDE \
  --labels=LABELS \
  --auxiliary-versions=AUXILIARY_VERSION \
  --network=NETWORK \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
  --kerberos-principal=KERBEROS_PRINCIPAL \
  --krb5-config=KRB5_CONFIG \
  --keytab=CLOUD_SECRET \
  --encryption-kms-key=KMS_KEY

    Ersetzen Sie Folgendes:

    Diensteinstellungen:

    • SERVICE: Der Name des neuen Dataproc Metastore-Dienstes Ihres Dataproc Metastore-Dienstes. Beispiel: 0.1. Wenn Sie einen Wert für SCALING_FACTOR angeben, geben Sie keinen Wert für INSTANCE_SIZE an.
    • LOCATION: Die Google Cloud-Region, in der Sie den Dataproc Metastore erstellen möchten. Sie können auch einen standardmäßigen Standort festlegen.
    • PORT (optional): Der TCP-Port, der vom Thrift-Endpunkt verwendet wird. Wenn die Richtlinie nicht konfiguriert ist, wird Port 9083 verwendet. Wenn Sie einen gRPC-Endpunkt verwenden, wird Ihre Portnummer automatisch in 443 geändert.
    • TIER: Optional für Dataproc Metastore 1: Die Dienststufe des neuen Dienstes. Wenn nichts festgelegt ist, wird der Wert Developer verwendet.
    • ENDPOINT_PROTOCOL: Optional: Wählen Sie das Endpunktprotokoll für Ihren Dienst aus.
    • DATABASE_TYPE: Optional: Wählen Sie den Datenbanktyp für Ihren Dienst aus. Weitere Informationen zum Auswählen eines bestimmten Datenbanktyps finden Sie unter Datenbanktypen.
    • DATA_CATALOG_SYNC (optional): Aktivieren Sie die Funktion Data Catalog-Synchronisierung.
    • HIVE_METASTORE_VERSION (optional): Die Version des Hive-Metastores, die Sie mit Ihrem Dienst verwenden möchten. Beispiel: 3.1.2 Wenn die Richtlinie nicht konfiguriert ist, wird die neueste Version von Hive verwendet.
    • RELEASE_CHANNEL (optional): Die Release-Version des Dienstes. Wenn nichts festgelegt ist, wird der Wert Stable verwendet.
    • METADATA_OVERRIDE (optional): Der Hive-Metaspeicher überschreibt Konfigurationen, die Sie auf Ihren Dienst anwenden möchten. Verwenden Sie eine durch Kommas getrennte Liste im Format k1=v1,k2=v2,k3=v3.
    • LABELS (optional): Schlüssel/Wert-Paare, um Ihrem Dienst zusätzliche Metadaten hinzuzufügen. Verwenden Sie eine durch Kommas getrennte Liste im Format k1=v1,k2=v2,k3=v3. Dataproc Metastore
    • AUXILIARY_VERSION (optional): Hilfsversionen aktivieren Weitere Informationen finden Sie unter Zusatzversionen.

    Skalierungseinstellungen:

    • INSTANCE_SIZE: Optional für Dataproc Metastore 2: die Instanzgröße des multiregionalen Dataproc Metastore. Beispiel: small, medium oder large. Wenn Sie einen Wert für INSTANCE_SIZE angeben, geben Sie keinen Wert für SCALING_FACTOR an.
    • SCALING_FACTOR: Optional für Dataproc Metastore 2: der Skalierungsfaktor des Dataproc Metastore-Dienstes. Beispiel: 0.1 Wenn Sie einen Wert für SCALING_FACTOR festlegen, geben Sie keinen Wert für INSTANCE_SIZE an.

    Einstellungen für Werbenetzwerke:

    • NETWORK: Der Name des VPC-Netzwerk, das Sie mit Ihrem Dienst verbinden. Wenn nichts festgelegt ist, wird der Wert default verwendet.

      Wenn Sie ein VPC-Netzwerk verwenden, das zu einem anderen Projekt als Ihr Dienst gehört, müssen Sie den vollständigen relativen Ressourcennamen angeben. Beispiel: projects/HOST_PROJECT/global/networks/NETWORK_ID

    • SUBNET1, SUBNET2: Optional: Eine Liste von Subnetzwerken, die auf Ihren Dienst zugreifen können. Sie können die ID, die vollständig qualifizierte URL oder den relativen Namen des Subnetzwerks verwenden. Sie können bis zu 5 Subnetzwerke angeben.

    Kerberos-Einstellungen:

    • KERBEROS_PRINCIPAL: Optional: Ein Kerberos-Hauptkonto, das sowohl auf dem Keytab als auch im KDC vorhanden ist. Ein typisches Hauptkonto hat das Format „primary/instance@REALM“, aber es gibt kein genaues Format.
    • KRB5_CONFIG: Optional: Die Datei krb5.config gibt die KDC- und Kerberos-Echtzeitinformationen an, die Standorte von KDCs und Standardeinstellungen für den Bereich und die Kerberos-Anwendungen umfassen.
    • CLOUD_SECRET (optional): Der relative Ressourcenname einer Secret-Version von Secret Manager.
    • KMS_KEY (optional): Bezieht sich auf die Schlüsselressourcen-ID.

  2. Prüfen Sie, ob die Erstellung erfolgreich war.

REST

Folgen Sie der API-Anleitung, um mit APIs Explorer einen Dienst zu erstellen.

Hive-Metastore-Konfigurationsüberschreibung für Dataproc Metastore festlegen

Wenn sich Ihr Apache Hive-Warehouse-Verzeichnis in Cloud Storage befindet, sollten Sie eine Überschreibung der Metastore-Konfiguration festlegen. Durch diese Überschreibung wird Ihr benutzerdefiniertes Data Warehouse als Standard-Warehouse-Verzeichnis für Ihren Dataproc Metastore-Dienst festgelegt.

Bevor Sie diese Überschreibung festlegen, muss Ihr Dataproc Metastore-Dienst Lese- und Schreibberechtigungen für Objekte für den Zugriff auf das Warehouse-Verzeichnis haben. Weitere Informationen finden Sie im Hive-Warehouse-Verzeichnis.

In der folgenden Anleitung wird gezeigt, wie Sie eine Hive Metastore-Konfigurationsüberschreibung für einen neuen Dataproc Metastore-Dienst festlegen.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie in der Navigationsleiste auf +Erstellen.

  3. Geben Sie in Metastore-Konfigurationsüberschreibungen die folgenden Werte ein:

    • Schlüssel: hive.metastore.warehouse.dir.
    • Wert: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses. Beispiel: gs://my-bucket/path/to/location

  4. Konfigurieren Sie die verbleibenden Dienstoptionen nach Bedarf oder verwenden Sie die bereitgestellten Standardeinstellungen.

  5. Klicken Sie auf Senden.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob der Dienst erfolgreich erstellt wurde.

gcloud-CLI

  1. Führen Sie den folgenden gcloud metastore services create-Befehl aus, um einen Dataproc Metastore-Dienst mit einer Hive-Überschreibung zu erstellen:

    gcloud metastore services create SERVICE \
  --location=LOCATION \
  --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Ersetzen Sie Folgendes:

    • SERVICE: Der Name Ihres neuen Dataproc Metastore-Dienstes.
    • LOCATION: Die Google Cloud-Region, in der Sie den Dataproc Metastore erstellen möchten. Sie können auch einen Standardstandort festlegen.
    • CUSTOMER_DIR: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses. Beispiel: gs://my-bucket/path/to/location

  2. Prüfen Sie, ob die Erstellung erfolgreich war.

Dataproc Metastore mit Autoscaling erstellen

Dataproc Metastore 2 unterstützt Autoscaling. Wenn Sie das Autoscaling aktivieren, können Sie einen minimalen und einen maximalen Skalierungsfaktor festlegen. Danach erhöht oder verringert Ihr Dienst automatisch den Skalierungsfaktor, der für die Ausführung Ihrer Arbeitslasten erforderlich ist.

Hinweise zum Autoscaling

  • Autoscaling- und Skalierungsfaktoren schließen sich gegenseitig aus. Wenn Sie beispielsweise Autoscaling aktivieren, können Sie einen Skalierungsfaktor oder eine Größe nicht manuell festlegen.
  • Autoscaling ist nur für Dataproc Metastore-Instanzen in einer einzelnen Region verfügbar.
  • Wenn Autoscaling aktiviert ist, werden vorhandene Einstellungen für Skalierungsfaktoren gelöscht.
  • Wenn Autoscaling deaktiviert ist, gilt Folgendes:
    • Vorhandene Autoscaling-Einstellungen werden gelöscht.
    • Der Skalierungsfaktor wird auf den letzten autoscaling_factor festgelegt, der für den Dienst konfiguriert wurde.
  • Die minimalen und maximalen Autoscaling-Faktoren sind optional. Wenn nichts festgelegt ist, sind die Standardwerte 0.1 bzw. 6.

Wählen Sie einen der folgenden Tabs aus, um zu erfahren, wie Sie einen Dataproc Metastore-Dienst 2 mit aktiviertem Autoscaling erstellen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Dataproc Metastore auf.

    Zu Dataproc Metastore

  2. Klicken Sie in der Navigationsleiste auf +Erstellen.

    Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.

  3. Wählen Sie Dataproc Metastore 2 aus.

  4. Wählen Sie im Abschnitt Preise und Kapazität die Option Enterprise – Einzelne Region aus.

  5. Klicken Sie unter Instanzgröße auf Autoscaling aktivieren.

  6. Wählen Sie unter Instanzgröße mit dem Schieberegler eine minimale und maximale Instanzgröße aus.

  7. Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.

    Der neue Metastore-Dienst wird auf der Seite Dataproc Metastore angezeigt. Der Status lautet Wird erstellt, bis der Dienst einsatzbereit ist. Sobald sie fertig ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.

REST

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

Ersetzen Sie Folgendes:

  • MIN_INSTANCES (Optional): Die Mindestanzahl von Instanzen, die in Ihrer Autoscaling-Konfiguration verwendet werden sollen. Wenn diese Werte nicht angegeben sind, wird der Standardwert 0.1 verwendet.
  • MAX_INSTANCESOptional: Die maximale Anzahl von Instanzen, die in Ihrer Autoscaling-Konfiguration verwendet werden sollen. Wenn diese Werte nicht angegeben sind, wird der Standardwert 6 verwendet.

Multiregionalen Dataproc Metastore-Dienst erstellen

Informationen zum Erstellen eines multiregionalen Dataproc Metastore-Dienstes finden Sie unter Multiregionalen Dataproc Metastore-Dienst einrichten.

Dataproc Metastore-Dienst mit freigegebene VPC erstellen

Mit einer freigegebene VPC können Sie Dataproc Metastore-Ressourcen aus mehreren Projekten mit einem gemeinsamen VPC-Netzwerk verbinden.

Informationen zum Erstellen eines Dataproc Metastore-Dienstes, der mit einer freigegebene VPC konfiguriert wurde, finden Sie unter Dienst mit erweiterten Einstellungen erstellen.

Hinweise

  • VPC-Netzwerke sind für Dataproc Metastore-Dienste, die mit dem gRPC-Endpunktprotokoll konfiguriert sind, nicht relevant.

  • Achten Sie bei Dataproc Metastore-Diensten, die mit dem Thrift-Endpunktprotokoll konfiguriert sind, darauf, dass Ihr Dataproc Metastore-Dienst und der Dataproc-Cluster, an den er angehängt ist, dasselbe freigegebene VPC-Netzwerk verwenden.

  • Achten Sie darauf, dass Sie für Dataproc Metastore-Dienste, die mit dem Thrift-Endpunktprotokoll und Private Service Connect konfiguriert sind, Subnetzwerke aus dem freigegebene VPC-Netzwerk verwenden.

Für freigegebene VPC-Netzwerke erforderliche IAM-Rollen

Wenn Sie einen Dataproc Metastore-Dienst mit einer VPC erstellen möchten, auf die in einem Netzwerk eines anderen Projekts zugegriffen werden kann, müssen Sie dem Dataproc Metastore-Dienst-Agent (service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com) des Dienstprojekts in der IAM-Richtlinie des Netzwerkprojekts roles/metastore.serviceAgent zuweisen.

gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
   --role "roles/metastore.serviceAgent" \
   --member "serviceAccount:service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com"

Häufige Probleme beheben

Zu den häufigsten Problemen gehören:

  • VPC-Peering einschränken Legen Sie vor dem Erstellen eines Metaspeichers keine Einschränkung der Organisationsrichtlinie fest, um das VPC-Peering einzuschränken, da sonst die Metaspeichererstellung fehlschlägt. Weitere Informationen zum Festlegen der richtigen VPC-Konfigurationen finden Sie unter Der Dienst kann aufgrund einer Einschränkung zum Einschränken des VPC-Peerings nicht erstellt werden.

  • Probleme mit VPC-Netzwerken. Wenn Sie einen Metaspeicher erstellen, könnten im verwendeten VPC-Netzwerk nicht mehr alle verfügbaren RFC 1918-Adressen für Dataproc Metastore-Dienste verfügbar sein. Weitere Informationen zum Beheben dieses Problems finden Sie unter Zugewiesener IP-Bereich ist aufgebraucht.

Nächste Schritte