Auf dieser Seite erfahren Sie, wie Sie einen Dataproc Metastore-Dienst erstellen.
Nachdem Sie den Dataproc Metastore-Dienst erstellt haben, können Sie und eine Verbindung zu einem der folgenden Dienste herstellen:
Selbstverwaltetes Apache Hive Apache Spark-Instanz oder einen Presto-Cluster.
Nachdem Sie eine Verbindung zu einem dieser Dienste hergestellt haben, wird bei der Abfrageausführung Ihr Dataproc Metastore-Dienst als Hive-Metastore verwendet.
Hinweise
- Unterschiede zwischen einem Dataproc Metastore 1-Dienst und einen Dataproc Metastore 2-Dienst.
- Aktivieren Dataproc Metastore in Ihrem Projekt.
- Netzwerkanforderungen für Ihr Projekt kennenlernen
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc-Metastores benötigen. Dabei wird das Prinzip der geringsten Berechtigung angewendet:
-
Vollständige Kontrolle über Dataproc Metastore-Ressourcen gewähren (
roles/metastore.editor
) -
Vollzugriff auf alle Dataproc Metastore-Ressourcen gewähren, einschließlich der Verwaltung von IAM-Richtlinien (
roles/metastore.admin
)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierte Rolle enthält die Berechtigung metastore.services.create
, die zum Erstellen eines Dataproc-Metastores erforderlich ist.
Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Zugriff mit IAM verwalten.Dataproc Metastore mit Standardeinstellungen erstellen
Dataproc Metastore mit den Standardeinstellungen erstellen
konfiguriert Ihren Dienst mit einer Enterprise-Stufe, einer mittleren Instanzgröße,
die neueste Version des Hive Metastore, einen Thrift-Endpunkt und einen Datenspeicherort
von us-central
.
Dataproc Metastore 2
In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore erstellen. 2 mit einem Thrift-Endpunkt und anderen bereitgestellten Standardeinstellungen
Console
Rufen Sie in der Google Cloud Console den Dataproc Metastore auf. Seite.
Klicken Sie in der Navigationsleiste auf +Erstellen.
Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.
Wählen Sie Dataproc Metastore 2 aus.
Wählen Sie im Bereich Preise und Kapazität eine Instanzgröße aus.
Weitere Informationen finden Sie unter Preismodelle und Skalierungskonfigurationen.
Geben Sie im Feld Dienstname einen eindeutigen Namen für den Dienst ein.
Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.
Wählen Sie den Speicherort der Daten aus.
Weitere Informationen zur Auswahl der richtigen Region finden Sie unter Verfügbare Regionen und Zonen und Regionaler Endpunkt.
Verwenden Sie für die restlichen Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.
Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.
Ihr neuer Metastore-Dienst wird im Dataproc Metastore angezeigt. Seite. Der Status lautet Wird erstellt, bis der Dienst einsatzbereit ist. Sobald sie fertig ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.
gcloud-CLI
Wenn Sie einen Dataproc Metastore-Metastore-Dienst 2 mit den bereitgestellten Standardeinstellungen erstellen möchten, führen Sie den folgenden gcloud metastore services create
-Befehl aus:
gcloud metastore services create SERVICE \ --location=LOCATION \ --instance-size=INSTANCE_SIZE \ --scaling-factor=SCALING_FACTOR
Ersetzen Sie Folgendes:
SERVICE
: Der Name Ihres neuen Dataproc Metastore-DienstLOCATION
: Die gewünschte Google Cloud-Region in dem Sie Ihren Dataproc Metastore erstellen können. Sie können auch einen Standardstandort festlegen.Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.
INSTANCE_SIZE
: die Instanzgröße Ihres mehrregionalen Dataproc Metastores. Beispiel:small
,medium
oderlarge
. Wenn Sie einen Wert fürINSTANCE_SIZE
angeben, geben Sie Geben Sie einen Wert fürSCALING_FACTOR
an.SCALING_FACTOR
: der Skalierungsfaktor Ihres Dataproc Metastore-Dienstes. Beispiel:0.1
Wenn Sie einen Wert fürSCALING_FACTOR
angeben, geben Sie keinen Wert fürINSTANCE_SIZE
an.
REST
Folgen Sie der API-Anleitung, um mit APIs Explorer einen Dienst zu erstellen.
Dataproc Metastore 1
In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore erstellen. 1 mit einem Thrift-Endpunkt und anderen bereitgestellten Standardeinstellungen.
Console
Rufen Sie in der Google Cloud Console die Seite Dataproc Metastore auf.
Klicken Sie in der Navigationsleiste auf + Erstellen.
Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.
Wählen Sie Dataproc Metastore 1 aus.
Geben Sie im Feld Dienstname einen eindeutigen Namen für den Dienst ein.
Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.
Wählen Sie den Speicherort der Daten aus.
Weitere Informationen zur Auswahl der richtigen Region Siehe Verfügbare Regionen und Zonen und Regionaler Endpunkt.
Verwenden Sie für die übrigen Dienstkonfigurationsoptionen die angegebenen Standardeinstellungen.
Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.
Ihr neuer Metastore-Dienst wird im Dataproc Metastore angezeigt. Seite. Der Status ist Wird erstellt, bis der Dienst einsatzbereit ist. Sobald sie fertig ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.
gcloud-CLI
Führen Sie den folgenden gcloud metastore services create
-Befehl aus, um einen einfachen Metadatenspeicherdienst mit den angegebenen Standardeinstellungen zu erstellen:
gcloud metastore services create SERVICE \ --location=LOCATION
Ersetzen Sie Folgendes:
SERVICE
: Der Name Ihres neuen Dataproc Metastore-DienstLOCATION
: Die gewünschte Google Cloud-Region in dem Sie Ihren Dataproc Metastore erstellen können. Sie können auch einen Standardstandort festlegen.Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.
REST
Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.
Dataproc Metastore mit erweiterten Einstellungen erstellen
Dataproc Metastore mit den erweiterten Einstellungen erstellen zeigt, dass Sie Konfigurationen wie Netzwerkkonfigurationen, Skalierung und Endpunkteinstellungen, Sicherheitseinstellungen und optionale Funktionen.
Dataproc Metastore 2 oder 1
In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore erstellen. 2 oder einen Dataproc Metastore 1-Dienst mit erweiterten Einstellungen.
Console
Jetzt starten
Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:
Klicken Sie im Navigationsmenü auf + Erstellen.
Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.
Wählen Sie die gewünschte Metastore-Version aus: Dataproc Metastore 1. oder Dataproc Metastore 2.
Serviceinformationen
(Optional): Für Dataproc Metastore 2. Geben Sie im Feld Preise und Kapazität wählen Sie eine Instanzgröße aus.
Weitere Informationen finden Sie unter Preismodelle und Skalierungskonfigurationen.
Geben Sie im Feld Dienstname einen eindeutigen Namen für den Dienst ein.
Informationen zu Namenskonventionen finden Sie unter Namenskonvention für Ressourcen.
Wählen Sie den Speicherort der Daten aus.
Weitere Informationen zur Auswahl der richtigen Region Siehe Verfügbare Regionen und Zonen und Regionaler Endpunkt.
Wählen Sie die Hive-Metastore-Version aus.
Wenn dieser Wert nicht geändert wird, verwendet Ihr Dienst die neueste unterstützte Hive-Version (aktuell Version
3.1.2
).Weitere Informationen zur Auswahl der richtigen Version finden Sie in der Versionsrichtlinie.
Wählen Sie die Release-Version aus.
Wenn dieser Wert nicht geändert wird, verwendet der Metaspeicher den Wert
Stable
. Weitere Informationen finden Sie unter Release-Version.Geben Sie den TCP-Port ein.
Der TCP-Port, mit dem Ihr Thrift-Endpunkt verbunden ist. Wenn dieser Wert nicht geändert wird, wird die Portnummer
9083
verwendet. Wenn Sie Ihr an gRPC zu senden, ändert sich dieser Wert automatisch in443
. geändert werden kann.Optional: Für Dataproc Metastore 1 Wählen Sie die Dienststufe aus.
Die Dienststufe wirkt sich auf die Kapazität Ihres Dienstes aus. Weitere Informationen finden Sie unter Dienststufe.
Endpunktprotokoll
Optional: Wählen Sie ein Endpunktprotokoll aus.
Standardmäßig ist Apache Thrift ausgewählt. Weitere Informationen Informationen zu den verschiedenen Endpunkten finden Sie unter Endpunktprotokoll auswählen.
Netzwerkkonfiguration
Wählen Sie eine Netzwerkkonfiguration aus.
Standardmäßig ist Ihr Dienst nur in einem VPC-Netzwerk verfügbar und verwendet dem
default
-Netzwerk. Über dasdefault
-Netzwerk kann Ihr Dienst nur eine Verbindung zu anderen Diensten im selben Projekt herstellen.Ändern Sie Ihre Netzwerkeinstellungen von den Standardeinstellungen, um die folgenden Aktionen auszuführen:
- Sie können Ihren Dataproc Metastore-Dienst mit Dataproc Metastore-Diensten in anderen Projekten verbinden.
- Verwenden Sie Ihren Dataproc Metastore-Dienst mit anderen Google Cloud-Dienste, z. B. den Dataproc-Cluster.
Optional: Klicken Sie auf Freigegebenes VPC-Netzwerk verwenden und geben Sie die Projekt-ID und den Namen des VPC-Netzwerks ein.
Optional: Klicken Sie auf Dienste in mehreren VPC-Subnetzen zugänglich machen und wählen Sie die Subnetze aus. Sie können bis zu fünf Subnetzwerke angeben.
Klicken Sie auf Fertig.
Metadatenintegration
Optional: Aktivieren Sie die Data Catalog-Synchronisierung.
Weitere Informationen finden Sie unter Synchronisierung von Dataproc Metastore mit Data Catalog.
Wartungsfenster
Optional: Wählen Sie den Wochentag und die Tageszeit für die Wartungsfensters.
Weitere Informationen finden Sie unter Wartungsfenster.
Sicherheit
Optional: Aktivieren Sie Kerberos.
- Klicken Sie auf die Ein/Aus-Schaltfläche, um Kerberos zu aktivieren.
- Wählen Sie die Secret-Ressourcen-ID aus oder geben Sie sie ein.
- Wählen Sie entweder die neueste Secret-Version oder eine ältere aus die Sie verwenden können.
Geben Sie das Kerberos-Hauptkonto ein.
Dies ist das diesem Dataproc Metastore zugewiesene Hauptkonto Service.
Wechseln Sie zur Datei krb5 config.
Optional: Wählen Sie einen Verschlüsselungstyp aus.
Standardmäßig ist die Option Von Google verwalteter Verschlüsselungsschlüssel ausgewählt.
Klicken Sie auf Vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK) verwenden, um einen vom Kunden verwalteten Schlüssel auszuwählen.
Weitere Informationen finden Sie unter vom Kunden verwaltete Verschlüsselungsschlüssel verwenden.
Metastore-Konfigurationsüberschreibungen
Optional: Klicken Sie auf + Überschreibungen hinzufügen, um eine Zuordnung auf den Hive-Metastore anzuwenden.
Konfiguration der Zusatzversion
Optional: Klicken Sie auf Aktivieren, um eine Konfiguration für die Hilfsversion hinzuzufügen.
Weitere Informationen finden Sie unter Zusatzversionen.
Datenbanktyp
Optional: Wählen Sie einen Datenbanktyp aus.
Wählen Sie unter Datenbanktyp die Option MySQL oder Spanner aus. MySQL ist die Standarddatenbanktyp.
Weitere Informationen zur Auswahl eines bestimmten Datenbanktyps finden Sie unter Datenbanktypen.
Labels
- Optional: Klicken Sie auf + Labels hinzufügen, um optionale Labels hinzuzufügen oder zu entfernen, die Ihre Metadaten beschreiben.
Dienst starten
Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.
Ihr neuer Metastore-Dienst wird im Dataproc Metastore angezeigt. Seite. Der Status ist Wird erstellt, bis der Dienst einsatzbereit ist. Sobald sie fertig ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.
gcloud-CLI
Führen Sie den folgenden
gcloud metastore services create
Befehl aus, um einen Metastore zu erstellen:gcloud metastore services create SERVICE \ --location=LOCATION \ --instance-size=INSTANCE_SIZE \ --scaling-factor=SCALING_FACTOR \ --port=PORT \ --tier=TIER \ --endpoint-protocol=ENDPOINT_PROTOCOL \ --database-type=DATABASE_TYPE \ --hive-metastore-version=HIVE_METASTORE_VERSION \ --data-catalog-sync=DATA_CATALOG_SYNC \ --release-channel=RELEASE_CHANNEL \ --hive-metastore-configs=METADATA_OVERRIDE \ --labels=LABELS \ --auxiliary-versions=AUXILIARY_VERSION \ --network=NETWORK \ --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \ --kerberos-principal=KERBEROS_PRINCIPAL \ --krb5-config=KRB5_CONFIG \ --keytab=CLOUD_SECRET \ --encryption-kms-key=KMS_KEY
Ersetzen Sie Folgendes:
Diensteinstellungen:
SERVICE
: Der Name Ihres neuen Dataproc Metastore-Dienstes. Beispiel:0.1
. Wenn Sie einen Wert fürSCALING_FACTOR
angeben, geben Sie keinen Wert fürINSTANCE_SIZE
an.LOCATION
: Die gewünschte Google Cloud-Region in dem Sie Ihren Dataproc Metastore erstellen können. Sie können auch einen Standardstandort festlegen.PORT
(optional): Der TCP-Port, der von Ihrem Thrift-Endpunkt verwendet. Wenn nicht festgelegt, wird Port9083
verwendet. Wenn Sie einen gRPC-Endpunkt verwenden, wird Ihre Portnummer automatisch ändert sich an443
.TIER
: Optional für Dataproc Metastore 1: Die Dienststufe Ihrer neuen Service. Wenn nicht festgelegt, wird der WertDeveloper
verwendet.ENDPOINT_PROTOCOL
: Optional: Wählen Sie das Endpunktprotokoll für Ihren Dienst aus.DATABASE_TYPE
: Optional: Wählen Sie den Datenbanktyp für Ihren Dienst aus. Weitere Informationen zur Auswahl eines bestimmten Datenbanktyps finden Sie unter Datenbanktypen.DATA_CATALOG_SYNC
: Optional: Aktivieren Sie die Data Catalog-Synchronisierungsfunktion.HIVE_METASTORE_VERSION
: Optional: Die Hive-Metastore-Version, die Sie für Ihren Dienst verwenden möchten. Beispiel:3.1.2
Wenn diese Option nicht festgelegt ist, wird die neueste Hive-Version verwendet.RELEASE_CHANNEL
(optional): Der Release-Channel des Dienstes. Wenn nicht festgelegt, wird der WertStable
verwendet.METADATA_OVERRIDE
: Optional: Die Überschreibungs-Konfigurationen für den Hive-Metastore, die Sie auf Ihren Dienst anwenden möchten. Verwenden Sie eine durch Kommas getrennte Liste im folgenden Format:k1=v1,k2=v2,k3=v3
.LABELS
: Optional: Hinzuzufügende Schlüssel/Wert-Paare zusätzliche Metadaten zu Ihrem Dienst. Verwenden Sie eine durch Kommas getrennte Liste im folgenden Format:k1=v1,k2=v2,k3=v3
. Dataproc MetastoreAUXILIARY_VERSION
: Optional: Zusatzfunktion aktivieren Versionen. Weitere Informationen finden Sie unter Zusätzliche Versionen.
Skalierungseinstellungen:
INSTANCE_SIZE
: Optional für Dataproc Metastore 2: Instanzgröße des mehrregionalen Dataproc Metastores. Beispiel:small
,medium
oderlarge
. Wenn Sie einen Wert fürINSTANCE_SIZE
angeben, geben Sie keinen Wert fürSCALING_FACTOR
.SCALING_FACTOR
: Optional für Dataproc Metastore 2: der Skalierungsfaktor Ihres Dataproc Metastore-Dienstes. Beispiel:0.1
Wenn Sie Geben Sie einen Wert fürSCALING_FACTOR
an, aber keinen Wert fürINSTANCE_SIZE
Netzwerkeinstellungen:
NETWORK
: Der Name des VPC-Netzwerk, das wenn Sie eine Verbindung mit Ihrem Dienst herstellen. Wenn nicht festgelegt, wird der Wertdefault
verwendet.Wenn Sie ein VPC-Netzwerk verwenden, das zu einem anderen Projekt als Ihrem Dienst gehört, müssen Sie den gesamten relativen Ressourcennamen angeben. Beispiel:
projects/HOST_PROJECT/global/networks/NETWORK_ID
SUBNET1
,SUBNET2
: Optional: Eine Liste der Subnetzwerke, die auf deinen Dienst zugreifen können. Sie können die ID, die voll qualifizierte URL oder den relativen Namen des Subnetzwerks verwenden. Sie können bis zu 5 Unternetzwerke angeben.
Kerberos-Einstellungen:
KERBEROS_PRINCIPAL
: Optional: Ein Kerberos-Hauptkonto, das sowohl auf dem Keytab als auch im KDC vorhanden ist. Ein typisches Hauptkonto hat das Format „primary/instance@REALM“, aber es gibt kein genaues Format.KRB5_CONFIG
: Optional: Die Datei krb5.config gibt die KDC- und Kerberos-Echtzeitinformationen an, die Standorte von KDCs und Standardeinstellungen für den Bereich und die Kerberos-Anwendungen umfassen.CLOUD_SECRET
: Optional: Der relative Ressourcenname einer Secret-Version von Secret Manager.KMS_KEY
(optional): Bezieht sich auf die ID der Hauptressource.
Prüfen Sie, ob die Erstellung erfolgreich war.
REST
Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.
Hive-Metastore-Konfigurationsüberschreibung für Dataproc Metastore festlegen
Wenn sich Ihr Apache Hive-Warehouse-Verzeichnis in Cloud Storage befindet, sollten Sie eine Metastore-Konfigurationsüberschreibung. Durch diese Überschreibung wird Ihr benutzerdefiniertes Data Warehouse als Warehouse-Standardverzeichnis für Ihren Dataproc Metastore-Dienst.
Bevor Sie diese Überschreibung festlegen, muss Ihr Dataproc Metastore Der Dienst hat Lese- und Schreibberechtigungen für Objekte, um auf das Warehouse-Verzeichnis zuzugreifen. Weitere Informationen finden Sie unter Hive-Lagerverzeichnis.
In der folgenden Anleitung erfahren Sie, wie Sie eine Hive Metastore-Konfigurationsüberschreibung festlegen für einen neuen Dataproc Metastore-Dienst.
Console
Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:
Klicken Sie in der Navigationsleiste auf + Erstellen.
Geben Sie unter Metastore-Konfigurationsüberschreibungen die folgenden Werte ein:
- Schlüssel:
hive.metastore.warehouse.dir
. - Wert: Der Cloud Storage-Speicherort Ihres Warehouse-Verzeichnisses.
Beispiel:
gs://my-bucket/path/to/location
- Schlüssel:
Konfigurieren Sie die verbleibenden Dienstoptionen nach Bedarf oder verwenden Sie die Standardeinstellungen festlegen.
Klicken Sie auf Senden.
Kehren Sie zur Seite Dataproc Metastore zurück und Prüfen Sie, ob Ihr Dienst erfolgreich erstellt wurde.
gcloud-CLI
Führen Sie den folgenden
gcloud metastore services create
-Befehl aus, um einen Dataproc Metastore-Dienst mit einer Hive-Überschreibung zu erstellen:gcloud metastore services create SERVICE \ --location=LOCATION \ --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
Ersetzen Sie Folgendes:
SERVICE
: Der Name Ihres neuen Dataproc Metastore-DienstLOCATION
: Die Google Cloud-Region, in der Sie den Dataproc Metastore erstellen möchten. Sie können auch einen Standardstandort festlegen.CUSTOMER_DIR
: Der Cloud Storage-Speicherort Ihres Speicherverzeichnisses. Beispiel:gs://my-bucket/path/to/location
Prüfen Sie, ob die Erstellung erfolgreich war.
Dataproc Metastore mit Autoscaling erstellen
Dataproc Metastore 2 unterstützt Autoscaling. Wenn Sie das Autoscaling aktivieren, können Sie einen Mindest- und einen Höchstwert für den Skalierungsfaktor festlegen. Danach festgelegt ist, erhöht oder verringert Ihr Dienst den Skalierungsfaktor die zum Ausführen Ihrer Arbeitslasten erforderlich sind.
Hinweise zum Autoscaling
- Autoscaling und Skalierungsfaktoren schließen sich gegenseitig aus. Wenn Sie beispielsweise das Autoscaling aktivieren, können Sie keinen Skalierungsfaktor oder keine Größe manuell festlegen.
- Das Autoscaling ist nur für Dataproc Metastore-Instanzen mit einer einzelnen Region verfügbar.
- Wenn Autoscaling aktiviert ist, werden vorhandene Einstellungen für Skalierungsfaktoren gelöscht.
- Wenn Autoscaling deaktiviert ist, gilt Folgendes:
- Vorhandene Autoscaling-Einstellungen werden gelöscht.
- Der Skalierungsfaktor ist auf die letzte
autoscaling_factor
festgelegt, die für den Dienst konfiguriert wurde.
- Die Mindest- und Höchstfaktoren für das Autoscaling sind optional. Wenn sie nicht festgelegt sind, sind die Standardwerte
0.1
bzw.6
.
Wählen Sie einen der folgenden Tabs aus, um zu erfahren, wie Sie einen Dataproc Metastore erstellen Dienst 2 mit aktiviertem Autoscaling.
Console
Rufen Sie in der Google Cloud Console den Dataproc Metastore auf. Seite.
Klicken Sie in der Navigationsleiste auf + Erstellen.
Das Dialogfeld Metastore-Dienst erstellen wird geöffnet.
Wählen Sie Dataproc Metastore 2 aus.
Wählen Sie im Bereich Preise und Kapazität die Option Enterprise – einzelne Region aus.
Klicken Sie unter Instanzgröße auf Autoscaling aktivieren.
Wählen Sie unter Instanzgröße mit dem Schieberegler eine minimale und maximale Instanzgröße aus.
Klicken Sie auf Senden, um den Dienst zu erstellen und zu starten.
Der neue Metastore-Dienst wird auf der Seite Dataproc Metastore angezeigt. Der Status ist Wird erstellt, bis der Dienst einsatzbereit ist. Sobald sie fertig ist, ändert sich der Status in Aktiv. Die Bereitstellung des Dienstes kann einige Minuten dauern.
REST
curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID
Ersetzen Sie Folgendes:
MIN_INSTANCES
(Optional): Die Mindestanzahl von Instanzen die Sie in Ihrer Autoscaling-Konfiguration verwenden möchten. Wenn diese Werte nicht angegeben sind, wird der Standardwert0.1
verwendet.MAX_INSTANCES
Optional: Die maximale Anzahl von Instanzen die Sie in Ihrer Autoscaling-Konfiguration verwenden möchten. Wenn diese Werte nicht angegeben werden, wird der Standardwert6
verwendet.
Multiregionalen Dataproc Metastore-Dienst erstellen
Informationen zum Erstellen eines mehrregionalen Dataproc Metastore finden Sie unter Mehrere Regionen für einen Dataproc Metastore-Dienst verwenden.
Dataproc Metastore-Dienst mit freigegebene VPC erstellen
Mit einer freigegebene VPC können Sie Dataproc Metastore verbinden aus mehreren Projekten zu einem gemeinsamen VPC-Netzwerk.
Zum Erstellen eines Dataproc Metastore-Dienstes, der mit einer Freigegebene VPC (siehe Dienst mit erweiterten Einstellungen erstellen)
Hinweise
VPC-Netzwerke sind für Dataproc Metastore-Dienste, die mit dem gRPC-Endpunktprotokoll konfiguriert sind, nicht relevant.
Achten Sie bei Dataproc Metastore-Diensten, die mit dem Thrift-Endpunktprotokoll konfiguriert sind, darauf, dass der Dataproc Metastore-Dienst und der Dataproc-Cluster, dem er angehängt ist, dasselbe freigegebene VPC-Netzwerk verwenden.
Für Dataproc Metastore-Dienste, die mit dem Thrift-Endpunkt konfiguriert wurden und Private Service Connect haben, müssen Sie Subnetzwerke aus dem freigegebene VPC-Netzwerk.
Für freigegebene VPC-Netzwerke erforderliche IAM-Rollen
So erstellen Sie einen Dataproc Metastore-Dienst mit einer zugänglichen VPC
die zu einem anderen Projekt gehören,
Sie müssen dem Dienstprojekt des Dienstprojekts roles/metastore.serviceAgent
zuweisen
Dataproc Metastore-Dienst-Agent
(service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
)
in der IAM-Richtlinie des Netzwerkprojekts.
gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
--role "roles/metastore.serviceAgent" \
--member "serviceAccount:service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com"
Häufige Probleme beheben
Zu den häufigsten Problemen gehören:
VPC-Peering einschränken Legen Sie vor dem Erstellen eines Metastores keine Organisationsrichtlinien-Einschränkung für das VPC-Peering fest, da sonst die Metastore-Erstellung fehlschlägt. Weitere Informationen zum Festlegen der richtigen VPC-Konfigurationen Siehe Der Dienst kann aufgrund einer Einschränkung zur VPC-Einschränkung nicht erstellt werden Peering.
Probleme mit VPC-Netzwerken. Wenn Sie einen Metastore erstellen, sind im von Ihnen verwendeten VPC-Netzwerk möglicherweise keine RFC 1918-Adressen mehr verfügbar, die für Dataproc Metastore-Dienste erforderlich sind. Weitere Informationen zu Weitere Informationen zur Behebung dieses Problems finden Sie unter Zugewiesener IP-Bereich ist aufgebraucht werden.