Wenn Sie einen Dataproc Metastore-Dienst erstellen, müssen Sie entweder den MySQL-Datenbanktyp oder den Spanner-Datenbanktyp verwenden.
Diese Auswahl wirkt sich auf die Features aus, die Sie in Ihren Dataproc Metastore-Dienst einbinden und verwenden können. Wichtig: Sie können den Datenbanktyp nicht mehr aktualisieren, nachdem Sie einen Dataproc Metastore-Dienst erstellt haben. Achten Sie darauf, dass Sie den richtigen Datenbanktyp für Ihre Anforderungen auswählen.
Auf dieser Seite werden die Unterschiede zwischen diesen Datenbanktypen erläutert und es wird erläutert, wie Sie einen Datenbanktyp für Ihren Dienst auswählen.
Unterschiede zwischen MySQL und Spanner
MySQL
Der MySQL-Datenbanktyp von Dataproc Metastore ist eine Implementierung von Cloud SQL. Beachten Sie bei Verwendung einer MySQL-Datenbank Folgendes:
- MySQL ist beim Erstellen eines Dataproc Metastores der Standarddatenbanktyp.
- MySQL wird von allen Hive-Versionen unterstützt.
- MySQL unterstützt alle Dataproc Metastore-Features.
- MySQL unterstützt die Verschlüsselung mit Dataproc Metastore, z. B. die Verwendung von vom Kunden verwalteten Verschlüsselungsschlüsseln (CMEK).
Spanner
Der Spanner-Datenbanktyp in Dataproc Metastore ist eine Implementierung von Spanner. Beachten Sie bei der Verwendung einer Spanner-Datenbank Folgendes:
- Spanner wird nur in den Hive-Versionen 2.3.6 und 3.1.2 unterstützt.
- Spanner unterstützt nur Avro-Importe.
Weitere Informationen
In der folgenden Tabelle finden Sie weitere Informationen zu den Unterschieden.
MySQL | Spanner | |
---|---|---|
Zuverlässigkeit (Verfügbarkeit) | Cloud SQL-SLO 99,95%* | Spanner-SLO 99,99%* |
Wartungsfenster | Erforderlich | Nicht erforderlich |
Hinweise:
- *Die Cloud SQL- und Spanner-SLOs werden nicht direkt in Dataproc Metastore-SLOs übersetzt. Dataproc Metastore Die Auswahl des Datenbanktyps wirkt sich nicht auf die Dataproc Metastore-SLOs aus.
- Es gibt keinen Preisunterschied zwischen den beiden Datenbanktypen.
Hinweise
- Aktivieren Sie Dataproc Metastore in Ihrem Projekt.
- Machen Sie sich mit den Netzwerkanforderungen vertraut, die für Ihr Projekt spezifisch sind.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt gemäß dem Prinzip der geringsten Berechtigung zu gewähren, um die Berechtigung zu erhalten, die Sie zum Erstellen eines Dataproc Metastores benötigen:
-
Uneingeschränkte Kontrolle über Dataproc Metastore-Ressourcen gewähren (
roles/metastore.editor
) -
Uneingeschränkten Zugriff auf alle Dataproc Metastore-Ressourcen gewähren, einschließlich Verwaltung von IAM-Richtlinien (
roles/metastore.admin
)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.
Diese vordefinierte Rolle enthält die Berechtigung metastore.services.create
, die zum Erstellen eines Dataproc Metastores erforderlich ist.
Möglicherweise können Sie diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Dataproc-Zugriff mit IAM verwalten.Datenbanktyp auswählen
Sie wählen den Datenbanktyp beim Erstellen eines Dataproc Metastore-Dienstes aus.
Das folgende Beispiel zeigt eine abgekürzte Version der Schritte, mit denen Sie einen Datenbanktyp auswählen. Eine vollständige Schritt-für-Schritt-Anleitung finden Sie unter Dataproc Metastore-Dienst erstellen.
Console
Öffnen Sie in der Google Cloud Console die Dataproc Metastore-Seite:
Klicken Sie in der Navigationsleiste auf Erstellen.
Die Seite Dienst erstellen wird geöffnet.
Wählen Sie als Datenbanktyp entweder MySQL oder Spanner aus.
MySQL ist der Standarddatenbanktyp.
Wählen Sie nach Bedarf die verbleibenden Konfigurationen für Ihren Dienst aus.
Klicken Sie auf Senden.
gcloud-CLI
Führen Sie dazu den Befehl
gcloud metastore services create
aus.gcloud metastore services create SERVICE_ID \ --location=LOCATION \ --database-type=DATABASE_TYPE; default="mysql"
Ersetzen Sie Folgendes:
SERVICE_ID
: der Name oder die ID für Ihren Dataproc Metastore-Dienst.LOCATION
: die Region, in der sich der Dataproc Metastore-Dienst befindet.DATABASE_TYPE
: der Datenbanktyp, den Sie für den Dataproc Metastore-Dienst festlegen möchten. Zulässige Werte sindmysql
undspanner
. Der Standardwert istmysql
.