Auf dieser Seite erfahren Sie, wie Sie eine verwaltete Migration von Dataproc Metastore starten und verwalten.
Sie können eine Migration mit den Dataproc Metastore APIs konfigurieren.
Hinweis
- Weitere Informationen zur verwalteten Migration
- Stellen Sie die Voraussetzungen für die verwaltete Migration her.
Migration starten
Wenn Sie eine Migration starten, stellt Dataproc Metastore eine Verbindung zu Cloud SQL her und verwendet Cloud SQL als Backend-Datenbank. Dabei führt Dataproc Metastore eine Pipeline aus, die Daten aus Cloud SQL in die eigene Datenbank (Spanner) kopiert.
Dataproc Metastore verwendet weiterhin Cloud SQL als Backend und repliziert Daten, bis der Prozess Vollständige Migration aufgerufen wird.
Bevor Sie mit einer Migration beginnen, müssen Sie die Voraussetzungen für die verwaltete Migration erfüllen.
Hinweise zum Starten der Migration
Für einen Dataproc Metastore-Dienst kann jeweils nur eine Migration ausgeführt werden.
Eine Migration bleibt aktiv, bis Sie den Migrationsprozess abgeschlossen haben. Es gibt keinen Termin, an dem die Migration abgeschlossen sein muss. Sie kann beispielsweise einen Tag, 30 Tage oder ein Jahr dauern.
Geplante Sicherungen sind während einer Migration nicht eingeschränkt. Das Back-up ist jedoch möglicherweise unvollständig. Deaktivieren Sie alle geplanten Sicherungen, während die Migration läuft, um Probleme zu vermeiden.
Wenn eine Migration gestartet wird, werden die folgenden Statusänderungen ausgelöst:
- Dataproc Metastore wechselt in den Status
MIGRATING. - Der Status der Migrationsausführung ändert sich zu
RUNNING. Die Phase der Migrationsausführung wechselt zu
REPLICATION.
Console
Jetzt starten
Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore:
Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, zu dem Sie migrieren möchten.
Die Seite Dienstdetails wird geöffnet.
Klicken Sie oben auf der Seite auf Daten migrieren.
Auf der Seite Migration erstellen wird der Tab Verbindung geöffnet und die Konfigurationseinstellungen für die Cloud SQL-Datenbankkonfiguration für Dataproc Metastore werden angezeigt.
Cloud SQL-Datenbankkonfiguration für DPMS
Geben Sie unter Name der Instanzverbindung den Namen der Instanzverbindung der Cloud SQL-Datenbank im folgenden Format ein:
project_id:region:instance_name.Geben Sie in das Feld IP-Adresse die IP-Adresse ein, die für die Verbindung zur Cloud SQL-Instanz erforderlich ist.
Geben Sie im Feld Port den Wert 3306 ein.
Geben Sie unter Hive-Datenbankname den Namen der Datenbank ein, die als Back-End des selbstverwalteten Hive-Metastores verwendet wird.
Geben Sie im Feld Nutzername den Nutzernamen ein, mit dem Sie Cloud SQL mit dem Hive-Metaspeicher verbinden.
Geben Sie im Feld Passwort das Passwort ein, mit dem Sie Cloud SQL mit dem Hive-Metaspeicher verbinden.
SOCKS5-Proxy-Dienst
Geben Sie im Feld Proxy-Subnetz ein Subnetz vom regulären Typ ein. Das Subnetzwerk sollte sich im Cloud SQL-VPC-Netzwerk befinden. Dieses Subnetz wird zum Bereitstellen des Zwischen-SOCKS5-Proxy-Dienstes verwendet.
Geben Sie im Feld Nat-Subnetz ein Subnetz vom Typ „Private Service Connect“ ein. Dieses Unternetzwerk sollte im Cloud SQL-VPC-Netzwerk vorhanden sein und wird verwendet, um den SOCKS5-Proxydienst mit Private Service Connect zu veröffentlichen.
Klicken Sie auf Weiter.
Der Tab Change Data Capture (CDC) (Änderungsdatenerfassung) wird geöffnet und die Konfigurationseinstellungen für die Cloud SQL-Datenbankkonfiguration für Datastream werden angezeigt.
Cloud SQL-Datenbankkonfiguration für Datastream
Geben Sie im Feld Nutzername den Nutzernamen ein, mit dem Sie sich in der Cloud SQL-CDC anmelden, die von Datastream verwendet wird.
Geben Sie im Feld Passwort das Passwort ein, mit dem Sie sich bei der von Datastream verwendeten Cloud SQL-CDC anmelden.
Geben Sie im Feld VPC-Netzwerk dasselbe VPC-Netzwerk wie die Cloud SQL-Instanz ein, die von Datastream verwendet wird, um eine private Verbindung zum CDC herzustellen.
Geben Sie im Feld Subnetz-IP-Bereich einen Subnetz-IP-Bereich mit mindestens
/29ein. Datastream verwendet diese IP, um eine Peering-Verbindung zum VPC-Netzwerk herzustellen.Geben Sie im Feld Reverse-Proxy-Subnetz das Subnetz ein, das Sie im selben VPC-Netzwerk wie Cloud SQL erstellt haben. Datastream verwendet dieses Subnetz. Das Subnetzwerk wird verwendet, um eine Reverse-Proxy-Verbindung für den Datastream-CDC zu hosten. Das Subnetz muss in derselben Region wie der Dataproc Metastore-Dienst konfiguriert sein.
GCS-Konfiguration
Wählen Sie für die Bucket-ID den Cloud Storage-Pfad aus, unter dem CDC-Daten während der Migration gespeichert werden sollen.
Geben Sie im Feld Stammpfad den Stammpfad im Cloud Storage-Bucket ein. Die Ereignisdaten des Streams werden in diesen Pfad geschrieben.
Klicken Sie auf Erstellen.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type:application/json" \
-X POST -d \
'{
"migration_execution": {
"cloud_sql_migration_config": {
"cloud_sql_connection_config": {
"instance_connection_name": INSTANCE_CONNECTION_NAME,
"hive_database_name": "HIVE_DATABASE_NAME",
"ip_address": "IP_ADDRESS",
"port": 3306,
"username": "CONNECTION_USERNAME",
"password": "CONNECTION_PASSWORD",
"proxy_subnet": "PROXY_SUBNET",
"nat_subnet": "NAT_SUBNET"
},
"cdc_config": {
"username": "CDC_USENAME",
"password": "CDC_PASSWORD",
"vpc_network": "VPC_NETWORK",
"subnet_ip_range": "SUBNET_IP_RANGE",
"reverse_proxy_subnet": "REVERSE_PROXY_SUBNET_ID",
"bucket": "BUCKET_NAME",
"root_path": "ROOT_PATH",
}
}
}
}' \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:startMigration
Ersetzen Sie Folgendes:
SERVICE: der Name oder die ID Ihres Dataproc Metastore-Dienstes.PROJECT_ID: die Projekt-ID des Google CloudProjektes, in dem sich Ihr Dataproc Metastore-Dienst befindet.LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
Cloud SQL-Migrationskonfiguration
INSTANCE_CONNECTION_NAME: Der Name der Instanzverbindung für die Cloud SQL-Datenbank im folgenden Format:PROJECT_ID/LOCATION/CLOUDSQL_INSTANCE_ID.HIVE_DATABASE_NAME: Der Name der selbst verwalteten Hive-Datenbank, die mit Cloud SQL verbunden ist.IP_ADDRESS: Die IP-Adresse, die für die Verbindung zur Cloud SQL-Instanz erforderlich ist.CONNECTION_USERNAME: Der Nutzername, mit dem Sie Cloud SQL mit dem Hive Metastore verbinden.CONNECTION_PASSWORDdas Passwort, mit dem Sie Cloud SQL mit dem Hive-Metaspeicher verbindenPROXY_SUBNET: das Subnetz, das im Cloud SQL-VPC-Netzwerk verwendet wird. Dieses Unternetzwerk beherbergt einen Zwischenproxy, um eine Verbindung über transitive Netzwerke hinweg bereitzustellen.NAT_SUBNET: ein Private Service Connect-Subnetz, das eine Verbindung vom Dataproc Metastore-Dienst zum Zwischenproxy herstellt. Die Prefix-Länge der Subnetzgröße sollte mindestens /29 betragen und im IPv4-Bereich liegen.
CDC-Konfiguration
CDC_USERNAME: Der Nutzername, mit dem sich der Datastream-Dienst in Cloud SQL anmeldet.CDC_PASSWORD: das Passwort, mit dem sich der Datastream-Dienst in Cloud SQL anmeldet.VPC_NETWORK: ein Netzwerk im selben VPC-Netzwerk wie die Cloud SQL-Instanz, die von Datastream verwendet wird, um eine private Verbindung zum CDC herzustellen.SUBNET_IP_RANGE: Ein Subnetz-IP-Bereich von mindestens /29, der von Datastream verwendet wird, um eine Peering-Verbindung zum VPC-Netzwerk herzustellen.REVERSE_PROXY_SUBNET_ID: ein Unternetzwerk im selben VPC-Netzwerk wie die von Datastream verwendete Cloud SQL-Instanz. Das Subnetzwerk wird verwendet, um eine Reverse-Proxy-Verbindung für den Datastream-CDC zu hosten. Das Subnetz muss in derselben Region wie der Dataproc Metastore-Dienst konfiguriert sein.BUCKET_NAME: Der Cloud Storage-Pfad zum Speichern von CDC-Daten während der Migration.ROOT_PATH: Der Stammpfad im Cloud Storage-Bucket. Die Ereignisdaten des Streams werden in diesen Pfad geschrieben.
Migration abschließen
Wenn Sie eine Migration abgeschlossen haben, stellt Dataproc Metastore eine Verbindung zu Spanner her und verwendet Spanner als Backend-Datenbank.
Eine vollständige Migration löst die folgenden Statusänderungen aus:
- Dataproc Metastore wechselt zurück zum Status
ACTIVE. Der Status der Migrationsausführung ändert sich zu
SUCCEEDED.
Console
Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
Klicken Sie oben auf der Seite auf Daten migrieren.
Die Seite Daten migrieren wird geöffnet. Dort werden Ihre abgeschlossenen verwalteten Migrationen angezeigt.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type:application/json" \
-X POST -d '' \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:completeMigration
Ersetzen Sie Folgendes:
SERVICE: der Name oder die ID Ihres Dataproc Metastore-Dienstes.PROJECT_ID: die Projekt-ID des Google CloudProjektes, in dem sich Ihr Dataproc Metastore-Dienst befindet.LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
Migration abbrechen
Wenn Sie eine Migration abbrechen, werden alle Änderungen in Dataproc Metastore rückgängig gemacht und der Spanner-Datenbanktyp wird als Backend-Datenbank verwendet. Alle Daten, die während der Migration übertragen wurden, werden gelöscht.
Wenn Sie eine Migration abbrechen, werden die folgenden Statusänderungen ausgelöst:
- Dataproc Metastore wechselt zurück zum Status
ACTIVE. Der Status der Migrationsausführung ändert sich zu
CANCELLED.
Console
Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
Klicken Sie oben auf der Seite auf Daten migrieren.
Die Seite Daten migrieren wird geöffnet und zeigt Ihre abgebrochenen verwalteten Migrationen an.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type:application/json" \
-X POST -d '' \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:cancelMigration
Ersetzen Sie Folgendes:
SERVICE_NAME: der Name oder die ID Ihres Dataproc Metastore-Dienstes.PROJECT_ID: die Projekt-ID des Google CloudProjektes, in dem sich Ihr Dataproc Metastore-Dienst befindet.LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
Migrationsdetails abrufen
Details zu einer einzelnen verwalteten Migration abrufen
Console
Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
Klicken Sie oben auf der Seite auf Daten migrieren.
Die Seite Daten migrieren wird geöffnet und enthält Ihre verwalteten Migrationen.
Klicken Sie auf den Namen einer verwalteten Migration, um weitere Migrationsdetails aufzurufen.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-X GET \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE/migrationExecutions/MIGRATION_ID
Ersetzen Sie Folgendes:
SERVICE: der Name oder die ID Ihres Dataproc Metastore-Dienstes.PROJECT_ID: die Projekt-ID des Google CloudProjektes, in dem sich Ihr Dataproc Metastore-Dienst befindet.LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.MIGRATION_ID: der Name oder die ID Ihrer Dataproc Metastore-Migration.
Migrationen auflisten
Verwaltete Migrationen auflisten
Console
Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
Klicken Sie oben auf der Seite auf Daten migrieren.
Die Seite Daten migrieren wird geöffnet und enthält Ihre verwalteten Migrationen.
Prüfen Sie, ob die Migrationen im Befehl aufgeführt sind.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-X GET \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE/migrationExecutions/MIGRATION_ID
Ersetzen Sie Folgendes:
SERVICE: der Name oder die ID Ihres Dataproc Metastore-Dienstes.PROJECT_ID: die Projekt-ID des Google CloudProjektes, in dem sich Ihr Dataproc Metastore-Dienst befindet.LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
Migrationen löschen
Verwaltete Migrationen löschen
Console
Öffnen Sie in der Google Cloud Console die Seite Dataproc Metastore.
Klicken Sie oben auf der Seite auf Daten migrieren.
Die Seite Daten migrieren wird geöffnet und enthält Ihre verwalteten Migrationen.
Wählen Sie die Migration aus und klicken Sie auf Löschen.
REST
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-X DELETE \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE/migrationExecutions/MIGRATION_ID
Ersetzen Sie Folgendes:
SERVICE: der Name oder die ID Ihres Dataproc Metastore-Dienstes.PROJECT_ID: die Projekt-ID des Google CloudProjektes, in dem sich Ihr Dataproc Metastore-Dienst befindet.LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.MIGRATION_ID: der Name oder die ID der Dataproc Metastore-Migration.