Amazon Redshift-Daten mit VPC migrieren

Übersicht

In diesem Dokument wird erläutert, wie Daten mithilfe eines VPC-Netzwerks (Virtual Private Cloud) von Amazon Redshift zu BigQuery migriert werden.

Wenn Sie Daten von Ihrer Redshift-Instanz über öffentliche IP-Adressen übertragen möchten, können Sie Ihre Redshift-Daten mit dieser Anleitung zu BigQuery migrieren.

Wenn Sie eine private Amazon Redshift-Instanz in AWS haben, können Sie diese Daten mit VPC-Peering in BigQuery migrieren. Wenn Sie dieses Feature aktivieren möchten, geben Sie die VPC und den reservierten IP-Bereich beim Einrichten der Migration an.

Sie müssen ein virtuelles privates Netzwerk (VPN) zwischen dem Amazon Redshift-VPC-Netzwerk und dem Google Cloud VPC-Netzwerk einrichten.
Über das VPN löst der in der Google Cloud-VPC ausgeführte Migrations-Agent einen Entladevorgang von Amazon Redshift zu einem Staging-Bereich in einem Amazon S3-Bucket aus.
Anschließend überträgt BigQuery Data Transfer Service Ihre Daten aus dem Amazon S3-Bucket nach BigQuery.

Das folgende Diagramm zeigt die VPC-Kommunikation und den Datenfluss zwischen einer privaten Amazon Redshift-Instanz und BigQuery während einer Migration.

Vorbereitung

In diesem Abschnitt wird die schrittweise Einrichtung einer Datenmigration von einer privaten Amazon Redshift-Instanz nach BigQuery beschrieben. Folgende Schritte sind auszuführen:

Google Cloud-Anforderungen: So erfüllen Sie die Voraussetzungen und legen Berechtigungen für Google Cloud fest.
Einrichten eines VPN zwischen Google Cloud und Amazon Redshift.
Erlauben Sie den Zugriff auf Ihren Amazon Redshift-Cluster.
Erlauben Sie den Zugriff auf Ihren Amazon S3-Bucket, in dem Sie Daten vorübergehend zwischenspeichern. Notieren Sie das Schlüsselpaar, da Sie es in einem späteren Schritt benötigen.
Richten Sie die Migration mit BigQuery Data Transfer Service ein. Folgendes wird benötigt:
- Die VPC und der reservierte IP-Bereich in Amazon Redshift.
- Die Amazon Redshift-JDBC-URL. Folgen Sie diesen Anweisungen zum Abrufen der JDBC-URL.
- Den Nutzernamen und das Passwort Ihrer Amazon Redshift-Datenbank.
- Das AWS-Zugriffsschlüsselpaar, das Sie durch diesen Schritt erhalten: Zugriff auf S3-Bucket erlauben.
- Der URI des Amazon S3-Buckets. Wir empfehlen, für diesen Bucket eine Lebenszyklusrichtlinie einzurichten, um unnötige Gebühren zu vermeiden. Die empfohlene Ablaufzeit beträgt 24 Stunden, damit genügend Zeit vorhanden ist, um alle Daten nach BigQuery zu übertragen.

Erforderliche Berechtigungen

Bevor Sie eine Amazon Redshift-Übertragung erstellen:

Sorgen Sie dafür, dass die Person, die die Übertragung erstellt, die folgenden Berechtigungen in BigQuery hat:
- bigquery.transfers.update-Berechtigungen zum Erstellen der Übertragung
- bigquery.datasets.update-Berechtigungen für das Ziel-Dataset
Die vordefinierte IAM-Rolle bigquery.admin enthält Berechtigungen vom Typ bigquery.transfers.update und bigquery.datasets.update. Weitere Informationen zu IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.
Prüfen Sie anhand der Dokumentation zu Amazon S3, ob Sie alle erforderlichen Berechtigungen zum Aktivieren der Übertragung konfiguriert haben. Auf die Amazon S3-Quelldaten muss mindestens die AWS-Verwaltungsrichtlinie AmazonS3ReadOnlyAccess angewendet werden.
Zum Erstellen von VPC-Peering verwendet der Dienst die Google Cloud-Nutzeranmeldedaten der jeweiligen Einrichtung. Sorgen Sie dafür, dass die Person, die die Übertragung erstellt, die erforderlichen Berechtigungen zum Erstellen der VPC-Peering-Verbindung hat. Dazu erteilen Sie die entsprechenden IAM-Berechtigungen zum Erstellen und Löschen von VPC-Netzwerk-Peering.

Berechtigungen zum Erstellen von VPC-Peering: compute.networks.addPeering
- Berechtigungen zum Löschen von VPC-Peering: compute.networks.removePeering
Die vordefinierten IAM-Rollen project.owner, project.editor und network.admin enthalten standardmäßig die Berechtigungen compute.networks.addPeering und compute.networks.removePeering.

Google Cloud-Anforderungen

Befolgen Sie die Standardanleitung für Amazon Redshift-Migrationen, um die Google Cloud-Anforderungen zu erfüllen.

VPN einrichten

Richten Sie ein Google Cloud VPC-Netzwerk in Ihrem Google Cloud-Projekt ein.
VPN einrichten. Folgen Sie der Anleitung in dieser Anleitung, um ein VPN zwischen dem VPC-Netzwerk Ihres Google Cloud-Projekts und der Amazon Redshift-VPC einzurichten. Achtung: Der Dienst verwendet den Namen Ihres VPC-Netzwerks als VPC-Peering-Verbindungsnamen. Achten Sie daher darauf, dass dieser Name nicht bereits für VPC-Peering verwendet wird.
Erteilen Sie Berechtigungen für VPC-Peering in Google Cloud. Prüfen Sie, ob Sie die erforderlichen Berechtigungen zum Erstellen der VPC-Peering-Verbindung haben. Siehe Erforderliche Berechtigungen.
Bevor Sie fortfahren können, muss Ihr Google Cloud VPC-Netzwerk in Ihrem Google Cloud-Projekt vorhanden sein und bereits über VPN mit Redshift verbunden sein.

Zugriff auf Amazon Redshift-Cluster erlauben

Befolgen Sie die Anleitung von Amazon, um die IP-Bereiche Ihres privaten Amazon Redshift-Clusters auf die Zulassungsliste zu setzen. Wenn Sie in einem späteren Schritt die Übertragung einrichten, definieren Sie den privaten IP-Bereich in diesem VPC-Netzwerk.

Zugriff auf Amazon S3-Bucket erlauben

Befolgen Sie die Standardanleitung für Amazon Redshift-Migrationen, um Zugriff auf Ihren Amazon S3-Bucket zu gewähren.

Optional: Arbeitslaststeuerung durch separate Migrationswarteschlange

Sie können eine Amazon Redshift-Warteschlange für Migrationszwecke definieren, um die für die Migration verwendeten Ressourcen zu begrenzen und zu trennen. Diese Migrationswarteschlange kann mit einer maximalen Anzahl gleichzeitiger Abfragen konfiguriert werden. Anschließend können Sie der Warteschlange eine bestimmte Migrationsnutzergruppe zuordnen und diese Anmeldedaten verwenden, wenn Sie die Migration zur Übertragung von Daten nach BigQuery einrichten. Der Transfer Service hat so nur Zugriff auf die Migrationswarteschlange.

Amazon Redshift-Übertragung einrichten

Befolgen Sie die Standardanleitung für Amazon Redshift-Migrationen, um eine Amazon Redshift-Übertragung einzurichten, mit dem folgenden Unterschied für private Amazon Redshift-Instanzen:

Im Feld der Übertragungseinrichtung für die JDBC-Verbindungs-URL geben Sie die VPC und das reservierte IP-Bereichsfeld der privaten Amazon Redshift-Instanz ein.
Wenn Sie diese nicht angeben, wird die Übertragungskonfiguration auf eine Amazon Redshift-Standardmigration zurückgesetzt.

So geben Sie die VPC und den reservierten IP-Bereich ein:

Geben Sie im Feld "VPC und reservierter IP-Bereich" Ihren VPC-Netzwerknamen und den erwarteten privaten IP-Bereich als CIDR-Block für die Bereitstellung der Migrationsinfrastruktur an.
- Das Format ist VPC_network_name:CIDR, z. B.: my_vpc:10.251.1.0/24.
- Verwenden Sie Standardadressbereiche für private VPC-Netzwerke in der CIDR-Notation, beginnend mit 10.x.x.x.
- Der private IP-Bereich dient zur Bereitstellung der Migrationsinfrastruktur. Stellen Sie daher Folgendes sicher:
  - Der IP-Bereich ist groß genug (enthält mehr als 10 IP-Adressen).
  - Der IP-Bereich überschneidet sich nicht mit einem Subnetz in Ihrem Google Cloud VPC-Netzwerk oder dem Amazon Redshift VPC-Netzwerk.
- Wenn Sie mehrere Übertragungen für dieselbe Amazon Redshift-Instanz konfiguriert haben, stellen Sie sicher, dass Sie jeweils denselben VPC_network_name:CIDR-Wert verwenden, damit mehrere Übertragungen dieselbe Migrationsinfrastruktur wiederverwenden können.

Kontingente und Limits

Durch die Migration privater Amazon Redshift-Instanzen mit VPC werden Migrations-Agents auf einer einzelnen Mandanteninfrastruktur ausgeführt. Aufgrund von Ressourcenbeschränkungen sind höchstens 5 gleichzeitige Übertragungen zulässig.

Es gelten die gleichen Kontingente und Grenzwerte wie für Standardmigrationen von Amazon Redshift.

Nächste Schritte

Erfahren Sie mehr über Amazon Redshift-Standardmigrationen.
Mehr zum BigQuery Data Transfer Service