Von AWS zu Google Cloud migrieren: Von Amazon S3 zu Cloud Storage migrieren

Last reviewed 2023-05-19 UTC

Google Cloud bietet Tools, Produkte, Anleitungen und professionelle Dienste für die Migration von Daten von Amazon Simple Storage Service (Amazon S3) zu Cloud Storage. In diesem Dokument wird beschrieben, wie Sie einen Plan für die Migration von Amazon S3 zu Cloud Storage entwerfen, implementieren und validieren. Das Dokument beschreibt einen Teil des Migrationsprozesses, in dem Sie ein Inventar von Amazon S3-Artefakten erstellen und einen Plan für den Umgang mit dem Migrationsprozess erstellen.

Die Diskussion in diesem Dokument richtet sich an Cloud-Administratoren, die Details zum Planen und Implementieren eines Migrationsprozesses wünschen. Sie richtet sich auch an Entscheidungsträger, die eine Möglichkeit zur Migration in Betracht ziehen und sich ansehen möchten, wie die Migration aussehen könnte.

Dieses Dokument ist Teil einer mehrteiligen Reihe zur Migration von AWS zu Google Cloud, die folgende Dokumente enthält:

In dieser Reihe wird davon ausgegangen, dass Sie die folgenden Dokumente gelesen haben und mit ihnen vertraut sind:

Die folgende Grafik veranschaulicht den Migrationspfad: In Migrationsszenarien entspricht die Bereitstellungsphase dem Durchführen eines Migrationsprozesses.

Migrationspfad mit vier Phasen

Die Migration von Amazon S3 zu Cloud Storage erfolgt in einer Folge von Iterationen. Sie können z. B. einige Daten und Arbeitslasten zuerst und andere später migrieren. Für jede separate Migrationsiteration folgen Sie den Phasen des allgemeinen Migrations-Frameworks:

  1. Arbeitslasten und Daten bewerten und erkennen.
  2. Grundlage in Google Cloud planen und erstellen.
  3. Arbeitslasten und Daten zu Google Cloud migrieren.
  4. Google Cloud-Umgebung optimieren.

Weitere Informationen zu den Phasen dieses Frameworks finden Sie unter Zu Google Cloud migrieren: Erste Schritte.

Quellumgebung bewerten

In der Bewertungsphase bestimmen Sie die Anforderungen und Abhängigkeiten der Ressourcen, die Sie von Amazon S3 zu Cloud Storage migrieren möchten.

Die Bewertungsphase umfasst die folgenden Aufgaben:

  1. Umfassendes Inventar Ihrer Arbeitslasten und Daten erstellen.
  2. Arbeitslasten und Daten entsprechend ihren Attributen und Abhängigkeiten katalogisieren.
  3. Teams auf Google Cloud vorbereiten.
  4. Tests und Proofs of Concept in Google Cloud erstellen.
  5. Die Gesamtbetriebskosten (TCO) der Zielumgebung berechnen.
  6. Reihenfolge und Priorität der Arbeitslasten festlegen, die Sie migrieren möchten.

Weitere Informationen zur Bewertungsphase und zu diesen Aufgaben finden Sie unter Zu Google Cloud migrieren: Arbeitslasten bewerten und erkennen. Die folgenden Abschnitte basieren auf Informationen in jenem Dokument.

Inventar Ihrer Amazon S3-Buckets erstellen

Zur Bestimmung des Umfangs der Migration erstellen Sie zwei Inventare: ein Inventar Ihrer Amazon S3-Buckets und ein Inventar der Objekte, die in den Buckets gespeichert sind.

Zum Erstellen des Inventars Ihrer Amazon S3-Buckets empfehlen wir die Verwendung des Migrationscenters, der einheitlichen Plattform von Google Cloud, mit der Sie Ihren End-to-End-Cloud-Prozess beschleunigen können. aus Ihrer aktuellen Umgebung in Google Cloud migrieren. Mit dem Migrationscenter können Sie Daten aus Amazon S3 und anderen AWS-Ressourcen importieren. Das Migration Center empfiehlt dann relevante Google Cloud-Dienste, zu denen Sie migrieren können.

Nachdem Sie das Inventar Ihrer Amazon S3-Buckets erstellt haben, optimieren Sie das Inventar unter Berücksichtigung der folgenden Datenpunkte für jeden Amazon S3-Bucket:

  • Wie die serverseitige Verschlüsselung in Amazon S3-Buckets konfiguriert ist.
  • Ihre Einstellungen für die Identitäts- und Zugriffsverwaltung für Amazon S3-Buckets.
  • Die Konfiguration für S3-Blockierung des öffentlichen Zugriffs.
  • Alle Kostenzuweisung-Tags für Amazon S3-Buckets.
  • Die Konfiguration für S3-Objektsperre.
  • Wie Sie auf den Amazon S3-Bucket zugreifen.
  • Wie "Anforderer bezahlt" konfiguriert ist.
  • Die Einstellungen für die Amazon S3-Objektversionsverwaltung.
  • Die Konfiguration für AWS-Sicherungsrichtlinien für Amazon S3.
  • Ob Sie Amazon S3 Intelligent-Tiering verwenden.
  • Wie die Amazon S3-Objektreplikation konfiguriert ist.
  • Der Amazon S3-Objektlebenszyklus.

Außerdem empfehlen wir, Daten zu Ihren Amazon S3-Buckets zu erfassen, mit denen Sie zusammengefasste Statistiken zu den Objekten berechnen können, die in den einzelnen Buckets enthalten sind. Wenn Sie beispielsweise die Gesamtgröße der Objekte, die durchschnittliche Objektgröße und die Anzahl der Objekte erfassen, können Sie die erforderliche Zeit und die Kosten für die Migration abschätzen, die für die Migration von einem Amazon S3-Bucket zu einem Cloud Storage-Bucket erforderlich sind.

Um diese Datenpunkte zu Ihren Amazon S3-Buckets zu erfassen, können Sie Datenerfassungsmechanismen und -prozesse implementieren, die auf AWS-Tools wie den folgenden beruhen:

  • Amazon S3-Monitoring-Tools
  • S3 Analytics
  • AWS-APIs
  • AWS-Entwicklertools
  • AWS-Befehlszeile

Um Probleme während der Migration zu vermeiden und den für die Migration erforderlichen Aufwand zu schätzen, empfehlen wir Ihnen zu prüfen, wie Amazon S3-Bucket-Features ähnlichen Cloud Storage-Bucket-Features entsprechen. Diese Entsprechungen werden in der folgenden Tabelle zusammengefasst.

Amazon S3-Feature Cloud Storage-Feature
Bucket-Benennungsregeln Anforderungen für Bucket-Namen
Bucket-Standort Bucket-Standort
Serverseitige Verschlüsselung Verschlüsselungsoptionen
Identitäts- und Zugriffsverwaltung Identitäts- und Zugriffsverwaltung
Öffentlicher Zugriff Öffentlicher Datenzugriff
Verhinderung des öffentlichen Zugriffs
S3-Bucket-Tags für die Kostenzuweisung Tags und Labels
S3-Objektsperre Aufbewahrungsrichtlinien und Aufbewahrungsrichtliniensperre
Methoden für den Zugriff auf einen Amazon S3-Bucket Uploads und Downloads
Anforderer bezahlt Anforderer bezahlt
Objektversionsverwaltung Objektversionsverwaltung
AWS-Sicherungsrichtlinien für Amazon S3 Ereignisgesteuerte Übertragungsjobs
Intelligent-Tiering Autoclass
Objektreplikation Biregionale Replikation
Turboreplikation
Ereignisgesteuerte Übertragungsjobs
Objektlebenszyklus Verwaltung des Objektlebenszyklus

Wie bereits erwähnt, können die in der vorherigen Tabelle aufgeführten Features beim Vergleich ähnlich aussehen. Die Unterschiede beim Design und bei der Implementierung der Features bei den beiden Cloud-Anbietern können sich jedoch erheblich auf die Migration von Amazon S3 zu Cloud Storage auswirken.

Inventar der in den Amazon S3-Objekten gespeicherten Objekte erstellen

Nachdem Sie das Inventar Ihrer Amazon S3-Buckets erstellt haben, empfehlen wir Ihnen, mit dem Amazon S3-Inventartool ein Inventar der in diesen Buckets gespeicherten Objekte zu erstellen.

Wenn Sie das Inventar Ihrer Amazon S3-Objekte erstellen möchten, sollten Sie für jedes Objekt Folgendes berücksichtigen:

  • Amazon S3-Objektname
  • Amazon S3-Objektgröße
  • Metadaten von Amazon S3-Objekten
  • Unterressourcen von Amazon S3-Objekten
  • Amazon S3-Objektversionen und ob Sie diese Versionen migrieren müssen
  • Vorsignierte URLs von Amazon S3-Objekten
  • Amazon S3-Objekttransformationen
  • Amazon S3-Objekt-Tags
  • Amazon S3-Objektspeicherklassen
  • Amazon S3-Objektarchivierung

Wir empfehlen außerdem, Daten zu Ihren Amazon S3-Objekten zu erfassen, um zu ermitteln, wie oft Sie und Ihre Arbeitslasten Amazon S3-Objekte erstellen, aktualisieren und löschen.

Um Probleme während der Migration zu vermeiden und den für die Migration erforderlichen Aufwand zu schätzen, empfehlen wir Ihnen zu prüfen, wie Amazon S3-Objekt-Features ähnlichen Cloud Storage-Objekt-Features entsprechen. Diese Entsprechungen werden in der folgenden Tabelle zusammengefasst.

Amazon S3-Feature Cloud Storage-Feature
Benennungsregeln für Objekte Anforderungen an Objektnamen
Objektmetadaten
Objekt-Tags		 Objektmetadaten
Objektunterressourcen Objektmetadaten
Vorsignierte Objekt-URLs Signierte URLs
Objekttransformationen Pub/Sub-Benachrichtigungen für Cloud Storage
Cloud Functions
Cloud Run
Objektspeicherklassen
Objektarchivierung		 Cloud Storage-Speicherklassen

Wie bereits erwähnt, können die in der vorherigen Tabelle aufgeführten Features beim Vergleich ähnlich aussehen. Die Unterschiede beim Design und bei der Implementierung der Features bei den beiden Cloud-Anbietern können sich jedoch erheblich auf die Migration von Amazon S3 zu Cloud Storage auswirken.

Bewertung abschließen

Nachdem Sie das Inventar aus Ihrer Amazon S3-Umgebung erstellt haben, schließen Sie die restlichen Aktivitäten der Bewertungsphase ab, wie unter Zu Google Cloud migrieren: Arbeitslasten bewerten und erkennen beschrieben.

Grundlage planen und erstellen

Die Planungs- und Erstellungsphase der Migration zu Google Cloud umfasst die folgenden Aufgaben:

  1. Erstellen Sie eine Ressourcenhierarchie.
  2. Konfigurieren Sie die Identitäts- und Zugriffsverwaltung.
  3. Richten Sie die Abrechnung ein.
  4. Richten Sie die Netzwerkverbindung ein.
  5. Erhöhen Sie die Sicherheit.
  6. Logging, Monitoring und Benachrichtigungen einrichten

Weitere Informationen zu den einzelnen Aufgaben finden Sie unter Zu Google Cloud migrieren: Grundlage erstellen.

Daten und Arbeitslasten von Amazon S3 zu Cloud Storage migrieren

Für die Migration von Daten von Amazon S3 zu Cloud Storage empfehlen wir, einen Datenmigrationsplan zu erstellen. Folgen Sie dazu der Anleitung unter Zu Google Cloud migrieren: Große Datasets übertragen. In diesem Dokument wird die Verwendung von Storage Transfer Service empfohlen, einem Google Cloud-Produkt, mit dem Sie Daten aus mehreren Quellen zu Cloud Storage migrieren können, z. B. von lokalen Umgebungen oder von anderen Cloud Storage-Anbietern. Der Storage Transfer Service unterstützt verschiedene Arten von Datenübertragungsjobs, darunter:

Zum Implementieren eines Datenmigrationsplans können Sie einen oder mehrere Datenübertragungsjobs konfigurieren. Wenn Sie beispielsweise während der Migration die Dauer der Umstellungsfenster verringern möchten, können Sie eine Strategie für eine Datenmigration mit kontinuierlicher Replikation implementieren:

  1. Konfigurieren Sie einen einmaligen Übertragungsjob, um die Daten aus einem Amazon S3-Bucket in den Cloud Storage-Bucket zu kopieren.
  2. Führen Sie Datenüberprüfungen und Konsistenzprüfungen durch, um die Daten im Amazon S3-Bucket mit den kopierten Daten im Cloud Storage-Bucket zu vergleichen.
  3. Richten Sie ereignisgesteuerte Übertragungsjobs ein, um Daten automatisch aus dem Amazon S3-Bucket in den Cloud Storage-Bucket zu übertragen, wenn sich der Inhalt des Amazon S3-Buckets ändert.
  4. Halten Sie die Arbeitslasten und Dienste an, die Zugriff auf die zu migrierenden Daten haben, d. h. auf die Daten aus dem vorherigen Schritt.

  5. Refaktorieren Sie Arbeitslasten, sodass sie Cloud Storage anstelle von Amazon S3 verwenden. Sie können Ihre Arbeitslasten mit einem der folgenden Ansätze oder durch sequenzielle Anwendung der Ansätze refaktorieren:

  6. Warten Sie, bis die Replikation Cloud Storage vollständig mit Amazon S3 synchronisiert hat.

  7. Starten Sie die Arbeitslasten.

  8. Wenn Sie Ihre Amazon S3-Umgebung nicht mehr als Fallback-Option benötigen, deaktivieren Sie sie.

Storage Transfer Service kann bestimmte Metadaten beibehalten, wenn Sie Objekte von einer unterstützten Quelle zu Cloud Storage migrieren. Wir empfehlen Ihnen zu prüfen, ob Storage Transfer Service die Amazon S3-Metadaten migrieren kann, die Sie interessieren.

Beim Entwerfen Ihres Datenmigrationsplans empfehlen wir, auch die Kosten für ausgehenden AWS-Netzwerk-Traffic sowie Ihre Amazon S3-Kosten zu prüfen. Berücksichtigen Sie beispielsweise die folgenden Optionen zur Datenübertragung:

  • Über das öffentliche Internet.
  • Über einen Interconnect-Link.
  • Über Amazon CloudFront.

Die ausgewählte Option kann sich auf Ihre AWS-Kosten für ausgehenden Netzwerk-Traffic sowie auf Ihre Amazon S3-Kosten auswirken. Die Option kann sich auch auf den Aufwand und die Ressourcen auswirken, die Sie zum Bereitstellen und Konfigurieren der Infrastruktur benötigen. Weitere Informationen zu den Kosten finden Sie hier:

Für die Migration von Daten von Amazon S3 zu Cloud Storage wird empfohlen, einen Perimeter mit VPC Service Controls zu erstellen, der die Kommunikation zwischen Google Cloud-Diensten explizit ablehnt, es sei denn, die Dienste sind autorisiert.

Umgebung nach der Migration optimieren

Die Optimierung ist die letzte Phase Ihrer Migration. In dieser Phase iterieren Sie Optimierungsaufgaben, bis Ihre Umgebung Ihre Optimierungsanforderungen erfüllt. Die Iteration umfasst folgende Schritte:

  1. Aktuelle Umgebung und Ihre Teams bewerten.
  2. Optimierungsanforderungen und -ziele festlegen.
  3. Umgebung und Teams optimieren.
  4. Optimierungsprozess anpassen.

Wiederholen Sie diese Sequenz, bis Sie Ihre Optimierungsziele erreicht haben.

Weitere Informationen zum Optimieren Ihrer Google Cloud-Umgebung finden Sie unter Zu Google Cloud migrieren: Umgebung optimieren.

Nächste Schritte