Google Cloud bietet Tools, Produkte, Anleitungen und professionelle Dienste für die Migration von Daten von Amazon Simple Storage Service (Amazon S3) zu Cloud Storage. In diesem Dokument wird beschrieben, wie Sie einen Plan für die Migration von Amazon S3 zu Cloud Storage entwerfen, implementieren und validieren. Das Dokument beschreibt einen Teil des Migrationsprozesses, in dem Sie ein Inventar von Amazon S3-Artefakten erstellen und einen Plan für den Umgang mit dem Migrationsprozess erstellen.
Die Diskussion in diesem Dokument richtet sich an Cloud-Administratoren, die Details zum Planen und Implementieren eines Migrationsprozesses wünschen. Sie richtet sich auch an Entscheidungsträger, die eine Möglichkeit zur Migration in Betracht ziehen und sich ansehen möchten, wie die Migration aussehen könnte.
Dieses Dokument ist Teil einer mehrteiligen Reihe zur Migration von AWS zu Google Cloud, die folgende Dokumente enthält:
- Jetzt starten
- Von Amazon EC2 zu Compute Engine migrieren
- Von Amazon S3 zu Cloud Storage migrieren (dieses Dokument)
- Von Amazon Elastic Kubernetes Service (Amazon EKS) zu Google Kubernetes Engine migrieren
In dieser Reihe wird davon ausgegangen, dass Sie die folgenden Dokumente gelesen haben und mit ihnen vertraut sind:
- Zu Google Cloud migrieren: Migrationspfad auswählen: Stellt die Reihe „Zu Google Cloud migrieren“ vor und hilft Ihnen zu verstehen, wie die einzelnen Teile der Reihe in Bezug zu anderen Dokumenten stehen.
- Zu Google Cloud migrieren: Erste Schritte: Beschreibt das allgemeine Migrations-Framework, dem Sie in dieser Migration folgen.
- Zu Google Cloud migrieren: Große Datasets übertragen: Beschreibt, wie Sie Daten zu Google Cloud übertragen.
- Zu Google Cloud migrieren: Best Practices zur Validierung eines Migrationsplans: Beschreibt mögliche Änderungen und Verbesserungen Ihres Migrationsplans.
Die folgende Grafik veranschaulicht den Migrationspfad: In Migrationsszenarien entspricht die Bereitstellungsphase dem Durchführen eines Migrationsprozesses.
Die Migration von Amazon S3 zu Cloud Storage erfolgt in einer Folge von Iterationen. Sie können z. B. einige Daten und Arbeitslasten zuerst und andere später migrieren. Für jede separate Migrationsiteration folgen Sie den Phasen des allgemeinen Migrations-Frameworks:
- Arbeitslasten und Daten bewerten und erkennen.
- Grundlage in Google Cloud planen und erstellen.
- Arbeitslasten und Daten zu Google Cloud migrieren.
- Google Cloud-Umgebung optimieren.
Weitere Informationen zu den Phasen dieses Frameworks finden Sie unter Zu Google Cloud migrieren: Erste Schritte.
Quellumgebung bewerten
In der Bewertungsphase bestimmen Sie die Anforderungen und Abhängigkeiten der Ressourcen, die Sie von Amazon S3 zu Cloud Storage migrieren möchten.
Die Bewertungsphase umfasst die folgenden Aufgaben:
- Umfassendes Inventar Ihrer Arbeitslasten und Daten erstellen.
- Arbeitslasten und Daten entsprechend ihren Attributen und Abhängigkeiten katalogisieren.
- Teams auf Google Cloud vorbereiten.
- Tests und Proofs of Concept in Google Cloud erstellen.
- Die Gesamtbetriebskosten (TCO) der Zielumgebung berechnen.
- Reihenfolge und Priorität der Arbeitslasten festlegen, die Sie migrieren möchten.
Weitere Informationen zur Bewertungsphase und zu diesen Aufgaben finden Sie unter Zu Google Cloud migrieren: Arbeitslasten bewerten und erkennen. Die folgenden Abschnitte basieren auf Informationen in jenem Dokument.
Inventar Ihrer Amazon S3-Buckets erstellen
Zur Bestimmung des Umfangs der Migration erstellen Sie zwei Inventare: ein Inventar Ihrer Amazon S3-Buckets und ein Inventar der Objekte, die in den Buckets gespeichert sind.
Zum Erstellen des Inventars Ihrer Amazon S3-Buckets empfehlen wir die Verwendung des Migrationscenters, der einheitlichen Plattform von Google Cloud, mit der Sie den gesamten Weg in die Cloud beschleunigen können. aus Ihrer aktuellen Umgebung zu Google Cloud migrieren. Mit dem Migrationscenter können Sie Daten aus Amazon S3 und anderen AWS-Ressourcen importieren. Das Migrationscenter empfiehlt dann relevante Google Cloud-Dienste, zu denen Sie migrieren können.
Nachdem Sie das Inventar Ihrer Amazon S3-Buckets erstellt haben, optimieren Sie das Inventar unter Berücksichtigung der folgenden Datenpunkte für jeden Amazon S3-Bucket:
- Wie die serverseitige Verschlüsselung in Amazon S3-Buckets konfiguriert ist.
- Ihre Einstellungen für die Identitäts- und Zugriffsverwaltung für Amazon S3-Buckets.
- Die Konfiguration für S3-Blockierung des öffentlichen Zugriffs.
- Alle Kostenzuweisung-Tags für Amazon S3-Buckets.
- Die Konfiguration für S3-Objektsperre.
- Wie Sie auf den Amazon S3-Bucket zugreifen.
- Wie "Anforderer bezahlt" konfiguriert ist.
- Die Einstellungen für die Amazon S3-Objektversionsverwaltung.
- Die Konfiguration für AWS-Sicherungsrichtlinien für Amazon S3.
- Ob Sie Amazon S3 Intelligent-Tiering verwenden.
- Wie die Amazon S3-Objektreplikation konfiguriert ist.
- Der Amazon S3-Objektlebenszyklus.
Außerdem empfehlen wir, Daten zu Ihren Amazon S3-Buckets zu erfassen, mit denen Sie zusammengefasste Statistiken zu den Objekten berechnen können, die in den einzelnen Buckets enthalten sind. Wenn Sie beispielsweise die Gesamtgröße der Objekte, die durchschnittliche Objektgröße und die Anzahl der Objekte erfassen, können Sie die erforderliche Zeit und die Kosten für die Migration abschätzen, die für die Migration von einem Amazon S3-Bucket zu einem Cloud Storage-Bucket erforderlich sind.
Um diese Datenpunkte zu Ihren Amazon S3-Buckets zu erfassen, können Sie Datenerfassungsmechanismen und -prozesse implementieren, die auf AWS-Tools wie den folgenden beruhen:
- Amazon S3-Monitoring-Tools
- S3 Analytics
- AWS-APIs
- AWS-Entwicklertools
- AWS-Befehlszeile
Um Probleme während der Migration zu vermeiden und den für die Migration erforderlichen Aufwand zu schätzen, empfehlen wir Ihnen zu prüfen, wie Amazon S3-Bucket-Features ähnlichen Cloud Storage-Bucket-Features entsprechen. Diese Entsprechungen werden in der folgenden Tabelle zusammengefasst.
Wie bereits erwähnt, können die in der vorherigen Tabelle aufgeführten Features beim Vergleich ähnlich aussehen. Die Unterschiede beim Design und bei der Implementierung der Features bei den beiden Cloud-Anbietern können sich jedoch erheblich auf die Migration von Amazon S3 zu Cloud Storage auswirken.
Inventar der in den Amazon S3-Objekten gespeicherten Objekte erstellen
Nachdem Sie das Inventar Ihrer Amazon S3-Buckets erstellt haben, empfehlen wir Ihnen, mit dem Amazon S3-Inventartool ein Inventar der in diesen Buckets gespeicherten Objekte zu erstellen.
Wenn Sie das Inventar Ihrer Amazon S3-Objekte erstellen möchten, sollten Sie für jedes Objekt Folgendes berücksichtigen:
- Amazon S3-Objektname
- Amazon S3-Objektgröße
- Metadaten von Amazon S3-Objekten
- Unterressourcen von Amazon S3-Objekten
- Amazon S3-Objektversionen und ob Sie diese Versionen migrieren müssen
- Vorsignierte URLs von Amazon S3-Objekten
- Amazon S3-Objekttransformationen
- Amazon S3-Objekt-Tags
- Amazon S3-Objektspeicherklassen
- Amazon S3-Objektarchivierung
Wir empfehlen außerdem, Daten zu Ihren Amazon S3-Objekten zu erfassen, um zu ermitteln, wie oft Sie und Ihre Arbeitslasten Amazon S3-Objekte erstellen, aktualisieren und löschen.
Um Probleme während der Migration zu vermeiden und den für die Migration erforderlichen Aufwand zu schätzen, empfehlen wir Ihnen zu prüfen, wie Amazon S3-Objekt-Features ähnlichen Cloud Storage-Objekt-Features entsprechen. Diese Entsprechungen werden in der folgenden Tabelle zusammengefasst.
Wie bereits erwähnt, können die in der vorherigen Tabelle aufgeführten Features beim Vergleich ähnlich aussehen. Die Unterschiede beim Design und bei der Implementierung der Features bei den beiden Cloud-Anbietern können sich jedoch erheblich auf die Migration von Amazon S3 zu Cloud Storage auswirken.
Bewertung abschließen
Nachdem Sie das Inventar aus Ihrer Amazon S3-Umgebung erstellt haben, schließen Sie die restlichen Aktivitäten der Bewertungsphase ab, wie unter Zu Google Cloud migrieren: Arbeitslasten bewerten und erkennen beschrieben.
Grundlage planen und erstellen
Die Planungs- und Erstellungsphase der Migration zu Google Cloud umfasst die folgenden Aufgaben:
- Erstellen Sie eine Ressourcenhierarchie.
- Konfigurieren Sie die Identitäts- und Zugriffsverwaltung.
- Richten Sie die Abrechnung ein.
- Richten Sie die Netzwerkverbindung ein.
- Erhöhen Sie die Sicherheit.
- Logging, Monitoring und Benachrichtigungen einrichten
Weitere Informationen zu den einzelnen Aufgaben finden Sie unter Zu Google Cloud migrieren: Grundlage erstellen.
Daten und Arbeitslasten von Amazon S3 zu Cloud Storage migrieren
Für die Migration von Daten von Amazon S3 zu Cloud Storage empfehlen wir, einen Datenmigrationsplan zu erstellen. Folgen Sie dazu der Anleitung unter Zu Google Cloud migrieren: Große Datasets übertragen. In diesem Dokument wird die Verwendung von Storage Transfer Service empfohlen, einem Google Cloud-Produkt, mit dem Sie Daten aus mehreren Quellen zu Cloud Storage migrieren können, z. B. von lokalen Umgebungen oder von anderen Cloud Storage-Anbietern. Der Storage Transfer Service unterstützt verschiedene Arten von Datenübertragungsjobs, darunter:
- Einmalige Übertragungsjobs, die bei Bedarf Daten aus Amazon S3 oder anderen unterstützten Quellen zu Cloud Storage übertragen.
- Geplante Übertragungsjobs, die nach einem Zeitplan Daten von Amazon S3 oder anderen unterstützten Quellen zu Cloud Storage übertragen.
- Ereignisgesteuerte Übertragungsjobs, die Daten automatisch übertragen, wenn Amazon S3 Ereignisbenachrichtigungen an Amazon Simple Queue Service (SQS) sendet.
Zum Implementieren eines Datenmigrationsplans können Sie einen oder mehrere Datenübertragungsjobs konfigurieren. Wenn Sie beispielsweise während der Migration die Dauer der Umstellungsfenster verringern möchten, können Sie eine Strategie für eine Datenmigration mit kontinuierlicher Replikation implementieren:
- Konfigurieren Sie einen einmaligen Übertragungsjob, um die Daten aus einem Amazon S3-Bucket in den Cloud Storage-Bucket zu kopieren.
- Führen Sie Datenüberprüfungen und Konsistenzprüfungen durch, um die Daten im Amazon S3-Bucket mit den kopierten Daten im Cloud Storage-Bucket zu vergleichen.
- Richten Sie ereignisgesteuerte Übertragungsjobs ein, um Daten automatisch aus dem Amazon S3-Bucket in den Cloud Storage-Bucket zu übertragen, wenn sich der Inhalt des Amazon S3-Buckets ändert.
- Halten Sie die Arbeitslasten und Dienste an, die Zugriff auf die zu migrierenden Daten haben, d. h. auf die Daten aus dem vorherigen Schritt.
Refaktorieren Sie Arbeitslasten, sodass sie Cloud Storage anstelle von Amazon S3 verwenden. Sie können Ihre Arbeitslasten mit einem der folgenden Ansätze oder durch sequenzielle Anwendung der Ansätze refaktorieren:
- Einfache Migration von Amazon S3 zu Cloud Storage. Bei einer einfachen Migration verwenden Sie vorhandene Tools und Bibliotheken, die authentifizierte REST-Anfragen an Amazon S3 generieren, um stattdessen authentifizierte Anfragen an Cloud Storage zu generieren.
- Vollständig von Amazon S3 zu Cloud Storage migrieren. Bei einer vollständigen Migration können Sie alle Features von Cloud Storage verwenden, einschließlich mehrerer Projekte und OAuth 2.0 zur Authentifizierung.
Warten Sie, bis die Replikation Cloud Storage vollständig mit Amazon S3 synchronisiert hat.
Starten Sie die Arbeitslasten.
Wenn Sie Ihre Amazon S3-Umgebung nicht mehr als Fallback-Option benötigen, deaktivieren Sie sie.
Storage Transfer Service kann bestimmte Metadaten beibehalten, wenn Sie Objekte von einer unterstützten Quelle zu Cloud Storage migrieren. Wir empfehlen Ihnen zu prüfen, ob Storage Transfer Service die Amazon S3-Metadaten migrieren kann, die Sie interessieren.
Beim Entwerfen Ihres Datenmigrationsplans empfehlen wir, auch die Kosten für ausgehenden AWS-Netzwerk-Traffic sowie Ihre Amazon S3-Kosten zu prüfen. Berücksichtigen Sie beispielsweise die folgenden Optionen zur Datenübertragung:
- Über das öffentliche Internet.
- Über einen Interconnect-Link.
- Über Amazon CloudFront.
Die ausgewählte Option kann sich auf Ihre AWS-Kosten für ausgehenden Netzwerk-Traffic sowie auf Ihre Amazon S3-Kosten auswirken. Die Option kann sich auch auf den Aufwand und die Ressourcen auswirken, die Sie zum Bereitstellen und Konfigurieren der Infrastruktur benötigen. Weitere Informationen zu den Kosten finden Sie hier:
- Informationen zu Datenübertragungsgebühren in der AWS-Dokumentation
- Amazon S3 – Preise
Für die Migration von Daten von Amazon S3 zu Cloud Storage wird empfohlen, einen Perimeter mit VPC Service Controls zu erstellen, der die Kommunikation zwischen Google Cloud-Diensten explizit ablehnt, es sei denn, die Dienste sind autorisiert.
Umgebung nach der Migration optimieren
Die Optimierung ist die letzte Phase Ihrer Migration. In dieser Phase iterieren Sie Optimierungsaufgaben, bis Ihre Umgebung Ihre Optimierungsanforderungen erfüllt. Die Iteration umfasst folgende Schritte:
- Aktuelle Umgebung und Ihre Teams bewerten.
- Optimierungsanforderungen und -ziele festlegen.
- Umgebung und Teams optimieren.
- Optimierungsprozess anpassen.
Wiederholen Sie diese Sequenz, bis Sie Ihre Optimierungsziele erreicht haben.
Weitere Informationen zum Optimieren Ihrer Google Cloud-Umgebung finden Sie unter Zu Google Cloud migrieren: Umgebung optimieren.
Nächste Schritte
- Von Amazon EC2 zu Compute Engine migrieren
- Informationen zu anderen Migrationspfaden von AWS zu Google Cloud
- AWS- und Azure-Dienste mit Google Cloud vergleichen
- Hilfe für Migrationen erhalten
- Referenzarchitekturen, Diagramme und Best Practices zu Google Cloud kennenlernen. Weitere Informationen zu Cloud Architecture Center