Optimale Speicherstrategie für eine Cloud-Arbeitslast entwickeln

Last reviewed 2024-10-22 UTC

In diesem Leitfaden wird gezeigt, wie Sie die Speicheranforderungen Ihrer Cloud-Arbeitslast ermitteln, wie die verfügbaren Speicheroptionen in Google Cloudgenutzt werden können und wie Sie eine Speicherstrategie für einen optimalen Geschäftswert entwickeln.

Eine visuelle Zusammenfassung der wichtigsten Designempfehlungen finden Sie im Entscheidungsbaumdiagramm.

Informationen zur Auswahl von Speicherdiensten für KI- und ML-Arbeitslasten finden Sie unter Speicher für KI- und ML-Arbeitslasten in Google Cloud entwerfen Google Cloud.

Übersicht über den Designprozess

Wenn Sie als Cloud-Architekt Speicher für eine Cloud-Arbeitslast planen, müssen Sie zuerst die funktionalen Eigenschaften der Arbeitslast, Sicherheitseinschränkungen, Anforderungen an die Ausfallsicherheit, Leistungserwartungen und Kostenziele berücksichtigen. Anschließend müssen Sie die verfügbaren Speicherdienste und ‑funktionen inGoogle Cloudprüfen. Schließlich wählen Sie je nach Ihren Anforderungen und den verfügbaren Optionen die benötigten Speicherdienste und -Features aus. Das folgende Diagramm zeigt diesen dreistufigen Designprozess:

Stufenbasierter Ansatz für die Entwicklung von Speicher für Cloud-Arbeitslasten.

Anforderungen definieren

Verwenden Sie die Fragebögen in diesem Abschnitt, um die zentralen Speicheranforderungen der Arbeitslast zu definieren, die Sie in Google Cloudbereitstellen möchten.

Richtlinien für das Definieren von Speicheranforderungen

Beim Beantworten der Fragebögen sind folgende Leitlinien zu beachten:

  • Anforderungen detailliert definieren

    Wenn Ihre Anwendung beispielsweise Dateispeicher des Netzwerkdateisystems (NFS) benötigt, ermitteln Sie die erforderliche NFS-Version.

  • Künftige Anforderungen berücksichtigen

    Beispielsweise kann es sein, dass eine aktuelle Bereitstellung für Nutzer in asiatischen Ländern später auf Unternehmen anderer Kontinente ausgeweitet werden soll. In diesem Fall sollten Sie bereits alle speicherbezogenen behördlichen Anforderungen der neuen Geschäftsgebiete berücksichtigen.

  • Cloudspezifische Möglichkeiten und Anforderungen berücksichtigen

    • Nutzen Sie die cloudspezifischen Möglichkeiten.

      Zur Optimierung der Speicherkosten für in Cloud Storage gespeicherte Daten können Sie beispielsweise die Speicherdauer mithilfe von Datenaufbewahrungsrichtlinien und Lebenszykluskonfigurationen steuern.

    • Berücksichtigen Sie cloudspezifische Anforderungen.

      Wenn beispielsweise die lokalen Daten in einem einzigen Rechenzentrum gespeichert sind, müssen Sie eventuell die migrierten Daten für eine Redundanz auf zweiGoogle Cloud -Standorte replizieren.

Fragebögen

Die folgenden Fragebögen sind nicht als fertige Checklisten für die Planung zu verstehen. Verwenden Sie sie als Ausgangspunkt, um alle Speicheranforderungen der Arbeitslast, die Sie in Google Cloudbereitstellen möchten, systematisch zu analysieren.

Eigenschaften der Arbeitslast bewerten

  • Welche Art von Daten müssen Sie speichern?

    Beispiele

    • Inhalt der statischen Website
    • Sicherungen und Archive zur Notfallwiederherstellung
    • Audit-Logs für die Compliance
    • Große Datenobjekte, die Nutzer direkt herunterladen
    • Transaktionsdaten
    • Unstrukturierte und heterogene Daten

  • Wie viel Kapazität benötigen Sie? Berücksichtigen Sie Ihre aktuellen und zukünftigen Anforderungen.

  • Soll die Kapazität mit der Nutzung automatisch skaliert werden?

  • Welche Zugriffsanforderungen gelten? Sollen die Daten beispielsweise außerhalb von Google Cloudzugänglich sein?

  • Was sind die erwarteten Lese-/Schreibmuster?

    Beispiele

    • Häufige Schreib- und Lesevorgänge
    • Häufige Schreibvorgänge, aber gelegentliche Lesevorgänge
    • Gelegentliche Schreib- und Lesevorgänge
    • Gelegentliche Schreibvorgänge, aber häufige Lesevorgänge

  • Erfordert die Arbeitslast dateibasierten Zugriff, zum Beispiel mit NFS?

  • Sollen mehrere Clients gleichzeitig Daten lesen oder schreiben?

Sicherheitsbeschränkungen ermitteln

  • Welche Anforderungen gelten für die Datenverschlüsselung? Verwenden Sie beispielsweise Schlüssel, die Sie selbst steuern?

  • Gibt es Anforderungen an die Datenausfallsicherheit?

Anforderungen an die Datenausfallsicherheit definieren

  • Benötigt Ihre Arbeitslast Caching oder temporären Speicher mit niedriger Latenz?
  • Müssen Sie die Daten in der Cloud aus Gründen der Redundanz replizieren?
  • Benötigen Sie strikte Lese-/Schreibkonsistenz für replizierte Datasets?

Leistungserwartungen festlegen

  • Wie hoch ist der erforderliche E/A-Rate?

  • Welchen Grad an Lese- und Schreibdurchsatz benötigt Ihre Anwendung?

  • Für welche Umgebungen ist Speicher erforderlich? Für eine bestimmte Arbeitslast benötigen Sie möglicherweise einen Hochleistungsspeicher für die Produktionsumgebung, können aber für die Nicht-Produktionsumgebung eine Option mit geringerer Leistung auswählen.

Speicheroptionen prüfen

Google Cloud bietet Speicherdienste für alle wichtigen Speicherformate: Block, Datei und Objekt. Prüfen Sie die Features, Designoptionen und relativen Vorteile der Dienste für jedes Speicherformat und evaluieren Sie sie.

Übersicht

Blockspeicher

Die Daten, die Sie im Blockspeicher speichern, werden in Einheiten unterteilt, die als jeweils separater Block mit einer eindeutigen Adresse gespeichert werden. Anwendungen greifen dann auf Daten durch Verweis auf die entsprechenden Blockadressen zu. Der Blockspeicher ist für Arbeitslasten mit hoher IOPS-Anzahl, z. B. für die Transaktionsverarbeitung, optimiert. Er ist mit dem lokalen Storage Area Network (SAN) und DAS-Systemen (Directly Attached Storage) vergleichbar.

Die Blockspeicheroptionen in Google Cloud sind Teil des Compute Engine-Dienstes.

Option Überblick
Persistent Disk Dedizierte Festplattenlaufwerke (HDDs) und Solid-State-Laufwerke (SSDs) für Unternehmens- und Datenbankanwendungen, die in Compute Engine-VMs und Google Kubernetes Engine-Clustern (GKE) bereitgestellt werden.
Google Cloud-Hyperdisk Schneller und redundanter Netzwerkspeicher für Compute Engine-VMs mit konfigurierbarer Leistung und konfigurierbaren Volumes, deren Größe dynamisch angepasst werden kann.
Local SSD Sitzungsspezifischer, lokal angehängter Blockspeicher für Hochleistungsanwendungen.

Dateispeicher

Daten werden wie bei einem lokalen NAS-Speicher (Network Attached Storage) in einer Hierarchie von Dateien organisiert und dargestellt. Dateisysteme können auf Clients mit Protokollen wie NFS und Server Message Block (SMB) bereitgestellt werden. Anwendungen greifen dabei über den entsprechenden Dateinamen und den Verzeichnispfad auf Daten zu.

Google Cloud bietet eine Reihe von vollständig verwalteten Lösungen sowie Lösungen von Drittanbietern zum Speichern von Dateien.

Lösung Übersicht
Filestore

Dateibasierter Speicher mit NFS-Dateiservern für Compute Engine-VMs und Google Kubernetes Engine-Cluster.

Sie können eine Dienststufe (Basic, Zonal oder Regional) auswählen, die zu Ihrem Anwendungsfall passt.

Parallelstore

Paralleles Dateisystem mit niedriger Latenz für KI, Hochleistungs-Computing (HPC) und datenintensive Anwendungen.

NetApp Volumes

Dateibasierter Speicher mit NFS oder SMB.

Sie können eine Dienstebene (Flex, Standard, Premium oder Extreme) auswählen, die zu Ihrem Anwendungsfall passt.

Weitere Optionen Informationen dazu finden Sie unter Zusammenfassung der Dateiserveroptionen.

Objektspeicher

Die Daten werden als Objekte in einer flachen Hierarchie von Buckets gespeichert. Jedem Objekt wird eine global eindeutige ID zugewiesen. Objekte können vom System zugewiesene sowie benutzerdefinierte Metadaten haben, mit denen sich Daten organisieren und verwalten lassen. Anwendungen greifen auf Daten mithilfe von REST APIs oder Clientbibliotheken über den Verweis auf Objekt-IDs zu.

Cloud Storage bietet einen kostengünstigen, langlebigen und unbegrenzten Objektspeicher für verschiedene Datentypen. Die in Cloud Storage gespeicherten Daten können von jedem Standort innerhalb und außerhalb von Google Cloudaufgerufen werden. Optionale regionenübergreifende Redundanz sorgt für maximale Zuverlässigkeit. Sie können die Speicherklasse auswählen, die Ihren Anforderungen an die Datenaufbewahrung und die Zugriffshäufigkeit entspricht.

Vergleichsanalyse

In der folgenden Tabelle sind die wichtigsten Funktionen der Speicherdienste inGoogle Cloudaufgeführt.

Persistent Disk Hyperdisk Lokale SSD Filestore Parallelstore NetApp Volumes Cloud Storage
Kapazität

10 GiB bis 64 TiB pro Laufwerk

257 TiB pro VM

4 GiB bis 64 TiB pro Laufwerk

512 TiB pro VM

10 TiB bis 1 PiB pro Speicherpool

375 GiB pro Laufwerk

12 TiB pro VM

1–100 TiB pro Instanz 12–100 TiB

1 TiB bis 10 PiB pro Speicherpool

1 GiB bis 100 TiB pro Volume

Keine Unter- oder Obergrenze
Skalierung
  • Vertikal skalieren
  • Laufwerke hinzufügen und entfernen
  • Autoscaling
Hochskalieren Nicht skalierbar
  • Einfach: vertikal skalieren
  • Zonal und regional: Hoch- und Herunterskalieren
Nicht skalierbar Hoch- und Herunterskalieren Automatische Skalierung nach Nutzung
Freigabe
Unterstützt Unterstützt Kann nicht freigegeben werden Kann auf mehreren Compute Engine-VMs, Remote-Clients und GKE-Clustern bereitgestellt werden Kann auf mehreren Compute Engine-VMs und in mehreren GKE-Clustern bereitgestellt werden. Kann auf mehreren Compute Engine-VMs und in mehreren GKE-Clustern bereitgestellt werden
  • Lesen/Schreiben von jedem Standort
  • Kann in Cloud CDN und in CDNs von Drittanbietern eingebunden werden
Optionen für Verschlüsselungsschlüssel
  • Google-owned and Google-managed encryption keys
  • Vom Kunden verwaltet
  • Vom Kunden bereitgestellt
  • Google-owned and Google-managed encryption keys
  • Vom Kunden verwaltet
  • Vom Kunden bereitgestellt
Google-owned and Google-managed encryption keys
  • Google-owned and Google-managed encryption keys
  • Vom Kunden verwaltet (zonale und regionale Stufen)
Google-owned and Google-managed encryption keys
  • Google-owned and Google-managed encryption keys
  • Vom Kunden verwaltet
  • Google-owned and Google-managed encryption keys
  • Vom Kunden verwaltet
  • Vom Kunden bereitgestellt
Persistenz
Lebensdauer des Laufwerks Lebensdauer des Laufwerks Sitzungsspezifisch (Daten gehen verloren, wenn die VM angehalten oder gelöscht wird) Lebensdauer der Filestore-Instanz Sitzungsspezifisch (Daten gehen verloren, wenn die Instanz gelöscht wird) Lebensdauer des Volumes Lebensdauer des Buckets
Verfügbarkeit
  • Zonal
  • Laufwerk klonen
  • Zonal Zonal
    Leistung
    Lineare Skalierung mit Laufwerksgröße und CPU-Anzahl Nichtflüchtiger Speicher mit dynamischer Skalierung Scratch-Hochleistungsspeicher Lineare Skalierung mit bereitgestellter Kapazität

    Skalierbare Leistung

    Erwartungen hängen vom Service Level ab

    Lese-/Schreibraten automatisch skalieren und dynamische Lastumverteilung
    Verwaltung
    Manuell formatieren und bereitstellen Manuell formatieren und bereitstellen Manuell formatieren, streifen und bereitstellen Vollständig verwaltet Vollständig verwaltet Vollständig verwaltet Vollständig verwaltet

    In der folgenden Tabelle sind die Arbeitslasttypen aufgeführt, für die die einzelnen Google Cloud Speicheroptionen geeignet sind:

    Speicheroption Arbeitslasttypen
    Persistent Disk
    • IOPS-intensive oder latenzempfindliche Anwendungen
    • Datenbanken
    • Freigegebener schreibgeschützter Speicher
    • Schnelle, langlebige VM-Sicherungen
    Hyperdisk
    • Leistungsintensive Arbeitslasten
    • Analysen mit Hochskalierung
    Lokale SSD
    • Flash-optimierte Datenbanken
    • Hot-Caching für Analysen
    • Scratch Disk
    Filestore
    • Lokales Lift-and-Shift-Dateisystem
    • Freigegebene Konfigurationsdateien
    • Gängige Tools und Dienstprogramme
    • Zentrale Logs
    Parallelstore
    • KI- und ML-Arbeitslasten
    • HPC (Hochleistungs-Computing)
    NetApp Volumes
    • Lokales Lift-and-Shift-Dateisystem
    • Freigegebene Konfigurationsdateien
    • Gängige Tools und Dienstprogramme
    • Zentrale Logs
    • Windows-Arbeitslasten
    Cloud Storage
    • Streamen von Videos
    • Medien-Asset-Bibliotheken
    • Data Lakes mit hohem Durchsatz
    • Sicherung und Archivierung
    • Longtail-Inhalte

    Speicheroption auswählen

    Für das Auswählen einer Speicheroption sind zwei Schritte erforderlich:

    • Sie ermitteln, welche Speicherdienste Sie benötigen.
    • Sie wählen die erforderlichen Features und Designoptionen in einem bestimmten Dienst aus.

      Beispiele für dienstspezifische Features und Designoptionen

      Persistent Disk

      • Region und Zone der Bereitstellung
      • Regionale Replikation
      • Typ, Größe und IOPS des Laufwerks (für extrem nichtflüchtige Speicher)
      • Verschlüsselungsschlüssel: Eigentum von Google und von Google oder vom Kunden verwaltet oder vom Kunden bereitgestellt
      • Zeitplan für Snapshots

      Hyperdisk

      • Bereitstellungszone
      • Laufwerktyp, Größe, Durchsatz (für Hyperdisk Throughput) und IOPS (für Hyperdisk Extreme)
      • Verschlüsselungsschlüssel: Eigentum von Google und von Google oder vom Kunden verwaltet oder vom Kunden bereitgestellt
      • Zeitplan für Snapshots

      Filestore

      • Region und Zone der Bereitstellung
      • Instanzstufe
      • Kapazität
      • IP-Bereich: automatisch zugewiesen oder benutzerdefiniert
      • Zugriffssteuerung

      NetApp-Volumes

      • Bereitstellungsregion
      • Service Level für den Speicherpool
      • Pool- und Volume-Kapazität
      • Volume-Protokoll
      • Regeln für den Volume-Export

      Cloud Storage

      • Standort: multiregional, Dual-Region, einzelne Region
      • Speicherklasse: Standard, Nearline, Coldline, Archive
      • Zugriffssteuerung: einheitlich oder detailliert
      • Verschlüsselungsschlüssel: Eigentum von Google und von Google oder vom Kunden verwaltet oder vom Kunden bereitgestellt
      • Aufbewahrungsrichtlinien

    Speicherempfehlungen

    Verwenden Sie die folgenden Empfehlungen als Ausgangspunkt für die Auswahl der Speicherdienste und Features, die Ihren Anforderungen entsprechen. Informationen speziell zu KI- und ML-Arbeitslasten finden Sie unter Speicher für KI- und ML-Arbeitslasten in Google Cloud entwerfen Google Cloud.

    Allgemeine Empfehlungen für die Speicherung werden weiter unten in diesem Dokument auch als Entscheidungsbaum dargestellt.

    • Verwenden Sie Parallelstore für Anwendungen, die ein paralleles Dateisystem benötigen.

    • Wählen Sie für Anwendungen, die dateibasierten Zugriff benötigen, basierend auf Ihren Anforderungen für Zugriffsprotokoll, Verfügbarkeit und Leistung einen geeigneten Dateispeicherdienst aus.

      Zugriffsprotokoll Empfehlung
      NFS
      • Wenn Sie regionale Verfügbarkeit und eine hohe Leistung benötigen, die mit der Kapazität skaliert, verwenden Sie Filestore Regional.
      • Wenn die zonale Verfügbarkeit ausreicht, Sie aber eine hohe Leistung benötigen, die mit der Kapazität skaliert, verwenden Sie Filestore Zonal oder NetApp Volumes Premium oder Extreme.
      • Verwenden Sie andernfalls entweder Filestore Basic oder NetApp Volumes.

      Weitere Informationen zu den Unterschieden zwischen den Filestore-Dienststufen finden Sie unter Dienststufen.

      KMU Verwenden Sie NetApp Volumes.

    • Verwenden Sie für Arbeitslasten, die primären Speicher mit hoher Leistung benötigen, je nach Ihren Anforderungen lokale SSDs, nichtflüchtige Speicher oder Hyperdisks.

      Anforderung Empfehlung
      Schnelle Scratch Disk oder Cache

      Verwenden Sie lokale SSD-Laufwerke (sitzungsspezifisch).

      Sequenzielle IOPS Verwenden Sie nichtflüchtige Speicher mit dem Laufwerkstyp pd-standard.
      IOPS-intensive Arbeitslast Verwenden Sie nichtflüchtige Speicher mit dem Laufwerkstyp pd-extreme oder pd-ssd.
      Ausgewogenheit zwischen Leistung und Kosten Verwenden Sie nichtflüchtige Speicher mit dem Laufwerkstyp pd-balanced.
      Leistung und Kapazität dynamisch skalieren

      Verwenden Sie eine Hyperdisk.

      Wählen Sie einen geeigneten Hyperdisk-Typ aus:

      • Hyperdisk Balanced wird für allgemeine Arbeitslasten und hoch verfügbare Anwendungen empfohlen, die gemeinsamen Schreibzugriff erfordern.
      • Hyperdisk Extreme wird für Arbeitslasten empfohlen, die einen hohen E/A-Wert erfordern, z. B. Hochleistungs-Datenbanken.
      • Hyperdisk Throughput wird für Analysen mit Hochskalierung, Datenlaufwerke für kostenempfindliche Anwendungen und kalten Datenspeicher empfohlen.
      • Hyperdisk ML wird für ML-Arbeitslasten empfohlen, die einen hohen Durchsatz für mehrere VMs im Lesemodus erfordern.

      Weitere Informationen finden Sie unter Informationen zu Hyperdisk Google Cloud .

      • Wählen Sie je nach Redundanzanforderungen zwischen zonalen und regionalen Laufwerken aus.
        Anforderung Empfehlung
        Redundanz innerhalb einer einzelnen Zone in einer Region Verwenden Sie zonale nichtflüchtige Speicher oder Hyperdisks.
        Redundanz für mehrere Zonen innerhalb einer Region Verwenden Sie regionale nichtflüchtige Speicher.
        Eine detaillierte Vergleichsanalyse finden Sie unter Optionen für nichtflüchtigen Speicher.
    • Verwenden Sie Cloud Storage, wenn Sie einen unbegrenzt skalierbaren, global verfügbaren Speicher benötigen.

      Wählen Sie je nach Datenzugriffshäufigkeit und Speicherdauer eine geeignete Cloud Storage-Klasse aus.

      Anforderung Empfehlung
      Die Zugriffshäufigkeit variiert oder die Datenaufbewahrungsdauer ist unbekannt oder ist nicht vorhersehbar. Verwenden Sie das Feature Autoclass, um Objekte in einem Bucket basierend auf dem Zugriffsmuster jedes Objekts automatisch auf die entsprechenden Speicherklassen zu übertragen.
      Speicher für Daten, auf die häufig zugegriffen wird, z. B. für Datenanalysen mit hohem Durchsatz, Data Lakes, Websites, gestreamte Videos und mobile Apps.

      Verwenden Sie die Speicherklasse Standard.

      Verwenden Sie Cloud CDN, um häufig aufgerufene Daten im Cache zu speichern und von Standorten aus bereitzustellen, die sich in der Nähe der Clients befinden.

      Kostengünstiger Speicher für selten aufgerufene Daten, die mindestens 30 Tage gespeichert werden können, z. B. Sicherungen und Longtail-Multimedia-Inhalte. Verwenden Sie die Speicherklasse Nearline.
      Kostengünstiger Speicher für selten aufgerufene Daten, die mindestens 90 Tage gespeichert werden können, z. B. für die Notfallwiederherstellung. Verwenden Sie die Speicherklasse Coldline.
      Kostengünstigster Speicher für selten aufgerufene Daten, die mindestens 365 Tage gespeichert werden können, z. B. für zur Einhaltung behördlicher Auflagen angelegte Archive. Verwenden Sie die Speicherklasse Archiv.

      Eine detaillierte Vergleichsanalyse finden Sie unter Cloud Storage-Klassen.

    Datenübertragungsoptionen

    Nachdem Sie die geeigneten Google Cloud Speicherdienste ausgewählt haben, müssen Sie Ihre Daten zur Bereitstellung und Ausführung von Arbeitslasten auf Google Cloudübertragen. Die Daten, die Sie übertragen müssen, befinden sich möglicherweise lokal oder auf anderen Cloud-Plattformen.

    Sie haben folgende Möglichkeiten, Daten zu Google Cloudzu übertragen:

    • Daten online übertragen mit Storage Transfer Service: Automatisieren Sie die Übertragung großer Datenmengen zwischen Objekt- und Dateispeichersystemen, einschließlich Cloud Storage, Amazon S3, Azure-Speicherdiensten und lokalen Datenquellen.
    • Daten mit Transfer Appliance offline übertragen: Google Cloud In Situationen, in denen Netzwerkverbindung und Bandbreite nicht verfügbar, begrenzt oder teuer sind, können Sie große Datenmengen offline übertragen und hochladen.
    • Daten in Cloud Storage hochladen: Sie können Daten online mit der Google Cloud Console, der gcloud CLI, Cloud Storage APIs oder Clientbibliotheken in Cloud Storage-Buckets hochladen.

    Berücksichtigen Sie bei der Auswahl einer Datenübertragungsmethode Faktoren wie die Datengröße, zeitliche Einschränkungen, die Verfügbarkeit der Bandbreite, Kostenziele sowie Sicherheits- und Compliance-Anforderungen. Informationen zum Planen und Implementieren von Datenübertragungen zu Google Cloudfinden Sie unter Zu Google Cloudmigrieren: Große Datasets übertragen.

    Entscheidungsbaum für Speicheroptionen

    Der folgende Entscheidungsbaum führt Sie durch die zuvor erläuterten Google CloudEmpfehlungen für die Speicherkapazität. Informationen speziell für KI- und ML-Arbeitslasten finden Sie unter Speicher für KI- und ML-Arbeitslasten in Google Cloud entwerfen Google Cloud.

    Größeres Bild anzeigen

    Entscheidungsbaum zur Auswahl einer Speicherstrategie

    Nächste Schritte

    Beitragende

    Autor: Kumar Dhanagopal | Cross-product Solution Developer

    Weitere Beitragende: