Dateispeicher in Compute Engine

Mit dem Dateispeicher (auch Network Attached Storage) (NAS) können Anwendungen auf Dateiebene Leseinformationen lesen und aktualisieren, die auf mehreren Rechnern gemeinsam verwendet werden können. Einige lokale Dateispeicherlösungen haben eine vertikale Architektur und fügen einer festen Menge an Rechenressourcen einfach Speicher hinzu. Andere Dateispeicherlösungen haben eine Architektur mit horizontaler Skalierung, bei der Kapazität und Rechenleistung (Leistung) bei Bedarf zu einem vorhandenen Dateisystem hinzugefügt werden können. In beiden Speicherarchitekturen kann eine oder mehrere virtuelle Maschinen (VMs) auf den Speicher zugreifen.

Einige Dateisysteme verwenden einen nativen POSIX-Client. Viele Speichersysteme nutzen allerdings ein Protokoll, mit dem Clientrechner ein Dateisystem bereitstellen und auf die Dateien zugreifen können, als würden sie lokal gehostet. Die gängigsten Protokolle zum Exportieren von Dateifreigaben sind das Network File System (NFS) unter Linux und in einigen Fällen Windows und Server Message Block (SMB) für Windows.

In dieser Lösung werden die folgenden Optionen zur Freigabe von Dateien beschrieben:

Nichtflüchtige Compute Engine-Speicher und lokale SSDs

Verwaltete Dateispeicherlösungen:

Unterstützte Filer-Lösungen in Cloud Marketplace:

Leistung und Planbarkeit aller Google Cloud-Dienste bauen auf dem Netzwerk-Stack auf, den Google über viele Jahre hinweg entwickelt hat. Mit der Jupiter-Struktur hat Google einen robusten, skalierbaren und stabilen Netzwerk-Stack aufgebaut, der weiterentwickelt werden kann, ohne dass sich dies auf Ihre Arbeitslasten auswirkt. Während Google seine Netzwerkfähigkeiten intern verbessert und ausbaut, kann Ihre Dateifreigabelösung die zusätzliche Leistung nutzen. Weitere Informationen zur Jupiter-Struktur finden Sie in diesem Dokument von 2015, in dem die Entwicklung beschrieben wird.

Die Möglichkeit, benutzerdefinierte VM-Typen anzugeben, ist ein Feature von Google Cloud, mit dem Sie Ihre Investitionen optimal nutzen können. Bei der Auswahl der Größe des Filers können Sie genau die richtige Mischung aus Arbeitsspeicher und CPU auswählen, sodass der Filer mit optimaler Leistung arbeitet, ohne überzeichnet zu werden.

Außerdem ist es wichtig, dass Sie die richtige Kapazität für nichtflüchtigen Speicher von Compute Engine sowie die Anzahl der vCPUs auswählen, damit die Speichergeräte Ihres Dateiservers die erforderliche Speicherbandbreite und die IOPs sowie die Netzwerkbandbreite erhalten. Eine VM erhält für jede vCPU (bis zum Maximum) einen Netzwerkdurchsatz von 2 Gbit/s. Zur Feinabstimmung des nichtflüchtigen Speichers siehe Blockspeicherleistung.

Cloud Storage ist übrigens auch hervorragend dafür geeignet, Petabyte an Daten mit hoher Redundanz kostengünstig zu speichern. Cloud Storage hat jedoch ein anderes Leistungsprofil und eine andere API als die hier beschriebenen Dateiserver.

Zusammenfassung der Dateiserveroptionen

In der folgenden Tabelle werden die Funktionen bzw. Optionen von nichtflüchtigen Speichern und dem Filer zusammengefasst:

Filer-Lösung Optimales Dataset Durchsatz Verwalteter Support Exportprotokolle
Filestore 1 TB bis 64 TB Bis zu 1,2 GB/s Von Google vollständig verwalteter Dienst NFSv3
Großer Dateispeicher 10 TB bis 320 TB Bis zu 1,2 GB/s Von Google vollständig verwalteter Dienst NFSv3
NetApp Cloud Volumes 1 TB bis 100 TB Bis zu 4,5 GB/s Von Google und NetApp vollständig verwalteter Dienst NFSv3, NFSv4, SMB2, SMB3
Dell PowerScale 108 TiB bis zu 50 PiB Bis zu Hunderten von GB/s Von Google und Dell Technologies vollständig verwalteter Dienst NFSv3, NFSv4, SMB1, SMB2, SMB3, HDFS
Panzura Einige 10 TB bis > 1 PB Bis zu mehreren GB/s Panzura NFSv3, NFSv4, SMB1, SMB2, SMB3
Nasuni Einige 10 TB bis > 1 PB Bis zu 1,2 GB/s Nasuni und vom Kunden verwaltet NFSv3, NFSv4, NFSv4.1, NFSv4.2, SMB2, SMB3
Schreibgeschützter nichtflüchtiger Speicher < 64 TB 240 bis 1.200 MB/s Nein Direkte Zuordnung

Nichtflüchtige Compute Engine-Speicher und lokale SSDs

Wenn Sie Daten haben, auf die nur eine einzelne VM zugreifen muss, oder die sich im Laufe der Zeit nicht ändern, reicht der nichtflüchtige Speicher von Compute Engine möglicherweise aus und Sie können ganz auf einen Dateiserver verzichten. Nichtflüchtige Speicher können mit einem Dateisystem wie Ext4 oder XFS formatiert werden. Dazu lassen sich Volumes sowohl im Lese-/Schreibmodus als auch im schreibgeschützten Modus anhängen. Dies bedeutet, dass Sie zuerst ein Volume an eine Instanz anhängen, die benötigten Daten in das Volume laden und es dann als schreibgeschützte Laufwerke an Hunderte von VMs gleichzeitig anhängen können. Die Verwendung von schreibgeschützten nichtflüchtigen Speicher ist nicht in allen Fällen möglich, kann jedoch die Komplexität verglichen mit der Verwendung eines Dateiservers wesentlich reduzieren.

Nichtflüchtige Speicher bieten eine konstante Leistung. Alle Speicher derselben Größe (und bei nichtflüchtigen SSD-Speichern alle Speicher mit der gleichen Anzahl von vCPUs), die Sie Ihrer Instanz anhängen, haben dieselben Leistungseigenschaften. Sie müssen die nichtflüchtigen Speicher nicht vorwärmen oder testen, bevor Sie sie in der Produktion verwenden.

Die Kosten von nichtflüchtigen Speichern können einfach bestimmt werden, weil nach der Bereitstellung des Volumes keine E/A-Kosten berücksichtigt werden müssen. Die Größe von nichtflüchtigen Speichern kann auch spontan geändert werden, sodass Sie mit einem Volume mit niedrigen Kosten und geringer Kapazität beginnen können und nicht gezwungen sind, zusätzliche Instanzen oder Speicher zur Skalierung der Kapazität einzurichten.

Wenn es vor allem auf die Gesamtspeicherkapazität ankommt, können Sie kostengünstige nichtflüchtige Standardspeicher verwenden. Bestmögliche Leistung bei vergleichbarer Langlebigkeit erreichen Sie, wenn Sie nichtflüchtigen SSD-Speicher verwenden.

Bei sitzungsspezifischen Daten, die eine Latenz von weniger als einer Millisekunde und einen hohen IOPS-Wert erfordern, können Sie für extreme Leistung bis zu 9 TB auf lokalen SSDs nutzen. Lokale SSDs bieten eine Bandbreite im Bereich von GB/s und Millionen von IOPS, ohne dass die den Instanzen zugewiesene Netzwerkkapazität aufgebraucht wird. Beachten Sie jedoch, dass mit lokalen SSDs bestimmte Kompromisse in Bezug auf Verfügbarkeit, Langlebigkeit und Flexibilität verbunden sind.

Einen Vergleich der vielen Datenträgertypen, die für Compute Engine-Instanzen verfügbar sind, finden Sie in der Dokumentation zu Blockspeicher.

Überlegungen bei der Auswahl einer Dateispeicherlösung

Bei der Auswahl einer Dateispeicherlösung müssen Sie Kompromisse bei Verwaltung, Kosten, Leistung und Skalierbarkeit eingehen. Bei einer klar definierten Arbeitslast ist die Entscheidung einfacher, dies ist jedoch häufig nicht der Fall. Wenn sich die Arbeitslast im Lauf der Zeit verändert oder sie stark schwankt, ist eine Abwägung zwischen Kosteneinsparungen auf der einen Seite und Flexibilität und Elastizität auf der anderen Seite eine umsichtige Vorgehensweise, sodass Sie in die Lösung hineinwachsen können. Auf der anderen Seite können Sie bei einer temporären und bekannten Arbeitslast eine maßgeschneiderte Dateiarchitektur aufbauen, die Sie leicht abwägen und neu erstellen können, um den unmittelbaren Speicheranforderungen gerecht zu werden.

Als Erstes müssen Sie entscheiden, ob Sie für einen verwalteten Speicherdienst, eine Lösung mit Produktsupport oder eine nicht unterstützte Lösung bezahlen möchten.

  • Verwaltete Dateispeicherdienste sind am einfachsten zu bedienen, da entweder Google oder ein Partner alle Vorgänge abwickelt. Diese Dienste können sogar ein SLA für die Verfügbarkeit bereitstellen, wie die meisten anderen Google Cloud-Dienste.
  • Nicht verwaltete und dennoch unterstützte Lösungen bieten zusätzliche Flexibilität. Partner können bei allen Problemen helfen, aber der tägliche Betrieb des Speichers bleibt dem Nutzer überlassen.
  • Nicht unterstützte Lösungen erfordern den größten Aufwand für die Bereitstellung und Wartung und überlassen alle Probleme dem Nutzer. Diese Lösungen werden in diesem Dokument nicht behandelt.

Als Nächstes müssen Sie die Langlebigkeit und Verfügbarkeitsanforderungen der Lösung ermitteln. Die meisten Datei-Lösungen sind zonal und bieten standardmäßig keinen Schutz, wenn die Zone ausfällt. Daher sollten Sie sich Gedanken machen, ob eine Lösung zur Notfallwiederherstellung bei Zonenausfällen erforderlich ist. Es ist auch wichtig, die Anwendungsanforderungen für Langlebigkeit und Verfügbarkeit zu verstehen. Beispielsweise hat die Entscheidung zwischen lokalen SSDs oder nichtflüchtigen Speichern in Ihrer Bereitstellung ebenso wie die Konfiguration der Dateilösungssoftware Auswirkungen. Jede Lösung erfordert eine sorgfältige Planung, um Langlebigkeit, Verfügbarkeit und Schutz vor zonalen und regionalen Ausfällen zu erreichen.

Ziehen Sie dann noch die Standorte (Zonen, Regionen, lokale Rechenzentren) in Betracht, an denen Sie auf die Daten zugreifen müssen. Die Standorte der Computerfarmen, die auf Ihre Daten zugreifen, beeinflussen die Auswahl der Filer-Lösung, da nur wenige Lösungen hybriden Zugriff (lokal und Cloud) zulassen.

Verwaltete Dateispeicherlösungen

Filestore

Filestore ist eine vollständig verwaltete NAS-Lösung von Google.

Sie können Cloud Filestore-Dateifreigaben problemlos für Compute Engine-VMs bereitstellen. Cloud Filestore ist außerdem eng in Google Kubernetes Engine eingebunden, sodass Ihre Container auf dieselben gemeinsamen Daten verweisen können.

Filestore bietet zwei Leistungsstufen: Standard und Premium. Beide Stufen bieten konsistente Leistung und vorhersehbare Kosten.

Folgen Sie für weitere Informationen diesen Links:

Großer Dateispeicher

Filestore High Scale vereinfacht die Speicherung und Datenverwaltung von Unternehmen in Google Cloud und Hybrid-Clouds. Filestore High Scale bietet kostengünstigen, leistungsstarken parallelen Zugriff auf globale Daten bei gleichzeitiger strikter Konsistenz, die auf einem dynamisch skalierbaren, verteilten Dateisystem basiert. Beim Hochskalieren können vorhandene NFS-Anwendungen und NAS-Workflows in der Cloud ausgeführt werden, ohne dass eine Refaktorierung erforderlich ist. Dabei bleiben die Vorteile von Unternehmensdatendiensten (hohe Verfügbarkeit, Komprimierung, Deduplizierung usw.) erhalten. Die cloudbasierte Integration in Google Kubernetes Engine ermöglicht nahtlose Datenpersistenz, Portabilität und gemeinsame Nutzung containerisierter Arbeitslasten.

Hochskalierte Skalierung ist schnell und skalierbar. Mit dieser Lösung können Sie die Dateisysteminfrastruktur einfach und bedarfsgerecht erstellen und erweitern. Auf diese Weise entspricht die Speicherleistung und -kapazität immer den Anforderungen Ihres dynamischen Workflows. Wenn ein Cluster mit großem Maßstab erweitert wird, werden sowohl die Metadaten als auch die E/A-Leistung linear skaliert. Mit dieser Skalierung können Sie eine breite Palette datenintensiver Workflows optimieren und beschleunigen, einschließlich Hochleistungs-Computing, Analysen, standortübergreifender Datenaggregierung, DevOps und vielem mehr. Daher eignet sich High Scale gut für die Verwendung in datenorientierten Branchen wie Biowissenschaften wie Genomsequenzierung, Finanzdienstleistungen sowie Medien- und Unterhaltungsangeboten.

NetApp Cloud Volumes

Der NetApp Cloud Volumes-Dienst für Google Cloud ist ein vollständig verwalteter cloudbasierter Speicherdienst, der in die Google Cloud Console integriert ist und nahtlose Abrechnung und Support von Google bietet.

Mit dem Dienst können Sie schnell nichtflüchtigen freigegebenen Speicher für Ihre Computing-Instanzen bereitstellen. Dieser Speicher bietet einen hohen Durchsatz für Ihre Anwendungen bei niedriger Latenz und zuverlässigen Datenschutzfunktionen (Snapshots und Kopien). Dank der Architektur für Unternehmen bietet der Dienst hohe Leistung für sequenzielle und zufällige Arbeitslasten, die auf Hunderte oder Tausende von Compute Engine-Instanzen skaliert werden können. In Sekundenschnelle können Volumes im Größenbereich von 1 TB bis 100 TB bereitgestellt und durch automatisierte platzsparende Snapshots geschützt werden. In der Cloud Console stehen Befehle zum Bereitstellen der angelegten Volumes für die Computing-Instanzen zur Verfügung, mit denen die Nutzerfreundlichkeit weiter verbessert wird.

Architektur des NetApp Cloud Volumes-Dienstes

Anwendungen müssen nicht neu geschrieben werden, da Cloud Volumes POSIX-konforme Freigaben für eine Vielzahl dateibasierter Arbeitslasten wie z. B. Web- und Rich-Media-Inhalte bietet, die in vielen Branchen wie Electronic Design Automation (EDA) sowie Medien und Unterhaltung verwendet werden.

Mit drei Serviceleveln (Standard, Premium und Extreme), die Sie bei Bedarf ändern können, bietet Cloud Volumes Service for Google Cloud die richtige Leistung für Ihre Arbeitslasten, ohne ihre Verfügbarkeit zu beeinträchtigen. NetApp kann Ihnen auch dabei helfen, Ihre Daten zwischen einer lokalen Umgebung und Cloud Volumes Service for Google Cloud zu synchronisieren.

Folgen Sie für weitere Informationen diesen Links:

Dell Technologies Cloud PowerScale für Google Cloud

Dell Technologies Cloud PowerScale für Google Cloud ist ein integrierter cloudnativer Dateidienst für Google Cloud-Nutzer, der von der Dell EMC PowerScale-Familie unterstützt wird. Dazu gehört PowerScale mit Isilon-Knoten, das branchenführende NAS-Speichersystem zum horizontalen Skalieren. Dieses sofort einsetzbare Angebot von Dell Technologies Services kombiniert in großem Umfang Leistung und Kapazität von PowerScale OneFS mit der Flexibilität und Wirtschaftlichkeit von Google Cloud.

PowerScale für Google Cloud ist ein einfacher, nutzerfreundlicher Dienst mit Jahresabos und garantierten, vorhersehbaren Preisen. Kunden bestellen sie über Cloud Marketplace. Nach der Bereitstellung können sie ihre OneFS-Cluster direkt über die Google Cloud Console konfigurieren und verwalten. Google sendet eine monatliche Rechnung und stellt Support bereit, während die Experten von Dell Technologies die gesamte Lebenszyklusverwaltung für die Umgebung übernehmen.

Mit PowerScale für Google Cloud können Unternehmen eine dedizierte, sichere PowerScale-Instanz mit Zugriff im Latenzbereich von weniger als einer Millisekunde für On-Demand-Computing- und Analysedienste von Google Cloud bereitstellen und dabei die Vorteile von PowerScale nutzen, ohne Änderungen an ihren Anwendungen vornehmen zu müssen. PowerScale für Google Cloud bietet Zugriff auf mehrere Protokolle und eine horizontale Skalierung bis zu 50 PB in einem einzelnen Namespace zusammen mit anderen Features der Unternehmensklasse wie Zugriff auf mehrere Protokolle, native Replikation und Snapshots. SLAs zur Leistung und Leistung auf Unternehmensebene bieten Kunden die Möglichkeit, vorhandene und neue Speicherkapazitäten und neue Funktionen zu erweitern, und zwar ohne zusätzliche Investitionen in ihr Rechenzentrum, Einrichtungen, Mitarbeiter, Hardware, Technik oder Integration.

Google Cloud bietet eine breite Palette von Computing- und Analysediensten für die kostengünstige On-Demand-Verarbeitung und -Analyse von dateibasierten Arbeitslasten mit hohem Durchsatz. Mit PowerScale for Google Cloud können Unternehmen die anspruchsvollsten dateibasierten Arbeitslasten in der Cloud ausführen – von Big-Data-Analysen, künstlicher Intelligenz und maschinellem Lernen über Sequenzierung der Genomdaten sowie von Medien und Unterhaltung, und dabei die flexiblen Cloud-Nutzungsmodelle und die Cloud-Wirtschaftlichkeit zu nutzen.

Architektur von Dell Technologies Cloud PowerScale für Google Cloud

Folgen Sie für weitere Informationen diesen Links:

Unterstützte Filer-Lösungen in Cloud Marketplace

Die im Folgenden aufgeführten Lösungen sind in Cloud Marketplace verfügbar.

Panzura

Panzura ist ein führender Anbieter im Verwalten unstrukturierter Daten in der Cloud. Unternehmen aus den Bereichen Medien und Unterhaltung, Genomik, Biowissenschaften, Gesundheitswesen, Finanzdienstleistungen und anderen entscheiden sich für Panzura Freedom NAS, um ihre Dateninseln in einer Single Source of Truth (SSOT) ohne Leistungsabstriche oder das Umschreiben von Anwendungen in Google Cloud zu konsolidieren. Durch die Konsolidierung unstrukturierter Daten (NFS-, SMB- und Objektdaten) in Google Cloud können Sie auf all Ihre Daten zugreifen, zusammen an ihnen arbeiten und ihre Compliance prüfen und steuern.

Panzura CloudFS basiert auf der Freedom-Familie und ist ein skalierbares, verteiltes Dateisystem, das für die Cloud entwickelt wurde. Es enthält intelligente Dateidienste, die durch 26 Patente gestützt werden. Mit der Freedom-Produktfamilie können Sie sich auf folgende Anwendungsfälle konzentrieren: Cloudmigration, globale Zusammenarbeit sowie Such- und Analysefunktionen.

Gemeinsam bieten Panzura Freedom und Google Cloud IT-Experten folgende Möglichkeiten:

  • Sie können Tausende von Legacy-Anwendungen zu Google Cloud migrieren, ohne sie neu zu schreiben, Workflows zu ändern oder die Leistung zu beeinträchtigen.
  • Vermeiden Sie die Multiplikation kopierter Daten bei Sicherungen und in Sekundärspeichern durch Konsolidierung der Daten in einer zentralen Informationsquelle.
  • Arbeiten Sie bei großen Projekten weltweit zusammen, um die Produktivität zu steigern und die Produkteinführungszeit zu verkürzen.
  • Modernisieren Sie Ihren alten NAS, während Sie Kosteneinsparungen von 70 % erzielen und die Dateninfrastruktur in Ihrem Rechenzentrum um 90 % reduzieren.
  • Bereiten Sie alte Banddaten für erweiterte Analysen und maschinelles Lernen wieder auf.

Weitere Informationen:

Nasuni-Cloud-Dateispeicher

Nasuni ersetzt Dateien von Unternehmensdateiservern und NAS-Geräten sowie alle zugehörigen Infrastrukturen, einschließlich Sicherungs- und DR-Hardware, durch eine einfachere, kostengünstige Cloud-Alternative. Nasuni verwendet den Google Cloud-Objektspeicher, um eine effizientere SaaS-Speicherlösung (Software-as-a-Service) anzubieten, die sich problemlos für ein schnelles, unstrukturiertes Dateiwachstum skalieren lässt. Nasuni wurde für die Verwaltung von Abteilungen, Projekten und Organisationsfreigaben und Anwendungsworkflows für jeden Mitarbeiter entwickelt.

Nasuni-Cloud-Dateispeicher.

Nasuni bietet drei Pakete mit Preisen für Unternehmen und Organisationen aller Größen an, damit sie bei Bedarf wachsen und erweitert werden können.

Zu den Vorteilen gehören:

  • Cloudbasierter primärer Dateispeicher für bis zu 70 % weniger. Die Architektur von Nanuni nutzt die nativen Google Cloud-Richtlinien für das Lebenszyklusmanagement von Objekten. Diese Richtlinien ermöglichen vollständige Flexibilität bei der Verwendung von Cloud Storage-Objektspeicherklassen, einschließlich Standard, Nearline, Coldline und Archive. Wenn Sie den sofort genutzten Archive-Objektspeicher von Google für den Hauptspeicher mit Nasuni verwenden, können Sie Kosteneinsparungen von bis zu 70 % erzielen.
  • Abteilungs- und organisationsübergreifende Dateifreigabe in der Cloud. Die cloudbasierte Architektur von Nasuni bietet einen einzigen globalen Namespace in allen Google Cloud-Regionen ohne Begrenzung für die Anzahl der Dateien, Dateigrößen oder Snapshots, sodass Sie Dateien direkt von Ihrem Desktop in der Google Cloud über standardmäßige NAS (SMB)-Laufwerk-Mapping-Protokolle speichern können.
  • Integrierte Sicherung und Notfallwiederherstellung "Set-it and Fort-it"-Vorgänge von Nasuni erleichtern die einfache Verwaltung des globalen Dateispeichers. Die integrierte Sicherung und Notfallwiederherstellung ist in einer einzigen Verwaltungskonsole enthalten, mit der Sie die Umgebung jederzeit kontrollieren und steuern können.
  • Ersetzt File-Server. Nasuni erleichtert die Migration von Microsoft Windows-Dateiservern und anderen vorhandenen Dateispeichersystemen zu Google Cloud und reduziert Kosten und Verwaltungsaufwand für diese Umgebungen.

Zusätzliche Ressourcen

Übersichtsvideo

Google Cloud-Webseite von Nasuni

Lösungsübersicht

Nasuni Marketplace-Eintrag

Blogpost zu Nasuni Google Cloud