Dateiserver in Compute Engine

Mit einem Dateiserver, auch als Storage-Filer bezeichnet, können Anwendungen Dateien lesen und aktualisieren, die auf mehreren Rechnern gemeinsam verwendet werden. Einige Dateilösungen skalieren vertikal: Sie bestehen aus Speicher, der einer einzelnen VM zugeordnet ist. Einige Lösungen skalieren horizontal: Diese bestehen aus einem Cluster von VMs mit zugeordnetem Speicher, der für die Anwendungen einen einzigen Dateisystem-Namespace darstellt.

Einige Dateisysteme verwenden einen nativen POSIX-Client. Viele Dateiserver nutzen allerdings ein Protokoll, mit dem Clientrechner ein Dateisystem bereitstellen und auf die Dateien zugreifen können, als würden sie lokal gehostet. Die gängigsten Protokolle zum Exportieren von Dateifreigaben sind das Network File System (NFS) unter Linux und das Common Internet File System (CIFS) oder der Server Message Block (SMB) unter Windows.

In dieser Lösung werden verschiedene Optionen zur Freigabe von Dateien beschrieben:

Leistung und Planbarkeit aller Google Cloud Platform (GCP)-Dienste bauen auf dem Netzwerk-Stack auf, den Google über viele Jahre hinweg entwickelt hat. Mit der Jupiter-Struktur hat Google einen robusten, skalierbaren und stabilen Netzwerk-Stack aufgebaut, der weiterentwickelt werden kann, ohne dass sich dies auf Ihre Arbeitslasten auswirkt. Während Google seine Netzwerkfähigkeiten intern verbessert und ausbaut, kann Ihre Dateifreigabelösung die zusätzliche Leistung nutzen. Weitere Informationen zur Jupiter-Struktur finden Sie im Dokument von 2015, in dem die Entwicklung beschrieben wird (nur in Englisch verfügbar).

Die Möglichkeit, benutzerdefinierte VM-Typen anzugeben, ist eine Funktion der GCP, mit der Sie Ihre Investitionen optimal nutzen können. Bei der Auswahl der Größe des Filers können Sie genau die richtige Mischung aus Arbeitsspeicher und CPU auswählen, sodass der Filer mit optimaler Leistung arbeitet, ohne überzeichnet zu werden.

Außerdem ist es wichtig, auf Compute Engine die richtige Kapazität für nichtflüchtigen Speicher und die richtige Anzahl der vCPUs zu wählen, damit gewährleistet ist, dass die Speichergeräte des Dateiservers genug Speicherbandbreite, IOPS und Netzwerkbandbreite erhalten. Eine VM erhält für jede vCPU (bis zum Maximum) einen Netzwerkdurchsatz von 2 Gbit/s. Zur Feinabstimmung des nichtflüchtigen Speichers siehe Leistung nichtflüchtiger Speicher und lokaler SSDs optimieren.

Cloud Storage ist übrigens auch hervorragend dafür geeignet, Petabyte an Daten mit hoher Redundanz kostengünstig zu speichern. Cloud Storage hat jedoch ein anderes Leistungsprofil und eine andere API als die hier beschriebenen Dateiserver.

Nichtflüchtige Compute Engine-Speicher

Wenn Sie Daten haben, auf die nur eine einzelne VM zugreifen muss oder die sich im Laufe der Zeit nicht ändern, reicht der nichtflüchtige Speicher von Compute Engine möglicherweise aus und Sie können ganz auf einen Dateiserver verzichten. Nichtflüchtige Speicher können mit einem Dateisystem wie Ext4 oder XFS formatiert werden. Dazu lassen sich Volumes sowohl im Lese-/Schreibmodus als auch im schreibgeschützten Modus anhängen. Dies bedeutet, dass Sie zuerst ein Volume an eine Instanz anhängen, die benötigten Daten in das Volume laden und es dann gleichzeitig an Hunderte von virtuellen Maschinen als schreibgeschützte Festplatte anhängen können. Die Verwendung von schreibgeschützten nichtflüchtigen Speichern ist nicht in allen Fällen möglich, kann jedoch die Komplexität verglichen mit der Verwendung eines Dateiservers wesentlich reduzieren.

Nichtflüchtige Compute Engine-Speicher sind eine gute Möglichkeit, Daten in der GCP zu speichern, weil Sie mit ihnen Skalierung und Leistung gegen Kosten abwägen können. Die Größe von nichtflüchtigen Speichern kann auch spontan geändert werden, sodass Sie mit einem Volume mit niedrigen Kosten und geringer Kapazität beginnen können und nicht gezwungen sind, zusätzliche Instanzen oder Festplatten zur Skalierung Ihrer Kapazität einzurichten. Durchsatz und IOPS von nichtflüchtigen Speichern skalieren linear mit der Laufwerkskapazität (und bei SSD-Laufwerken mit den vCPUs). Dies bedeutet, dass Sie die Leistung durch eine Größenänderung skalieren können, sodass wenig oder keine Ausfallzeiten entstehen.

Ein weiterer Vorteil von nichtflüchtigen Speichern ist deren konsistente Leistung. Alle Laufwerke derselben Größe (und bei SSD-Laufwerken der gleichen Anzahl von vCPUs), die Sie Ihrer Instanz zuordnen, haben dieselben Leistungseigenschaften. Sie müssen die nichtflüchtigen Speicher nicht mehr vorwärmen oder testen, bevor Sie sie in der Produktion verwenden.

Leistung ist nicht der einzige Faktor, der einfach vorhergesagt werden kann: Die Kosten von nichtflüchtigen Speichern können einfach bestimmt werden, weil nach der Bereitstellung des Volumes keine E/A-Kosten berücksichtigt werden müssen. Kosten und Leistung können einfach abgewogen werden, weil Sie drei verschiedene Typen von nichtflüchtigen Speichern mit unterschiedlichen Kosten und Leistungseigenschaften verwenden können.

Wenn es vor allem auf die Gesamtkapazität ankommt, können Sie kostengünstige nichtflüchtige Standardspeicher verwenden. Bestmögliche Leistung bei vergleichbarer Langlebigkeit erreichen Sie, wenn Sie SSD-Laufwerke als nichtflüchtige Speicher verwenden.

Bei sitzungsspezifischen Daten, die eine in Sub-Millisekunden gemessene Latenz und hohe IOPS erfordern, können Sie bis zu 3 TB von lokalen SSDs für extreme Leistung nutzen. Lokale SSDs lassen bis zu ~ 700 K IOPS mit Geschwindigkeiten wie bei DDR2-RAM zu, ohne dass die den Instanzen zugewiesene Netzwerkkapazität aufgebraucht wird.

Einen Vergleich der vielen Datenträgertypen, die für Compute Engine-Instanzen verfügbar sind, finden Sie in der Dokumentation zu Blockspeicher.

Überlegungen bei der Auswahl einer Filer-Lösung

Bei der Auswahl einer Filer-Lösung müssen Sie Kompromisse bei Kosten, Leistung und Skalierbarkeit eingehen. Bei einer klar definierten Arbeitslast ist die Entscheidung einfacher, dies ist jedoch häufig nicht der Fall. Wenn sich die Arbeitslast im Lauf der Zeit verändert oder stark schwankt, ist eine Abwägung zwischen Kosteneinsparungen auf der einen Seite und Flexibilität und Elastizität auf der anderen Seite eine umsichtige Vorgehensweise, sodass Sie in die Lösung hineinwachsen können. Auf der anderen Seite können Sie bei einer temporären und bekannten Arbeitslast eine maßgeschneiderte Filer-Architektur erstellen, die schnell verworfen und neu erstellt werden kann, um den jeweiligen Speicheranforderungen gerecht zu werden.

Sie müssen am Anfang entscheiden, ob Sie für eine von Google verwaltete Filer-Lösung, eine unterstützte Partner-Filer-Lösung oder eine nicht unterstützte Lösung bezahlen möchten. Beachten Sie, dass für alle nicht verwalteten Lösungen eigene Administratoren benötigt werden. Für eine unterstützte Lösung braucht man deutlich weniger Ressourcen als für eine nicht unterstützte Lösung.

Anschließend müssen Sie die Anforderungen an die Langlebigkeit und Verfügbarkeit des Filers ermitteln. Die meisten Filer-Lösungen sind zonal und bieten standardmäßig keinen Schutz, wenn die Zone ausfällt. Daher sollte man sich Gedanken machen, ob eine Lösung zur Notfallwiederherstellung bei Zonenausfällen erforderlich ist. Außerdem müssen Sie die Anforderungen Ihrer Anwendung hinsichtlich Langlebigkeit und Verfügbarkeit kennen. Die Entscheidung zwischen lokalen SSDs und/oder nichtflüchtigem Speicher hat bei Ihrer Bereitstellung großen Einfluss auf die Langlebigkeit und Verfügbarkeit sowie auf die Konfiguration der Filer-Lösung. Jede Lösung erfordert eine sorgfältige Planung, um Langlebigkeit, Verfügbarkeit und Schutz vor zonalen und regionalen Ausfällen zu erreichen.

Ziehen Sie dann noch die Standorte (Zonen, Regionen, lokale Rechenzentren) in Betracht, an denen Sie auf die Daten zugreifen müssen. Die Standorte der Computerfarmen, die auf Ihre Daten zugreifen, beeinflussen die Auswahl der Filer-Lösung, da man nur bei manchen Lösungen lokal und in der Cloud, also hybrid, zugreifen kann.

Filer-Optionen

Elastifile

Elastifile vereinfacht die unternehmensweite Speicherung und Datenverwaltung auf der GCP und in Hybrid-Clouds. Elastifile nutzt ein dynamisch skalierbares, verteiltes Dateisystem mit intelligentem Objekt-Tiering und bietet kostengünstigen, leistungsstarken parallelen Zugriff auf globale Daten bei gleichzeitiger strikter Konsistenz. Mit Elastifile können bestehende NFS-Anwendungen und NAS-Workflows ohne Refactoring in der Cloud ausgeführt werden. Dabei bleiben die Vorteile von Unternehmensdatendiensten (hohe Verfügbarkeit, Komprimierung, Deduplizierung, Replikation usw.) erhalten. Die native Integration mit der Google Kubernetes Engine ermöglicht nahtlose Datenpersistenz, Portabilität und die gemeinsame Nutzung containerisierter Arbeitslasten.

Elastifile ist mit nur einem Mausklick einsetzbar und skalierbar. Mit dieser Lösung können Sie die Dateisysteminfrastruktur einfach und bedarfsgerecht erstellen und erweitern. Auf diese Weise entspricht die Speicherleistung und -kapazität immer den Anforderungen Ihres dynamischen Workflows. Wenn Sie ein Elastifile-Cluster erweitern, werden sowohl die Metadaten als auch die E/A-Leistung linear skaliert. Mit dieser Skalierung können Sie eine breite Palette datenintensiver Workflows optimieren und beschleunigen, einschließlich Hochleistungs-Computing, Analysen, standortübergreifender Datenaggregierung, DevOps und vielem mehr. Daher eignet sich Elastifile hervorragend für den Einsatz in datenzentrierten Branchen wie Life Sciences, Electronic Design Automation (EDA), Öl und Gas, Finanzdienstleistungen sowie Medien und Unterhaltung.

Die CloudConnect-Funktion von Elastifile ermöglicht eine granulare, bidirektionale Datenübertragung zwischen jedem POSIX-Dateisystem und Cloud Storage. Um die Leistung zu optimieren und die Kosten zu minimieren, stellt CloudConnect sicher, dass Daten vor der Übertragung komprimiert und dedupliziert werden, und sendet nach der anfänglichen Datensynchronisierung nur Änderungen. Wenn CloudConnect für Hybrid-Cloud-Bereitstellungen eingesetzt wird, können Sie Daten effizient aus jedem lokalen NFS-Dateisystem in Cloud Storage laden und so Daten kostengünstig in die GCP übertragen. Wenn CloudConnect in der GCP eingesetzt wird, ermöglicht es ein kostenoptimiertes Data Tiering zwischen einem Elastifile-Dateisystem und Cloud Storage.

Diagramm der Datenspeicherung und -verwaltung von Elastifile

Folgen Sie für weitere Informationen diesen Links (überwiegend nur in Englisch verfügbar):

Quobyte

Quobyte ist ein paralleles, verteiltes POSIX-kompatibles Dateisystem, das in der Cloud und lokal ausgeführt wird, um Petabyte an Speicher und Millionen von IOPS bereitzustellen. Das Unternehmen wurde von ehemaligen Google-Entwicklern gegründet, die ihr umfassendes technisches Verständnis der Cloud nutzten, um das Quobyte-Dateisystem zu entwerfen und aufzubauen.

Kunden nutzen Quobyte in anspruchsvollen, umfangreichen Produktionsumgebungen in Branchen wie Biowissenschaften, Finanzdienstleistungen, Luft- und Raumfahrttechnik, Broadcasting und digitale Produktion sowie Electronic Design Automation (EDA) bis hin zu traditionellen HPC-Forschungsprojekten (High-Performance-Computing).

Quobyte unterstützt nativ alle Linux-, Windows- und NFS-Anwendungen. Vorhandene Anwendungen, neu implementierte Anwendungen und Entwickler können in derselben Umgebung arbeiten, in der Cloud oder auch lokal. Quobyte bietet optionale Cachekonsistenz für Anwendungen, die stärkere Garantien als NFS benötigen oder nicht für verteilten Einsatz entwickelt wurden. HPC-Anwendungen können außerdem davon profitieren, dass Quobyte ein paralleles Dateisystem ist, das gleichzeitige Lese- und Schreibvorgänge von mehreren Clients mit hoher Geschwindigkeit unterstützt.

Als verteiltes Dateisystem skaliert Quobyte die IOPS und den Durchsatz linear mit der Anzahl der Knoten. Dadurch werden Leistungsengpässe bei Cluster- oder Einzelsystemlösungen vermieden. Quobyte bietet Tausenden von virtuellen Maschinen (VM) mit Linux- und Windows-Clients oder containerisierten Anwendungen durch seine native Clientsoftware Zugriff auf hohe IOPS, niedrige Latenz und einen Durchsatz von mehreren GB/s. Dieser native Client kommuniziert direkt mit allen Speicher-VMs und kann sogar aus mehreren Datenreplikaten lesen, wodurch zusätzliche Latenzen und Leistungsengpässe von NFS-Gateways vermieden werden.

Innerhalb weniger Minuten können Sie Quobyte-Cluster in Compute Engine erstellen und erweitern, sodass Administratoren ganze Arbeitslasten in der Cloud ausführen oder Spitzenlasten verlagern können. Beginnen Sie mit einer einzelnen Speicher-VM und fügen Sie zusätzliche Kapazität und VMs im laufenden Betrieb hinzu. Reduzieren Sie außerdem dynamisch die Bereitstellung, wenn Ressourcen nicht mehr benötigt werden.

Standard-Linux-VMs bilden die Grundlage eines Quobyte-Clusters in Compute Engine. Das interaktive Installationsprogramm ermöglicht eine schnelle und mühelose Einrichtung. Daten werden auf den angefügten nichtflüchtigen Speichern gespeichert, die HDD- oder SSD-basiert sein können. Sie können beide Typen in einer einzigen Installation verwenden, z. B. für unterschiedliche Leistungsstufen. Die Volume-Spiegelungsfunktion ermöglicht georeferenzierte DR-Kopien (Disaster Recovery) von Volumes, die Sie auch für den schreibgeschützten Zugriff in der Remote-Region verwenden können.

Monitoring und Automatisierung sind in Quobyte integriert, was die Verwaltung eines Clusters aus mehreren hundert Speicher-VMs vereinfacht. Mit nur einem Mausklick können Sie VMs und Festplatten hinzufügen oder entfernen, neue Ressourcen sind in weniger als einer Minute verfügbar. Integrierte Echtzeitanalysen helfen dabei, die wichtigsten Speicherverbraucher und die Zugriffsmuster der Anwendung zu identifizieren.

Quobyte ist kostenlos als 45-Tage-Testlizenz unter www.quobyte.com/get-quobyte erhältlich.

Diagramm des Quobyte-Dateisystems

Quobyte unterstützt Tausende von Clients, die direkt mit allen Speicher-VMs kommunizieren, ohne dass es zu Leistungsengpässen kommt. Durch die optionale Volume-Spiegelung zwischen verschiedenen Verfügbarkeitszonen oder lokalen Clustern können Sie Volumes zwischen mehreren Standorten für schreibgeschützten Datenzugriff asynchron replizieren, z. B. für die Notfallwiederherstellung.

Avere vFXT

Für Arbeitslasten, die höchste Leseleistung erfordern, bietet Avere Systems eine überragende Lösung. Das cloudbasierte geclusterte vFXT-Cloud-Dateisystem von Avere bietet Ihren Nutzern Speichermöglichkeiten im Petabytebereich mit Millionen von IOPS.

Diagramm von Avere vFXT

Das Avere vFXT-Dateisystem ist nicht nur ein Filer, sondern auch ein Lese-/Schreibcache, der minimale Änderungen an dem vorhandenen Workflow zulässt. Dazu werden Arbeits-Datasets so nahe wie möglich bei dem Computercluster gespeichert. Mit Avere können Sie die Kosteneffizienz von Cloud Storage als Sicherungsspeicher zusammen mit der Leistung, der Skalierbarkeit und der sekundengenauen Abrechnung von Compute Engine nutzen.

Mit Avere können Sie außerdem die aktuelle lokale Speichergröße optimal nutzen. Neben dem Einsatz der GCP mit dem vFXT-Dateisystem können Sie die lokale FXT-Serie von Avere verwenden, um die Speicherung älterer Geräte und Speicherarrays in einem erweiterbaren Filer mit einem einzelnen Namespace zu vereinheitlichen.

Wenn Sie einen Wechsel weg von der lokalen Speichergröße erwägen, können Sie die FlashCloud-Technologie von Avere für die Migration zu Cloud Storage ohne Ausfallzeit für die Clients verwenden. Wenn Sie während eines kurzen Zeitraums sehr viel Speicherplatz benötigen, können Sie Ihre Arbeitslast mit Cloud Storage in die Cloud verlagern. Sie können beliebig viel Speicherplatz und Rechenleistung verwenden und die Bereitstellung dann aufheben, ohne dass weiter Kosten berechnet werden.

Avere verwendet schnelle lokale Geräte wie SSDs und RAM für das Caching des aktuell aktiven Datasets so nahe wie möglich bei Ihren Computern. Mit dem vFXT-Dateisystem können Sie die globale Redundanz und beeindruckende Skalierung von Cloud Storage nutzen und Ihren Nutzern dennoch das Gefühl vermitteln, als wären ihre Daten lokal in ihrem Computercluster enthalten.

Wenden Sie sich direkt an Avere, um Avere als Filer-Lösung einzurichten. Weitere Informationen zu Avere finden Sie in der Übersicht zur Google Cloud Platform-Integration (nur in Englisch verfügbar).

Ein-Knoten-Dateiserver

Sie können den Ein-Knoten-Dateiserver über GCP Marketplace bereitstellen. Das Deployment umfasst die Überwachung über Grafana.

Diagramm des Ein-Knoten-Dateiservers

Wenn Sie GCP Marketplace für das Deployment eines Ein-Knoten-Dateiservers verwenden, können Sie den Typ des gewünschten Sicherungslaufwerks, d. h. Standard oder SSD, konfigurieren. Sie können auch den Instanztyp und die Gesamtgröße des Datenlaufwerks konfigurieren. Beachten Sie dabei, dass die Leistung des Filers sowohl von der Größe als auch dem Typ des Datenträgers und dem Instanztyp abhängt. Typ und Größe des Datenträgers bestimmen den Gesamtdurchsatz.

Nachdem der Filer vollständig einsatzbereit ist, können Sie Freigaben mit NFS- oder SMB-Mounts von jedem Host im lokalen Subnetz bereitstellen. Beachten Sie, dass Sie mit kleineren Laufwerken beginnen und deren Größe dann nach Bedarf ändern können, um sie an Ihre Leistungs- oder Kapazitätsanforderungen anzupassen.

Wenn Sie Ausfallzeiten tolerieren können, können Sie den Filer auch hochskalieren, indem Sie die Instanz stoppen, den Instanztyp ändern und dann wieder starten. Auch wenn der Ein-Knoten-Dateiserver nicht horizontal skaliert werden kann, um einen gemeinsamen Laufwerkspool zu bilden, können Sie beliebig viele einzelne Filer erstellen. Diese Lösung könnte sich bei der Entwicklung oder dem Testen des Back-Ends eines freigegebenen Dateisystems anbieten.

Ein-Knoten-Dateiserver replizieren Daten nicht automatisch über Zonen oder Regionen hinweg. Sie können aber Snapshots des Datenlaufwerks erstellen und so regelmäßige Sicherungen durchführen. Es gibt keinen offiziellen bezahlten Support für Ein-Knoten-Dateiserver. Die Kosten für die Ausführung des Servers hängen deshalb direkt von den Instanz-, Laufwerks- und Netzwerkkosten ab. Im Allgemeinen sollte diese Option wartungsarm sein.

Panzura

Panzura ist ein führender Anbieter im Verwalten unstrukturierter Daten in der Cloud. Unternehmen aus den Bereichen Medien und Unterhaltung, Genomik, Biowissenschaften, Gesundheitswesen, Öl und Gas, Finanzdienstleistungen und anderen entscheiden sich für Panzura Freedom NAS, um ihre Dateninseln in einer Single Source of Truth (SSOT) ohne Leistungsabstriche oder das Umschreiben von Anwendungen in der Google Cloud-Plattform (GCP) zu konsolidieren. Durch die Konsolidierung unstrukturierter Daten (NFS, SMB und Object) in der GCP können Sie auf all Ihre Daten zugreifen, zusammen an diesen Daten arbeiten und diese auf Compliance prüfen.

Das Panzura CloudFS basiert auf der Freedom-Familie und ist ein skalierbares, verteiltes Dateisystem, das für die Cloud entwickelt wurde. Es enthält intelligente Dateidienste, die durch 26 Patente gestützt werden. Die Freedom-Produktfamilie ist für die folgenden Anwendungsfälle als kostengünstige Lösung geeignet: Cloudmigration, globale Zusammenarbeit sowie Such- und Analysefunktionen.

Gemeinsam bieten Panzura Freedom und die GCP führenden IT-Unternehmen folgende Möglichkeiten:

  • Migrieren Sie Tausende ältere Anwendungen zur GCP, ohne sie neu zu schreiben, Arbeitsabläufe zu ändern oder Leistungsabstriche hinzunehmen.
  • Vermeiden Sie die Multiplikation kopierter Daten bei Sicherungen und in Sekundärspeichern, indem Sie die Daten in einer Single Source of Truth konsolidieren.
  • Arbeiten Sie bei großen Projekten weltweit zusammen, um die Produktivität zu steigern und die Produkteinführungszeit zu verkürzen.
  • Modernisieren Sie Ihren alten NAS, während Sie Kosteneinsparungen von 70 % erzielen und die Dateninfrastruktur in Ihrem Rechenzentrum um 90 % reduzieren.
  • Bereiten Sie alte Banddaten für erweiterte Analysen und maschinelles Lernen wieder auf.

Weitere Informationen (nur in Englisch verfügbar):

Zusammenfassung der Dateiserveroptionen

In der folgenden Tabelle werden die Funktionen von nichtfüchtigen Speichern und drei Dateiserveroptionen zusammengefasst:

Filer-Lösung Optimales Dataset Durchsatz Verwalteter Support Exportprotokolle Hochverfügbar Hybrid
Elastifile Einige 10 TB bis > 1 PB 10 s bis 100 s Gbit/s Elastifile NFSv3 Ja Ja
Quobyte Einige 10 TB bis > 1 PB Einige 100 bis einige 1.000 Gbit/s Quobyte Native Linux- und Windows-Clients, Amazon S3, HDFS, NFSv4/3, SMB Ja Ja
Avere 10 s bis 100 s TB 10 s bis 100 s Gbit/s Avere NFSv3, SMB2 Ja Ja
Schreibgeschützter nichtflüchtiger Speicher < 64 TB 180 bis 1.200 MB/s Nein Direkte Zuordnung Nein Nein
Ein-Knoten-Dateiserver < 64 TB Bis zu 16 Gbit/s Nein NFSv3, SMB3 Nein Nein
Panzura Einige 10 TB bis > 1 PB 10 s bis 100 s Gbit/s Panzura NFSv3, NFSv4, SMB1, SMB2, SMB3 Ja Ja

Einen Vergleich der vielen Datenträgertypen, die für Compute Engine-Instanzen verfügbar sind, finden Sie in der Dokumentation zu Blockspeicher.

Hat Ihnen diese Seite weitergeholfen? Teilen Sie uns Ihr Feedback mit:

Feedback geben zu...