Dateiserver in Compute Engine

Mit einem Dateiserver, auch als Storage-Filer bezeichnet, können Anwendungen Dateien lesen und aktualisieren, die von mehreren Rechnern gemeinsam verwendet werden. Manche Dateilösungen skalieren vertikal. Sie bestehen aus einem Speicher, der an eine einzelne VM angehängt ist. Andere Lösungen skalieren horizontal. Diese setzen sich aus einem Cluster von VMs mit angehängtem Speicher zusammen, der für die Anwendungen einen einzelnen Dateisystem-Namespace bereitstellt.

Einige Dateisysteme verwenden einen nativen POSIX-Client. Viele Dateiserver nutzen allerdings ein Protokoll, mit dem Clientrechner ein Dateisystem bereitstellen und auf die Dateien zugreifen können, als würden sie lokal gehostet. Die gängigsten Protokolle zum Exportieren von Dateifreigaben sind das Network File System (NFS) unter Linux und das Common Internet File System (CIFS) bzw. der Server Message Block (SMB) unter Windows.

In dieser Lösung werden die folgenden Optionen zur Freigabe von Dateien beschrieben:

Nichtflüchtige Compute Engine-Speicher und lokale SSDs

Verwaltete Filer-Lösungen:

Unterstützte Filer-Lösungen in Cloud Marketplace:

Leistung und Planbarkeit aller Google Cloud-Dienste bauen auf dem Netzwerk-Stack auf, den Google über viele Jahre hinweg entwickelt hat. Mit der Jupiter-Struktur hat Google einen robusten, skalierbaren und stabilen Netzwerk-Stack aufgebaut, der weiterentwickelt werden kann, ohne dass sich dies auf Ihre Arbeitslasten auswirkt. Während Google seine Netzwerkfähigkeiten intern verbessert und ausbaut, kann Ihre Dateifreigabelösung die zusätzliche Leistung nutzen. Weitere Informationen zur Jupiter-Struktur finden Sie in diesem Dokument von 2015, in dem die Entwicklung beschrieben wird.

Die Möglichkeit, benutzerdefinierte VM-Typen anzugeben, ist ein Feature von Google Cloud, mit dem Sie Ihre Investitionen optimal nutzen können. Bei der Auswahl der Größe des Filers können Sie genau die richtige Mischung aus Arbeitsspeicher und CPU auswählen, sodass der Filer mit optimaler Leistung arbeitet, ohne dass Sie unnötige Ressourcen abonnieren.

Außerdem ist es wichtig, auf Compute Engine die richtige Kapazität für nichtflüchtigen Speicher und die richtige Anzahl der vCPUs zu wählen, damit gewährleistet ist, dass die Speichergeräte des Dateiservers genug Speicherbandbreite, IOPS und Netzwerkbandbreite erhalten. Eine VM erhält für jede vCPU (bis zum Maximum) einen Netzwerkdurchsatz von 2 Gbit/s. Zur Feinabstimmung des nichtflüchtigen Speichers siehe Blockspeicherleistung.

Cloud Storage ist übrigens auch hervorragend dafür geeignet, Petabyte an Daten mit hoher Redundanz kostengünstig zu speichern. Cloud Storage hat jedoch ein anderes Leistungsprofil und eine andere API als die hier beschriebenen Dateiserver.

Zusammenfassung der Dateiserveroptionen

In der folgenden Tabelle werden die Funktionen bzw. Optionen von nichtflüchtigen Speichern und dem Filer zusammengefasst:

Filer-Lösung Optimales Dataset Durchsatz Verwalteter Support Exportprotokolle
Filestore 1 TB bis 64 TB Bis zu 1,2 GB/s Von Google vollständig verwalteter Dienst NFSv3
NetApp Cloud Volumes 1 TB bis 100 TB Bis zu 4,5 GB/s Von Google und NetApp vollständig verwalteter Dienst NFSv3, NFSv4, SMB2, SMB3
Elastifile (von Google Cloud erworben) Einige 10 TB bis > 1 PB Bis zu einigen 10 GB/s Elastifile (von Google Cloud erworben) NFSv3
PowerScale 108 TiB bis zu 50 PiB Bis zu 97 MB/s pro TiB Von Google und Dell Technologies vollständig verwalteter Dienst NFSv3, NFSv4, SMB1, SMB2, SMB3, HDFS (auf Anfrage)
Panzura Einige 10 TB bis > 1 PB Bis zu mehreren GB/s Panzura NFSv3, NFSv4, SMB1, SMB2, SMB3
Schreibgeschützter nichtflüchtiger Speicher < 64 TB 240 bis 1.200 MB/s Nein Direkte Zuordnung

Nichtflüchtige Compute Engine-Speicher und lokale SSDs

Wenn Sie Daten haben, auf die nur eine einzelne VM zugreifen muss oder die sich im Laufe der Zeit nicht ändern, reicht der nichtflüchtige Speicher von Compute Engine möglicherweise aus und Sie können ganz auf einen Dateiserver verzichten. Nichtflüchtige Speicher können mit einem Dateisystem wie Ext4 oder XFS formatiert werden. Dazu lassen sich Volumes sowohl im Lese-/Schreibmodus als auch im schreibgeschützten Modus anhängen. Dies bedeutet, dass Sie zuerst ein Volume an eine Instanz anhängen, die benötigten Daten in das Volume laden und es dann gleichzeitig an Hunderte von virtuellen Maschinen als schreibgeschützte Festplatte anhängen können. Die Verwendung von schreibgeschützten nichtflüchtigen Speichern ist nicht in allen Fällen möglich, kann jedoch die Komplexität verglichen mit der Verwendung eines Dateiservers wesentlich reduzieren.

Nichtflüchtige Speicher bieten eine konstante Leistung. Alle Speicher derselben Größe (und bei nichtflüchtigen SSD-Speichern alle Speicher mit der gleichen Anzahl von vCPUs), die Sie Ihrer Instanz anhängen, haben dieselben Leistungseigenschaften. Sie müssen die nichtflüchtigen Speicher nicht vorwärmen oder testen, bevor Sie sie in der Produktion verwenden.

Die Kosten von nichtflüchtigen Speichern können einfach bestimmt werden, weil nach der Bereitstellung des Volumes keine E/A-Kosten berücksichtigt werden müssen. Die Größe von nichtflüchtigen Speichern kann auch spontan geändert werden, sodass Sie mit einem Volume mit niedrigen Kosten und geringer Kapazität beginnen können und nicht gezwungen sind, zusätzliche Instanzen oder Speicher zur Skalierung der Kapazität einzurichten.

Wenn es vor allem auf die Gesamtspeicherkapazität ankommt, können Sie kostengünstige nichtflüchtige Standardspeicher verwenden. Bestmögliche Leistung bei vergleichbarer Langlebigkeit erreichen Sie, wenn Sie nichtflüchtigen SSD-Speicher verwenden.

Bei sitzungsspezifischen Daten, die eine Latenz von weniger als einer Millisekunde und einen hohen IOPS-Wert erfordern, können Sie für extreme Leistung bis zu 9 TB auf lokalen SSDs nutzen. Lokale SSDs bieten eine Bandbreite im Bereich von GB/s und Millionen von IOPS, ohne dass die den Instanzen zugewiesene Netzwerkkapazität aufgebraucht wird. Beachten Sie jedoch, dass mit lokalen SSDs bestimmte Kompromisse in Bezug auf Verfügbarkeit, Langlebigkeit und Flexibilität verbunden sind.

Einen Vergleich der vielen Laufwerkstypen, die für Compute Engine-Instanzen verfügbar sind, finden Sie in der Dokumentation zu Blockspeicher.

Überlegungen bei der Auswahl einer Filer-Lösung

Bei der Auswahl einer Filer-Lösung müssen Sie Kompromisse bei Verwaltung, Kosten, Leistung und Skalierbarkeit eingehen. Bei einer klar definierten Arbeitslast ist die Entscheidung einfacher, dies ist jedoch häufig nicht der Fall. Wenn sich die Arbeitslast im Lauf der Zeit verändert oder sie stark schwankt, ist eine Abwägung zwischen Kosteneinsparungen auf der einen Seite und Flexibilität und Elastizität auf der anderen Seite eine umsichtige Vorgehensweise, sodass Sie in die Lösung hineinwachsen können. Auf der anderen Seite können Sie bei einer temporären und bekannten Arbeitslast eine maßgeschneiderte Filer-Architektur entwerfen, die schnell verworfen und neu erstellt werden kann, um den jeweiligen Speicheranforderungen gerecht zu werden.

Erst einmal müssen Sie entscheiden, ob Sie für einen verwalteten Filer-Service, eine Filer-Lösung mit Produktsupport oder eine nicht unterstützte Lösung bezahlen möchten.

  • Verwaltete Filer-Dienste sind am einfachsten zu bedienen, da entweder Google oder ein Partner alle Vorgänge abwickelt. Diese Filer-Dienste können sogar ein SLA für die Verfügbarkeit bereitstellen, wie die meisten anderen Google Cloud-Dienste.
  • Nicht verwaltete und dennoch unterstützte Lösungen bieten zusätzliche Flexibilität. Partner können bei allen Problemen helfen, aber der tägliche Betrieb des Filers bleibt dem Nutzer überlassen.
  • Nicht unterstützte Lösungen erfordern den größten Aufwand für die Bereitstellung und Wartung und überlassen alle Probleme dem Nutzer. Diese Lösungen werden in diesem Dokument nicht behandelt.

Anschließend müssen Sie die Anforderungen an die Langlebigkeit und Verfügbarkeit des Filers ermitteln. Die meisten Filer-Lösungen sind zonal und bieten standardmäßig keinen Schutz, wenn die Zone ausfällt. Daher sollten Sie sich Gedanken machen, ob eine Lösung zur Notfallwiederherstellung bei Zonenausfällen erforderlich ist. Außerdem müssen Sie die Anforderungen Ihrer Anwendung hinsichtlich Langlebigkeit und Verfügbarkeit kennen. Beispielsweise hat die Entscheidung zwischen lokalen SSDs oder nichtflüchtigem Speicher bei Ihrer Bereitstellung genauso wie die Konfiguration der Filer-Lösung großen Einfluss. Jede Lösung erfordert eine sorgfältige Planung, um Langlebigkeit, Verfügbarkeit und Schutz vor zonalen und regionalen Ausfällen zu erreichen.

Ziehen Sie dann noch die Standorte (Zonen, Regionen, lokale Rechenzentren) in Betracht, an denen Sie auf die Daten zugreifen müssen. Die Standorte der Computerfarmen, die auf Ihre Daten zugreifen, beeinflussen die Auswahl der Filer-Lösung, da nur wenige Lösungen hybriden Zugriff (lokal und Cloud) zulassen.

Verwaltete Filer-Lösungen

Filestore

Filestore ist die vollständig verwaltete NAS-Lösung (Network Attached Storage) von Google.

Sie können Cloud Filestore-Dateifreigaben problemlos für Compute Engine-VMs bereitstellen. Cloud Filestore ist außerdem eng in Google Kubernetes Engine eingebunden, sodass Ihre Container auf dieselben gemeinsamen Daten verweisen können.

Filestore bietet zwei Leistungsstufen: Standard und Premium. Beide Stufen bieten konsistente Leistung und vorhersehbare Kosten.

Folgen Sie für weitere Informationen diesen Links:

NetApp Cloud Volumes

NetApp Cloud Volumes Service for Google Cloud ist ein vollständig verwalteter cloudnativer Speicherdienst, der in die Google Cloud Console eingebunden ist und nahtlose Abrechnung und Support von Google bietet.

Mit dem Dienst können Sie schnell nichtflüchtigen freigegebenen Speicher für Ihre Computing-Instanzen bereitstellen. Dieser Speicher bietet einen hohen Durchsatz für Ihre Anwendungen bei niedriger Latenz und zuverlässigen Datenschutzfunktionen (Snapshots und Kopien). Dank der Architektur für Unternehmen bietet der Dienst hohe Leistung für sequenzielle und zufällige Arbeitslasten, die auf Hunderte oder Tausende von Compute Engine-Instanzen skaliert werden können. In Sekundenschnelle können Volumes im Größenbereich von 1 TB bis 100 TB bereitgestellt und durch automatisierte platzsparende Snapshots geschützt werden. In der Cloud Console stehen Befehle zum Bereitstellen der angelegten Volumes für die Computing-Instanzen zur Verfügung, mit denen die Nutzerfreundlichkeit weiter verbessert wird.

Architektur von NetApp Cloud Volumes Services

Anwendungen müssen nicht neu geschrieben werden, da Cloud Volumes POSIX-konforme Freigaben für eine Vielzahl dateibasierter Arbeitslasten wie z. B. Web- und Rich-Media-Inhalte bietet, die in vielen Branchen wie Electronic Design Automation (EDA) sowie Medien und Unterhaltung verwendet werden.

Mit drei Serviceleveln (Standard, Premium und Extreme), die Sie bei Bedarf ändern können, bietet Cloud Volumes Service for Google Cloud die richtige Leistung für Ihre Arbeitslasten, ohne ihre Verfügbarkeit zu beeinträchtigen. NetApp kann Ihnen auch dabei helfen, Ihre Daten zwischen einer lokalen Umgebung und Cloud Volumes Service for Google Cloud zu synchronisieren.

Weitere Informationen erhalten Sie unter folgenden Links:

Elastifile (von Google Cloud erworben)

Elastifile (von Google Cloud erworben) vereinfacht die unternehmensweite Speicherung und Datenverwaltung in Google Cloud und in Hybrid-Clouds. Elastifile nutzt ein dynamisch skalierbares, verteiltes Dateisystem und bietet kostengünstigen, leistungsstarken parallelen Zugriff auf globale Daten bei gleichzeitiger strikter Konsistenz. Mit Elastifile können bestehende NFS-Anwendungen und NAS-Workflows ohne Refactoring in der Cloud ausgeführt werden. Dabei bleiben die Vorteile von Unternehmensdatendiensten erhalten (hohe Verfügbarkeit, Komprimierung, Deduplizierung, Replikation usw.). Die native Einbindung in Google Kubernetes Engine ermöglicht nahtlose Datenpersistenz, Portabilität und die gemeinsame Nutzung containerisierter Arbeitslasten.

Elastifile ist mit nur einem Mausklick einsetzbar und skalierbar. Mit dieser Lösung können Sie die Dateisysteminfrastruktur einfach und bedarfsgerecht erstellen und erweitern. Auf diese Weise entspricht die Speicherleistung und -kapazität immer den Anforderungen Ihres dynamischen Workflows. Wenn Sie ein Elastifile-Cluster erweitern, werden sowohl die Metadaten als auch die E/A-Leistung linear skaliert. Mit dieser Skalierung können Sie eine breite Palette datenintensiver Workflows optimieren und beschleunigen, einschließlich Hochleistungs-Computing, Analysen, standortübergreifender Datenaggregierung, DevOps und vielem mehr. Daher eignet sich Elastifile hervorragend für den Einsatz in datenzentrierten Branchen wie Biowissenschaften, Electronic Design Automation (EDA), Finanzdienstleistungen sowie Medien und Unterhaltung.

Die CloudConnect-Funktion von Elastifile ermöglicht eine granulare, bidirektionale Datenübertragung zwischen jedem POSIX-Dateisystem und Cloud Storage. Um die Leistung zu optimieren und die Kosten zu minimieren, sorgt CloudConnect dafür, dass Daten vor der Übertragung komprimiert und dedupliziert werden. Es sendet dann nach der anfänglichen Datensynchronisierung nur noch Änderungen. Wenn CloudConnect für Hybrid-Cloud-Bereitstellungen genutzt wird, können Sie Daten aus jedem lokalen NFS-Dateisystem effizient in Cloud Storage laden und so kostengünstig in Google Cloud nutzen. Wenn CloudConnect in Google Cloud genutzt wird, ermöglicht es ein kostenoptimiertes Data Tiering zwischen einem Elastifile-Dateisystem und Cloud Storage.

Diagramm der Datenspeicherung und -verwaltung von Elastifile

Weitere Informationen erhalten Sie unter folgenden Links:

Dell Technologies Cloud PowerScale für Google Cloud

Dell Technologies Cloud PowerScale für Google Cloud ist ein integrierter cloudnativer Dateidienst für Google Cloud-Nutzer, der von der Dell EMC PowerScale-Familie unterstützt wird. Dazu gehört PowerScale mit Isilon-Knoten, das branchenführende NAS-Speichersystem zum horizontalen Skalieren. Dieses sofort einsetzbare Angebot von Dell Technologies Services kombiniert in großem Umfang Leistung und Kapazität von PowerScale OneFS mit der Flexibilität und Wirtschaftlichkeit von Google Cloud.

PowerScale für Google Cloud ist ein einfacher, nutzerfreundlicher Dienst mit Jahresabos und garantierten, vorhersehbaren Preisen. Kunden können es einfach über Cloud Marketplace bestellen. Nach der Bereitstellung haben sie die Möglichkeit, ihre OneFS-Cluster direkt über die Google Cloud Console zu konfigurieren und zu verwalten. Google sendet eine monatliche Rechnung und stellt Support bereit, während die Experten von Dell Technologies die gesamte Lebenszyklusverwaltung für die Umgebung übernehmen.

Mit PowerScale für Google Cloud können Unternehmen eine dedizierte, sichere PowerScale-Instanz mit Zugriff im Latenzbereich von weniger als einer Millisekunde für On-Demand-Computing- und Analysedienste von Google Cloud bereitstellen und dabei die Vorteile von PowerScale nutzen, ohne Änderungen an ihren Anwendungen vornehmen zu müssen. PowerScale für Google Cloud bietet Zugriff auf mehrere Protokolle und eine horizontale Skalierung bis zu 50 PB in einem einzelnen Namespace zusammen mit anderen Features der Unternehmensklasse wie Zugriff auf mehrere Protokolle, native Replikation und Snapshots. Dank der SLAs für Verfügbarkeit und Leistung auf Unternehmensniveau können Kunden ihre bestehenden Dateispeichermöglichkeiten erweitern und neue hinzufügen, ohne zusätzliche Investitionen in Rechenzentren, Einrichtungen, Mitarbeiter, Hardware, Technik oder Einbindung vornehmen zu müssen.

Google Cloud bietet eine breite Palette von Computing- und Analysediensten für die kostengünstige On-Demand-Verarbeitung und -Analyse von dateibasierten Arbeitslasten mit hohem Durchsatz. Mit PowerScale für Google Cloud können Unternehmen die anspruchsvollsten dateibasierten Arbeitslasten in der Cloud ausführen – von Big-Data-Analysen, künstlicher Intelligenz und maschinellem Lernen bis zur Genom-Sequenzierung sowie im Bereich Medien und Unterhaltung – und dabei die Vorteile flexibler Cloud-Nutzungsmodelle und der Cloud-Ökonomie nutzen.

Architektur von Dell Technologies Cloud PowerScale für Google Cloud

Weitere Informationen erhalten Sie unter folgenden Links:

Unterstützte Filer-Lösungen in Cloud Marketplace

Die im Folgenden aufgeführten Lösungen sind in Cloud Marketplace verfügbar.

Panzura

Panzura ist ein führender Anbieter im Verwalten unstrukturierter Daten in der Cloud. Unternehmen aus den Bereichen Medien und Unterhaltung, Genomik, Biowissenschaften, Gesundheitswesen, Finanzdienstleistungen und anderen entscheiden sich für Panzura Freedom NAS, um ihre Dateninseln in einer Single Source of Truth (SSOT) ohne Leistungsabstriche oder das Umschreiben von Anwendungen in Google Cloud zu konsolidieren. Durch die Konsolidierung unstrukturierter Daten (NFS-, SMB- und Objektdaten) in Google Cloud können Sie auf all Ihre Daten zugreifen, zusammen an ihnen arbeiten und ihre Compliance prüfen und steuern.

Panzura CloudFS basiert auf der Freedom-Familie und ist ein skalierbares, verteiltes Dateisystem, das für die Cloud entwickelt wurde. Es enthält intelligente Dateidienste, die durch 26 Patente gestützt werden. Die Freedom-Produktfamilie ist für die folgenden Anwendungsfälle als kostengünstige Lösung geeignet: Cloud-Migration, globale Zusammenarbeit sowie Such- und Analysefunktionen.

Gemeinsam bieten Panzura Freedom und Google Cloud IT-Experten folgende Möglichkeiten:

  • Migrieren Sie Tausende von älteren Anwendungen zu Google Cloud, ohne sie neu schreiben, Arbeitsabläufe ändern oder Leistungsabstriche vornehmen zu müssen.
  • Vermeiden Sie die Multiplikation kopierter Daten bei Sicherungen und in Sekundärspeichern durch Konsolidierung der Daten in einer zentralen Informationsquelle.
  • Arbeiten Sie bei großen Projekten weltweit zusammen, um die Produktivität zu steigern und die Produkteinführungszeit zu verkürzen.
  • Modernisieren Sie Ihren alten NAS, während Sie Kosteneinsparungen von 70 % erzielen und die Dateninfrastruktur in Ihrem Rechenzentrum um 90 % reduzieren.
  • Bereiten Sie alte Banddaten für erweiterte Analysen und maschinelles Lernen wieder auf.

Weitere Informationen: