Serveurs de fichiers sur Compute Engine

Un serveur de fichiers, également appelé serveur de stockage, permet aux applications de lire et de mettre à jour les fichiers partagés sur plusieurs machines. Certaines solutions de fichiers offrent une évolutivité verticale, et consistent en un espace de stockage associé à une seule VM. D'autres offrent une évolutivité horizontale, et consistent en un cluster de VM auxquelles un espace de stockage est associé et qui indiquent un seul espace de noms de système de fichiers aux applications.

Bien que certains systèmes de fichiers fassent appel à un client POSIX natif, de nombreux serveurs de fichiers exécutent un protocole qui permet aux machines clientes d'installer un système de fichiers et d'accéder aux fichiers comme s'ils étaient hébergés en local. Les protocoles les plus couramment employés pour l'exportation de partages de fichiers sont NFS (Network File System) pour Linux, et CIFS (Common Internet File System) ou SMB (Server Message Block) pour Windows.

Cette solution décrit les options suivantes pour le partage de fichiers :

Disques persistants Compute Engine

Solutions de serveur de fichiers gérées :

Solutions de serveur de fichiers avec assistance dans GCP Marketplace :

Solutions de serveur de fichiers avec assistance mis à disposition par nos partenaires :

Solutions de serveur de fichiers sans assistance :

Un facteur sous-jacent des performances et de la prévisibilité de tous les services Google Cloud Platform (GCP) est la pile réseau sur laquelle Google a évolué au fil des ans. Avec la structure Jupiter, Google a mis en place une pile réseau robuste, évolutive et stable qui peut continuer à évoluer sans que cela n'affecte vos charges de travail. Au fur et à mesure que Google améliore et renforce ses capacités réseau en interne, votre solution de partage de fichiers bénéficie de performances supplémentaires. Pour en savoir plus sur la structure Jupiter, consultez l'article de 2015 décrivant son évolution.

GCP possède une fonctionnalité qui peut vous aider à tirer le meilleur parti de votre investissement, à savoir la possibilité de spécifier des types de VM personnalisés. Lorsque vous choisissez la taille de votre serveur de fichiers, vous pouvez sélectionner la combinaison adéquate de mémoire et de processeur, afin qu'il offre des performances optimales sans excès.

En outre, il est important que vous choisissiez la capacité correcte de disques persistants Compute Engine et le nombre approprié de processeurs virtuels afin de garantir que les périphériques de stockage de votre serveur de fichiers reçoivent les IOPS et la bande passante de stockage, ainsi que la bande passante réseau, qui sont requis. Une VM reçoit un débit réseau de deux Go/s pour chaque processeur virtuel (dans la limite de la valeur maximale définie). Pour régler le disque persistant, consultez la page Optimiser les performances des disques persistants et des disques SSD locaux.

Notez que Cloud Storage constitue également un excellent moyen de stocker des pétaoctets de données à des niveaux élevés de redondance et pour un coût modique. Toutefois, Cloud Storage a un profil de performances et une API différents de ceux des serveurs de fichiers décrits ici.

Disques persistants Compute Engine

Si certaines données n'ont besoin d'être accessibles que par une seule VM ou ne changent pas au fil du temps, vous pouvez peut-être recourir aux disques persistants Compute Engine et vous passer complètement d'un serveur de fichiers. Vous pouvez formater les disques persistants avec un système de fichiers tel que Ext4 ou XFS, et associer des volumes en mode lecture seule ou lecture-écriture. Cela signifie que vous pouvez d'abord associer un volume à une instance, le charger avec les données dont vous avez besoin, puis l'associer en tant que disque en lecture seule à des centaines de machines virtuelles simultanément. L'emploi de disques persistants en lecture seule ne fonctionne pas pour tous les cas d'utilisation, mais cela simplifie considérablement le processus par rapport à un serveur de fichiers.

Les disques persistants offrent des performances constantes. Tous les disques de la même taille (et ayant le même nombre de processeurs virtuels pour les disques persistants SSD) que vous associez à votre instance présentent les mêmes caractéristiques de performances. Vous n'avez pas besoin de préchauffer ou de tester les disques persistants avant de les utiliser en production.

Le coût des disques persistants est simple à déterminer, car aucun coût d'E/S n'est à prendre en compte après le provisionnement du volume. Les disques persistants peuvent également être redimensionnés à la volée, ce qui vous permet de commencer avec un faible coût et un faible volume de capacité, sans que vous ne deviez créer des instances ou des disques supplémentaires pour augmenter la capacité.

Si la capacité totale constitue la principale exigence, vous pouvez utiliser des disques persistants standards à faible coût. Pour obtenir des performances optimales tout en assurant la même durabilité, vous pouvez opter pour des disques persistants SSD.

Si les données sont éphémères et exigent une latence inférieure à une milliseconde et un nombre élevé d'opérations d'E/S par seconde (IOPS), vous pouvez exploiter jusqu'à 3 To de disques SSD locaux et ainsi bénéficier de performances extrêmes. Les disques SSD locaux autorisent jusqu'à environ 700 000 IOPS à des vitesses semblables à celles de la DDR2 RAM, et ce, en n'utilisant pas toute la capacité réseau allouée à vos instances.

Pour voir une comparaison des nombreux types de disques disponibles pour les instances Compute Engine, consultez la documentation relative au stockage de blocs.

Éléments à prendre en compte lors du choix d'une solution de serveur de fichiers

Le choix d'une solution de serveur de fichiers nécessite des compromis en matière de gestion, de coût, de performances et d'évolutivité. Il est plus facile de prendre une décision si la charge de travail est bien définie, ce qui n'est souvent pas le cas. Lorsque les charges de travail évoluent dans le temps ou sont très différentes, il est prudent de privilégier la flexibilité et l'élasticité à la réalisation d'économies, afin que vous puissiez développer votre solution. D'autre part, si vous avez une charge de travail temporelle et bien connue, vous pouvez créer une architecture de serveur de fichiers spécialement conçue à cet effet, qui peut facilement être détruite et reconstruite pour répondre à vos besoins immédiats de stockage.

L'une des premières décisions à prendre consiste à déterminer si vous souhaitez payer pour un service de serveur de fichiers géré, une solution de serveur de fichiers avec une assistance technique ou une solution sans assistance technique.

  • Les services de serveur de fichiers gérés sont les plus faciles à utiliser, car toutes les opérations sont gérées par Google ou par un partenaire. Ces services de serveur de fichiers peuvent même fournir un contrat de niveau de service pour la disponibilité, comme la plupart des autres services GCP.
  • Les solutions non gérées mais fournissant une assistance technique offrent une flexibilité supplémentaire. Les partenaires peuvent vous aider en cas de problème, mais le fonctionnement quotidien du serveur de fichiers est du ressort de l'utilisateur.
  • Les solutions sans assistance technique nécessitent le plus d'efforts en termes de déploiement et de maintenance. C'est à l'utilisateur de résoudre tous les problèmes.

La décision suivante consiste à déterminer les exigences de durabilité et de disponibilité du serveur de fichiers. La plupart des solutions de serveur de fichiers sont zonales et n'offrent pas de protection par défaut en cas de défaillance de la zone. Il est donc important de déterminer si une solution de reprise après sinistre protégeant contre les défaillances de zone est requise. Il est également crucial que vous compreniez les exigences de votre application en matière de durabilité et de disponibilité. Par exemple, le choix du disque SSD local ou des disques persistants dans votre déploiement a un impact important, tout comme la configuration de votre logiciel de solutions de serveur de fichiers. Chaque solution nécessite une planification minutieuse afin d'atteindre des niveaux élevés de durabilité, de disponibilité et même de protection contre les défaillances de zone et de région.

Enfin, examinez les emplacements (c'est-à-dire les zones, les régions, les centres de données sur site) d'où vous devez accéder aux données. Les emplacements des batteries de serveurs de calcul qui accèdent aux données influencent votre choix de solution de serveur de fichiers, car seules certaines solutions permettent un accès hybride sur site et dans le cloud.

Solutions de serveur de fichiers gérées

Cloud Filestore

Cloud Filestore est une solution de stockage en réseau (NAS) entièrement gérée par Google.

Il est très facile d'installer des partages de fichiers Cloud Filestore sur des VM Compute Engine. Cloud Filestore est également étroitement intégré à Google Kubernetes Engine, ce qui signifie que vos conteneurs peuvent référencer les mêmes données partagées.

Cloud Filestore propose deux niveaux de performance : standard et premium. Les deux niveaux offrent une performance constante et des coûts prévisibles.

Pour en savoir plus, suivez ces liens :

NetApp Cloud Volumes

Le service NetApp Cloud Volumes pour Google Cloud Platform est un service de stockage cloud natif entièrement géré, intégré à la console GCP. Il offre une facturation transparente et une assistance Google.

Ce service vous permet d'installer rapidement un espace de stockage partagé persistant dans vos instances de calcul. Cet espace de stockage offre un débit élevé aux applications à faible latence, ainsi que des fonctions de protection des données solides (instantanés et copies). Avec une architecture de niveau entreprise, le service offre de hautes performances aux charges de travail séquentielles et aléatoires, qui peuvent évoluer sur des centaines, voire des milliers, d'instances de calcul Compute Engine. En quelques secondes, les volumes dont la taille varie de 1 To à 100 To peuvent être provisionnés et protégés avec des instantanés automatisés et économes en espace. Les commandes permettant d'installer les volumes créés sur des instances de calcul sont disponibles dans la console GCP, pour une expérience utilisateur optimale.

Architecture des services NetApp Cloud Volumes

Il est inutile de réécrire les applications, car Cloud Volumes fournit les éléments compatibles avec POSIX requis par un large éventail de charges de travail basées sur les fichiers, y compris du contenu Web et rich media, utilisé dans de nombreux secteurs, tels que le pétrole et le gaz, l'automatisation de la conception électronique, les médias et le divertissement.

Avec ses trois niveaux de service (Standard, Premium et Extrême) modifiables à la demande, le service Cloud Volumes pour Google Cloud Platform offre des performances adaptées à vos charges de travail, sans affecter leur disponibilité. NetApp peut également vous aider à synchroniser vos données entre les services sur site et Cloud Volumes pour Google Cloud Platform.

Pour en savoir plus, suivez ces liens :

Elastifile

Elastifile simplifie le stockage et la gestion de données d'entreprise sur GCP et sur des clouds hybrides. Elastifile offre un accès parallèle rentable et hautement performant à des données globales tout en maintenant une cohérence stricte grâce à un système de fichiers distribué et adaptable de manière dynamique avec une hiérarchisation intelligente des objets. Avec Elastifile, les applications NFS et les workflows NAS existants peuvent s'exécuter dans le cloud sans qu'une refactorisation ne soit nécessaire, en conservant cependant les avantages des services de données d'entreprise (haute disponibilité, compression, déduplication, réplication, etc.). L'intégration native à Google Kubernetes Engine permet une persistance, une portabilité et un partage transparents des données pour les charges de travail en conteneurs.

Elastifile est déployable et adaptable sur simple pression d'un bouton. Vous pouvez créer et étendre facilement et à la demande l'infrastructure du système de fichiers. Vous avez ainsi l'assurance que les performances et la capacité de stockage correspondent toujours aux exigences dynamiques du workflow. Lorsqu'un cluster Elastifile s'étend, les performances des métadonnées et des E/S évoluent de manière linéaire. Ce scaling vous permet d'améliorer et d'accélérer une large gamme de workflows consommant beaucoup de données, comme le calcul hautes performances, les analyses, l'agrégation de données intersites, DevOps, etc. Par conséquent, Elastifile convient parfaitement aux secteurs centrés sur les données, comme les sciences de la vie, l'automatisation de la conception électronique, le pétrole et le gaz, les services financiers, les médias et le divertissement.

La fonctionnalité CloudConnect d'Elastifile permet un transfert de données précis et bidirectionnel entre tout système de fichiers POSIX et Cloud Storage. Pour optimiser les performances et réduire les coûts, CloudConnect veille à ce que les données soient compressées et dédupliquées avant le transfert, et n'envoie les modifications qu'après la synchronisation initiale des données. Dans le cadre de déploiements dans des clouds hybrides, CloudConnect permet de charger efficacement des données dans Cloud Storage à partir de n'importe quel système de fichiers NFS sur site, offrant ainsi un moyen économique d'importer des données dans GCP. En cas d'utilisation dans GCP, CloudConnect permet une hiérarchisation économique des données entre un système de fichiers Elastifile et Cloud Storage.

Schéma de la gestion et du stockage de données Elastifile

Pour en savoir plus, suivez ces liens :

Solutions de serveur de fichiers avec assistance dans GCP Marketplace

Panzura

Panzura est un leader dans la gestion de données non structurées dans le cloud. Les entreprises dans les secteurs du multimédia et du divertissement, de la génomique, des sciences de la vie, de la santé, du pétrole et du gaz ou encore des services financiers font confiance à Panzura Freedom NAS pour regrouper leurs données en une unique source fiable dans Google Cloud Platform, sans sacrifier les performances, ni réécrire les applications. En consolidant des données non structurées (NFS, SMB et Objet) dans GCP, vous pouvez accéder à toutes vos données, collaborer sur celles-ci, les analyser et les contrôler pour en vérifier la conformité.

Panzura CloudFS est au cœur de la famille de produits Freedom et consiste en un système de fichiers distribué à évolutivité horizontale conçu spécialement pour le cloud. Il intègre des services de fichiers intelligents, protégés par 26 brevets. La famille de produits Freedom vous permet de traiter les cas d'utilisation suivants rapidement et à moindre coût : migration vers le cloud, collaboration internationale, recherche et analyse.

Ensemble, Panzura Freedom et GCP permettent aux responsables informatiques d'effectuer les opérations suivantes :

  • Migrer des milliers d'anciennes applications vers GCP sans réécrire, ni modifier les flux de travail et sans affecter les performances.
  • Éliminer la prolifération des données copiées pour la sauvegarde et le stockage secondaire en regroupant les données en une unique source de données fiable.
  • Collaborer à l'échelle mondiale sur des projets à grande échelle pour améliorer la productivité et réduire le temps de production.
  • Moderniser votre ancien NAS en réalisant une économie de 70 % et en réduisant de 90 % votre infrastructure de fichiers dans votre centre de données.
  • Réhydrater d'anciennes données sur bande pour l'analyse de données avancée et le machine learning.

En savoir plus :

Quobyte

Quobyte est un système de fichiers parallèle, distribué et compatible avec POSIX, qui s'exécute dans le cloud et sur site pour fournir des pétaoctets d'espace de stockage et des millions d'IOPS. L'entreprise a été fondée par d'anciens ingénieurs de Google qui ont conçu et développé le système de fichiers Quobyte en mettant à profit leur connaissance technique approfondie du cloud.

Les clients font appel à Quobyte dans des environnements de production exigeants et à grande échelle, allant des sciences de la vie aux services financiers, en passant par l'ingénierie aérospatiale, la radiodiffusion et la production numérique, l'automatisation de la conception électronique et les projets de recherche en calcul hautes performances (HPC, High-Performance Computing) traditionnels.

Quobyte accepte de manière native toutes les applications Linux, Windows et NFS. Les applications existantes, celles nouvellement mises en œuvre et les développeurs peuvent travailler dans le même environnement, que ce soit dans le cloud ou sur site. Quobyte offre en option une cohérence de cache pour les applications nécessitant des garanties plus strictes que NFS ou n'ayant pas été conçues pour des configurations distribuées. Par ailleurs, les applications de HPC peuvent tirer parti du fait que Quobyte est un système de fichiers parallèle acceptant les lectures et les écritures simultanées de plusieurs clients à grande vitesse.

En tant que système de fichiers distribué, Quobyte adapte les IOPS et le débit de manière linéaire en fonction du nombre de nœuds, évitant ainsi les goulots d'étranglement des performances causés par des solutions de serveurs de fichiers uniques ou en cluster. Quobyte fournit un accès à des milliers d'applications en conteneurs ou de machines virtuelles (VM) clientes Linux et Windows avec un nombre élevé d'IOPS, une faible latence et un débit de plusieurs Go via son logiciel client natif. Ce client natif communique directement avec toutes les VM de stockage et peut même effectuer des opérations de lecture depuis plusieurs instances dupliquées des données, évitant ainsi les latences supplémentaires et les goulots d'étranglement des performances induits par les passerelles NFS.

Vous pouvez créer et étendre des clusters Quobyte sur Compute Engine en quelques minutes, ce qui permet aux administrateurs d'exécuter des charges de travail complètes dans le cloud ou d'exécuter des pics de charges de travail. Commencez avec une seule VM de stockage, puis ajoutez de la capacité supplémentaire et des VM à la volée. Réduisez également de manière dynamique le déploiement lorsque les ressources ne sont plus nécessaires.

Les VM Linux standards constituent la base d'un cluster Quobyte sur Compute Engine. Le programme d'installation interactif permet une configuration rapide et sans effort. Les données sont stockées sur les disques persistants associés, qui peuvent être basés sur HDD ou SSD. Vous pouvez utiliser les deux types dans une même installation, par exemple en tant que niveaux de performances différents. La fonctionnalité de mise en miroir des volumes permet d'effectuer des copies de volumes géorépliquées pour la reprise après sinistre, qui peuvent également servir pour l'accès en lecture seule dans la région distante.

La surveillance et l'automatisation sont intégrées à Quobyte, ce qui facilite la gestion d'un cluster de plusieurs centaines de VM de stockage. D'un simple clic, vous pouvez ajouter ou supprimer des VM et des disques. De nouvelles ressources sont disponibles en moins d'une minute. Les analyses en temps réel intégrées aident à identifier les principaux consommateurs d'espace de stockage et les modèles d'accès de l'application.

Quobyte est disponible gratuitement sous la forme de licence d'évaluation de 45 jours directement à l'adresse www.quobyte.com/get-quobyte.

Schéma du système de fichiers Quobyte

Avec Quobyte, des milliers de clients peuvent communiquer directement avec toutes les VM de stockage sans que cela n'entraîne de goulots d'étranglement des performances. En appliquant la mise en miroir des volumes facultative entre différentes zones de disponibilité ou différents clusters sur site, vous pouvez répliquer de manière asynchrone des volumes entre plusieurs sites (par exemple, pour la reprise après sinistre) pour un accès aux données en lecture seule.

Solutions de serveur de fichiers avec assistance mis à disposition par nos partenaires

Avere vFXT

En cas de charges de travail nécessitant des performances de lecture optimales, Avere Systems fournit la meilleure solution. Grâce au système de fichiers cloud en cluster vFXT d'Avere, vous pouvez fournir à vos utilisateurs des pétaoctets d'espace de stockage et des millions d'IOPS.

Schéma d'Avere vFXT

Avere vFXT est plus qu'un serveur de fichiers. C'est aussi un cache en lecture/écriture qui permet d'apporter des modifications minimales à votre workflow existant, en plaçant des ensembles de données de travail au plus près de votre cluster de calcul. Avec Avere, vous pouvez bénéficier de la rentabilité offerte par l'emploi de Cloud Storage comme magasin de stockage, ainsi que des performances, de l'évolutivité et de la tarification à la seconde de Compute Engine.

Avere vous permet également de tirer le meilleur parti de votre encombrement sur site actuel. En plus de pouvoir exploiter GCP avec vFXT, vous pouvez utiliser la série FXT sur site d'Avere pour unifier le stockage de vos anciens périphériques et anciennes baies de stockage dans un serveur de fichiers extensible doté d'un seul espace de noms.

Si vous envisagez de réduire votre encombrement de l'espace de stockage sur site, la technologie FlashCloud d'Avere vous permet de migrer vers Cloud Storage sans aucun temps d'arrêt pour vos clients. Si vous avez besoin d'une grande quantité d'espace de stockage pendant une brève période, vous pouvez utiliser Cloud Storage pour exécuter votre charge de travail dans le cloud. Vous pouvez employer autant de ressources de stockage et de calcul que nécessaire, puis les désactiver sans payer de frais permanents.

Avere fait appel à des périphériques locaux rapides, tels que des disques SSD et de la RAM, pour mettre en cache l'ensemble de données actuellement actif au plus près de vos périphériques de calcul. Avec vFXT, vous pouvez bénéficier de la redondance globale et de l'immense évolutivité de Cloud Storage, tout en offrant aux utilisateurs l'illusion que leurs données sont proches de leur cluster de calcul.

Pour faire d'Avere votre solution de serveur de fichiers, contactez directement Avere. Pour en savoir plus sur Avere, consultez la présentation de l'intégration à Google Cloud Platform.

Solutions de serveur de fichiers sans assistance

Serveur de fichiers à nœud unique

Vous pouvez déployer le serveur de fichiers à nœud unique à l'aide de GCP Marketplace. Le déploiement inclut une surveillance via Grafana.

Schéma du serveur de fichiers à nœud unique

Lorsque vous déployez le serveur de fichiers à nœud unique à l'aide de GCP Marketplace, vous pouvez configurer le type de disque de sauvegarde souhaité : standard ou SSD. Vous pouvez également configurer le type d'instance et la taille totale du disque de données. N'oubliez pas que les performances de votre serveur de fichiers dépendent à la fois de la taille et du type de disque, ainsi que du type d'instance. Le type et la taille du disque déterminent le débit total.

Une fois votre serveur de fichiers entièrement déployé, vous pouvez installer vos partages à l'aide de montages NFS ou SMB à partir de n'importe quel hôte du sous-réseau local. N'oubliez pas que vous pouvez commencer avec des disques de petite taille, puis les redimensionner si nécessaire pour les adapter à vos besoins en performances ou en capacité.

Si vous pouvez tolérer des temps d'arrêt, vous pouvez également procéder à un scaling vertical du serveur de fichiers en arrêtant l'instance, en modifiant son type, puis en la redémarrant. Bien que le serveur de fichiers à nœud unique ne puisse pas évoluer horizontalement pour fournir un pool de disques partagé, vous pouvez créer autant de serveurs de fichiers que nécessaire. Cette approche peut être utile si vous effectuez un développement ou un test sur le backend d'un système de fichiers partagé.

Bien que le serveur de fichiers à nœud unique ne réplique pas automatiquement les données dans des zones ou des régions, vous pouvez créer des instantanés du disque de données afin d'effectuer des sauvegardes périodiques. Il n'existe pas d'assistance payante officielle pour le serveur de fichiers à nœud unique, les coûts de son exécution sont donc directement liés à ceux de l'instance, du disque et du réseau. En général, cette option devrait nécessiter peu de maintenance.

Récapitulatif des options de serveur de fichiers

Le tableau suivant récapitule les fonctionnalités des disques persistants et des options de serveur de fichiers :

Solution de serveur de fichiers Ensemble de données optimal Débit Assistance gérée Protocoles d'exportation Haute disponibilité Mixte
Cloud Filestore De 1 To à 63,9 To De 100 Mo/s à 1,2 Go/s Service entièrement géré par Google NFSv3 Oui Non
NetApp Cloud Volumes De 1 To à 1 Po De dizaines à des centaines de Go/s Service entièrement géré par Google et NetApp NFSv3 Oui Oui
Elastifile De dizaines de To à > 1 Po De dizaines à des centaines de Go/s Elastifile NFSv3 Oui Oui
Quobyte De dizaines de To à > 1 Po De centaines à des milliers de Go/s Quobyte Clients natifs Linux et Windows, Amazon S3, HDFS, NFSv4/3, SMB Oui Oui
Avere De dizaines à des centaines de To De dizaines à des centaines de Go/s Avere NFSv3, SMB2 Oui Oui
Disque persistant en lecture seule < 64 To De 180 à 1 200 Mo/s Non Association directe Non Non
Serveur de fichiers à nœud unique < 64 To Jusqu'à 16 Go/s Non NFSv3, SMB3 Non Non
Panzura De dizaines de To à > 1 Po De dizaines à des centaines de Go/s Panzura NFSv3, NFSv4, SMB1, SMB2, SMB3 Oui Oui
Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…