Serveurs de fichiers sur Compute Engine

Un serveur de fichiers, également appelé serveur de stockage, permet aux applications de lire et de mettre à jour les fichiers partagés sur plusieurs machines. Certaines solutions de fichiers offrent une évolutivité verticale, et consistent en un espace de stockage associé à une seule VM. D'autres offrent une évolutivité horizontale, et consistent en un cluster de VM auxquelles un espace de stockage est associé et qui indiquent un seul espace de noms de système de fichiers aux applications.

Bien que certains systèmes de fichiers fassent appel à un client POSIX natif, de nombreux serveurs de fichiers exécutent un protocole qui permet aux machines clientes d'installer un système de fichiers et d'accéder aux fichiers comme s'ils étaient hébergés en local. Les protocoles les plus couramment employés pour l'exportation de partages de fichiers sont NFS (Network File System) pour Linux, et CIFS (Common Internet File System) ou SMB (Server Message Block) pour Windows.

Cette solution décrit plusieurs options pour le partage de fichiers :

Un facteur sous-jacent des performances et de la prévisibilité de tous les services Google Cloud Platform (GCP) est la pile réseau sur laquelle Google a évolué au fil des ans. Avec la structure Jupiter, Google a mis en place une pile réseau robuste, évolutive et stable qui peut continuer à évoluer sans que cela n'affecte vos charges de travail. Au fur et à mesure que Google améliore et renforce ses capacités réseau en interne, votre solution de partage de fichiers bénéficie de performances supplémentaires. Pour en savoir plus sur la structure Jupiter, consultez l'article de 2015 décrivant son évolution.

GCP possède une fonctionnalité qui peut vous aider à tirer le meilleur parti de votre investissement, à savoir la possibilité de spécifier des types de VM personnalisés. Lorsque vous choisissez la taille de votre serveur de fichiers, vous pouvez sélectionner la combinaison adéquate de mémoire et de processeur, afin qu'il offre des performances optimales sans excès.

En outre, il est important que vous choisissiez la capacité correcte de disques persistants Compute Engine et le nombre approprié de processeurs virtuels afin de garantir que les périphériques de stockage de votre serveur de fichiers reçoivent les IOPS et la bande passante de stockage, ainsi que la bande passante réseau, qui sont requis. Une VM reçoit un débit réseau de deux Go/s pour chaque processeur virtuel (dans la limite de la valeur maximale définie). Pour régler le disque persistant, consultez la page Optimiser les performances des disques persistants et des disques SSD locaux.

Notez que Cloud Storage constitue également un excellent moyen de stocker des pétaoctets de données à des niveaux élevés de redondance et pour un coût modique. Toutefois, Cloud Storage a un profil de performances et une API différents de ceux des serveurs de fichiers décrits ici.

Disques persistants Compute Engine

Si certaines données n'ont besoin d'être accessibles que par une seule VM ou ne changent pas au fil du temps, vous pouvez peut-être recourir aux disques persistants Compute Engine et vous passer complètement d'un serveur de fichiers. Vous pouvez formater les disques persistants avec un système de fichiers tel que Ext4 ou XFS, et associer des volumes en mode lecture seule ou lecture-écriture. Cela signifie que vous pouvez d'abord associer un volume à une instance, le charger avec les données dont vous avez besoin, puis l'associer en tant que disque en lecture seule à des centaines de machines virtuelles simultanément. L'emploi de disques persistants en lecture seule ne fonctionne pas pour tous les cas d'utilisation, mais cela simplifie considérablement le processus par rapport à un serveur de fichiers.

Les disques persistants Compute Engine constituent un excellent moyen de stocker des données dans GCP, car ils vous permettent de trouver un équilibre entre d'un côté, l'évolutivité et les performances, et de l'autre, les coûts. Les disques persistants peuvent également être redimensionnés à la volée, ce qui vous permet de commencer avec un faible coût et un faible volume de capacité, sans que vous ne deviez créer des instances ou des disques supplémentaires pour augmenter la capacité. Le débit et les IOPS des disques persistants évoluent de manière linéaire en fonction de leur capacité (et des processeurs virtuels pour les disques persistants SSD). Cela signifie que vous pouvez augmenter vos performances en procédant à un redimensionnement, une opération qui nécessite peu de temps d'arrêt, voire aucun.

Un autre avantage des disques persistants est la constance de leurs performances. Tous les disques de la même taille (et ayant le même nombre de processeurs virtuels pour les disques persistants SSD) que vous associez à votre instance présentent les mêmes caractéristiques de performances. Vous n'avez pas besoin de préchauffer ou de tester les disques persistants avant de les utiliser en production.

Les performances ne sont pas le seul élément facile à prédire : le coût des disques persistants est simple à déterminer, car aucun coût d'entrée ou de sortie (E/S) n'est à prendre en compte après le provisionnement du volume. Vous pouvez facilement équilibrer les coûts et les performances, car vous avez le choix entre trois types de disques différents, qui présentent des coûts et des caractéristiques de performances variables.

Si la capacité totale constitue la principale exigence, vous pouvez utiliser des disques persistants standards à faible coût. Pour obtenir des performances optimales tout en assurant la même durabilité, vous pouvez opter pour des disques persistants SSD.

Si les données sont éphémères et exigent une latence inférieure à une milliseconde et un nombre élevé d'opérations d'entrée/sortie par seconde (IOPS), vous pouvez exploiter jusqu'à 3 To de disques SSD locaux et ainsi bénéficier de performances extrêmes. Les disques SSD locaux autorisent jusqu'à environ 700 000 IOPS à des vitesses semblables à celles de la DDR2 RAM, et ce, en n'utilisant pas toute la capacité réseau allouée à vos instances.

Pour voir une comparaison des nombreux types de disques disponibles pour les instances Compute Engine, consultez la documentation relative au stockage de blocs.

Éléments à prendre en compte lors du choix d'une solution de serveur de fichiers

Le choix d'une solution de serveur de fichiers nécessite des compromis en matière de coût, de performances et d'évolutivité. Il est plus facile de prendre une décision si la charge de travail est bien définie, mais malheureusement, ce n'est souvent pas le cas. Lorsque les charges de travail évoluent dans le temps ou sont très différentes, il est prudent de privilégier la flexibilité et l'élasticité à la réalisation d'économies, afin que vous puissiez développer votre solution. D'autre part, si vous avez une charge de travail temporelle et bien connue, vous pouvez créer une architecture de serveur de fichiers spécialement conçue à cet effet, qui peut facilement être détruite et reconstruite pour répondre à vos besoins immédiats de stockage.

L'une des premières décisions à prendre consiste à déterminer si vous souhaitez payer pour une solution de serveur de fichiers gérée par Google, une solution partenaire prise en charge ou une solution non prise en charge. Notez que toutes les solutions non gérées nécessitent une maintenance à long terme par le personnel, mais que les ressources requises pour une solution prise en charge sont considérablement inférieures à celles d'une solution non prise en charge.

La décision suivante consiste à déterminer les exigences de durabilité et de disponibilité du serveur de fichiers. La plupart des solutions de serveur de fichiers sont zonales et n'offrent pas de protection par défaut en cas de défaillance de la zone. Il est donc important de déterminer si une solution de reprise après sinistre protégeant contre les défaillances de zone est requise. Il est également crucial que vous compreniez les exigences de votre application en matière de durabilité et de disponibilité. Le choix du disque SSD local et/ou des disques persistants dans votre déploiement aura un impact important sur la durabilité et la disponibilité, tout comme la configuration de votre logiciel de solutions de serveur de fichiers. Chaque solution nécessite une planification minutieuse afin d'atteindre des niveaux élevés de durabilité, de disponibilité et même de protection contre les défaillances de zone et de région.

Enfin, examinez les emplacements (c'est-à-dire les zones, les régions, les centres de données sur site) d'où vous devez accéder aux données. Les emplacements des batteries de serveurs de calcul qui accèdent aux données influencent votre choix de solution de serveur de fichiers, car seules certaines solutions permettent un accès hybride sur site et dans le cloud.

Options de serveur de fichiers

Elastifile

Elastifile simplifie le stockage et la gestion de données d'entreprise sur GCP et sur des clouds hybrides. Elastifile offre un accès parallèle rentable et hautement performant à des données globales tout en maintenant une cohérence stricte grâce à un système de fichiers distribué et adaptable de manière dynamique avec une hiérarchisation intelligente des objets. Avec Elastifile, les applications NFS et les workflows NAS existants peuvent s'exécuter dans le cloud sans qu'une refactorisation ne soit nécessaire, en conservant cependant les avantages des services de données d'entreprise (haute disponibilité, compression, déduplication, réplication, etc.). L'intégration native à Google Kubernetes Engine permet une persistance, une portabilité et un partage transparents des données pour les charges de travail en conteneurs.

Elastifile est déployable et adaptable sur simple pression d'un bouton. Vous pouvez créer et étendre facilement et à la demande l'infrastructure du système de fichiers. Vous avez ainsi l'assurance que les performances et la capacité de stockage correspondent toujours aux exigences dynamiques du workflow. Lorsqu'un cluster Elastifile s'étend, les performances des métadonnées et des E/S évoluent de manière linéaire. Ce scaling vous permet d'améliorer et d'accélérer une large gamme de workflows consommant beaucoup de données, comme le calcul hautes performances, les analyses, l'agrégation de données intersites, DevOps, etc. Par conséquent, Elastifile convient parfaitement aux secteurs centrés sur les données, comme les sciences de la vie, l'automatisation de la conception électronique, le pétrole et le gaz, les services financiers, les médias et le divertissement.

La fonctionnalité CloudConnect d'Elastifile permet un transfert de données précis et bidirectionnel entre tout système de fichiers POSIX et Cloud Storage. Pour optimiser les performances et réduire les coûts, CloudConnect veille à ce que les données soient compressées et dédupliquées avant le transfert, et n'envoie les modifications qu'après la synchronisation initiale des données. Dans le cadre de déploiements dans des clouds hybrides, CloudConnect permet de charger efficacement des données dans Cloud Storage à partir de n'importe quel système de fichiers NFS sur site, offrant ainsi un moyen économique d'importer des données dans GCP. En cas d'utilisation dans GCP, CloudConnect permet une hiérarchisation économique des données entre un système de fichiers Elastifile et Cloud Storage.

Schéma de la gestion et du stockage de données Elastifile

Pour en savoir plus, suivez ces liens :

Quobyte

Quobyte est un système de fichiers parallèle, distribué et compatible avec POSIX, qui s'exécute dans le cloud et sur site pour fournir des pétaoctets d'espace de stockage et des millions d'IOPS. L'entreprise a été fondée par d'anciens ingénieurs de Google qui ont conçu et développé le système de fichiers Quobyte en mettant à profit leur connaissance technique approfondie du cloud.

Les clients font appel à Quobyte dans des environnements de production exigeants et à grande échelle, allant des sciences de la vie aux services financiers, en passant par l'ingénierie aérospatiale, la radiodiffusion et la production numérique, l'automatisation de la conception électronique et les projets de recherche en calcul hautes performances (HPC, High-Performance Computing) traditionnels.

Quobyte accepte de manière native toutes les applications Linux, Windows et NFS. Les applications existantes, celles nouvellement mises en œuvre et les développeurs peuvent travailler dans le même environnement, que ce soit dans le cloud ou sur site. Quobyte offre en option une cohérence de cache pour les applications nécessitant des garanties plus strictes que NFS ou n'ayant pas été conçues pour des configurations distribuées. Par ailleurs, les applications de HPC peuvent tirer parti du fait que Quobyte est un système de fichiers parallèle acceptant les lectures et les écritures simultanées de plusieurs clients à grande vitesse.

En tant que système de fichiers distribué, Quobyte adapte les IOPS et le débit de manière linéaire en fonction du nombre de nœuds, évitant ainsi les goulots d'étranglement des performances causés par des solutions de serveurs de fichiers uniques ou en cluster. Quobyte fournit un accès à des milliers d'applications en conteneurs ou de machines virtuelles (VM) clientes Linux et Windows avec un nombre élevé d'IOPS, une faible latence et un débit de plusieurs Go via son logiciel client natif. Ce client natif communique directement avec toutes les VM de stockage et peut même effectuer des opérations de lecture depuis plusieurs instances dupliquées des données, évitant ainsi les latences supplémentaires et les goulots d'étranglement des performances induits par les passerelles NFS.

Vous pouvez créer et étendre des clusters Quobyte sur Compute Engine en quelques minutes, ce qui permet aux administrateurs d'exécuter des charges de travail complètes dans le cloud ou d'exécuter des pics de charges de travail. Commencez avec une seule VM de stockage, puis ajoutez de la capacité supplémentaire et des VM à la volée. Réduisez également de manière dynamique le déploiement lorsque les ressources ne sont plus nécessaires.

Les VM Linux standards constituent la base d'un cluster Quobyte sur Compute Engine. Le programme d'installation interactif permet une configuration rapide et sans effort. Les données sont stockées sur les disques persistants associés, qui peuvent être basés sur HDD ou SSD. Vous pouvez utiliser les deux types dans une même installation, par exemple en tant que niveaux de performances différents. La fonctionnalité de mise en miroir des volumes permet d'effectuer des copies de volumes géorépliquées pour la reprise après sinistre, qui peuvent également servir pour l'accès en lecture seule dans la région distante.

La surveillance et l'automatisation sont intégrées à Quobyte, ce qui facilite la gestion d'un cluster de plusieurs centaines de VM de stockage. D'un simple clic, vous pouvez ajouter ou supprimer des VM et des disques. De nouvelles ressources sont disponibles en moins d'une minute. Les analyses en temps réel intégrées aident à identifier les principaux consommateurs d'espace de stockage et les modèles d'accès de l'application.

Quobyte est disponible gratuitement sous la forme de licence d'évaluation de 45 jours directement à l'adresse www.quobyte.com/get-quobyte.

Schéma du système de fichiers Quobyte

Avec Quobyte, des milliers de clients peuvent communiquer directement avec toutes les VM de stockage sans que cela n'entraîne de goulots d'étranglement des performances. En appliquant la mise en miroir des volumes facultative entre différentes zones de disponibilité ou différents clusters sur site, vous pouvez répliquer de manière asynchrone des volumes entre plusieurs sites (par exemple, pour la reprise après sinistre) pour un accès aux données en lecture seule.

Avere vFXT

En cas de charges de travail nécessitant des performances de lecture optimales, Avere Systems fournit la meilleure solution. Grâce au système de fichiers cloud en cluster vFXT d'Avere, vous pouvez fournir à vos utilisateurs des pétaoctets d'espace de stockage et des millions d'IOPS.

Schéma d'Avere vFXT

Avere vFXT est plus qu'un serveur de fichiers. C'est aussi un cache en lecture/écriture qui permet d'apporter des modifications minimales à votre workflow existant, en plaçant des ensembles de données de travail au plus près de votre cluster de calcul. Avec Avere, vous pouvez bénéficier de la rentabilité offerte par l'emploi de Cloud Storage comme magasin de stockage, ainsi que des performances, de l'évolutivité et de la tarification à la seconde de Compute Engine.

Avere vous permet également de tirer le meilleur parti de votre encombrement sur site actuel. En plus de pouvoir exploiter GCP avec vFXT, vous pouvez utiliser la série FXT sur site d'Avere pour unifier le stockage de vos anciens périphériques et anciennes baies de stockage dans un serveur de fichiers extensible doté d'un seul espace de noms.

Si vous envisagez de réduire votre encombrement de l'espace de stockage sur site, la technologie FlashCloud d'Avere vous permet de migrer vers Cloud Storage sans aucun temps d'arrêt pour vos clients. Si vous avez besoin d'une grande quantité d'espace de stockage pendant une brève période, vous pouvez utiliser Cloud Storage pour exécuter votre charge de travail dans le cloud. Vous pouvez employer autant de ressources de stockage et de calcul que nécessaire, puis les désactiver sans payer de frais permanents.

Avere fait appel à des périphériques locaux rapides, tels que des disques SSD et de la RAM, pour mettre en cache l'ensemble de données actuellement actif au plus près de vos périphériques de calcul. Avec vFXT, vous pouvez bénéficier de la redondance globale et de l'immense évolutivité de Cloud Storage, tout en offrant aux utilisateurs l'illusion que leurs données sont proches de leur cluster de calcul.

Pour faire d'Avere votre solution de serveur de fichiers, contactez directement Avere. Pour en savoir plus sur Avere, consultez la présentation de l'intégration à Google Cloud Platform.

Serveur de fichiers à nœud unique

Vous pouvez déployer le serveur de fichiers à nœud unique à l'aide de GCP Marketplace. Le déploiement inclut une surveillance via Grafana.

Schéma du serveur de fichiers à nœud unique

Lorsque vous déployez le serveur de fichiers à nœud unique à l'aide de GCP Marketplace, vous pouvez configurer le type de disque de sauvegarde souhaité : standard ou SSD. Vous pouvez également configurer le type d'instance et la taille totale du disque de données. N'oubliez pas que les performances de votre serveur de fichiers dépendent à la fois de la taille et du type de disque, ainsi que du type d'instance. Le type et la taille du disque déterminent le débit total.

Une fois votre serveur de fichiers entièrement déployé, vous pouvez installer vos partages à l'aide de montages NFS ou SMB à partir de n'importe quel hôte du sous-réseau local. N'oubliez pas que vous pouvez commencer avec des disques de petite taille, puis les redimensionner si nécessaire pour les adapter à vos besoins en performances ou en capacité.

Si vous pouvez tolérer des temps d'arrêt, vous pouvez également procéder à un scaling vertical du serveur de fichiers en arrêtant l'instance, en modifiant son type, puis en la redémarrant. Bien que le serveur de fichiers à nœud unique ne puisse pas évoluer horizontalement pour fournir un pool de disques partagé, vous pouvez créer autant de serveurs de fichiers que nécessaire. Cette approche peut être utile si vous effectuez un développement ou un test sur le backend d'un système de fichiers partagé.

Bien que le serveur de fichiers à nœud unique ne réplique pas automatiquement les données dans des zones ou des régions, vous pouvez créer des instantanés du disque de données afin d'effectuer des sauvegardes périodiques. Il n'existe pas d'assistance payante officielle pour le serveur de fichiers à nœud unique, les coûts de son exécution sont donc directement liés à ceux de l'instance, du disque et du réseau. En général, cette option devrait nécessiter peu de maintenance.

Récapitulatif des options de serveur de fichiers

Le tableau suivant récapitule les fonctionnalités des disques persistants et des trois options de serveur de fichiers :

Solution de serveur de fichiersEnsemble de données optimalDébitAssistance géréeProtocoles d'exportationHaute disponibilitéHybride
ElastifileDe dizaines de To à > 1 PoDe dizaines à des centaines de Go/sElastifileNFSv3OuiOui
QuobyteDe dizaines de To à > 1 PoDe centaines à des milliers de Go/sQuobyteClients natifs Linux et Windows, Amazon S3, HDFS, NFSv4/3, SMBOuiOui
AvereDe dizaines à des centaines de ToDe dizaines à des centaines de Go/sAvereNFSv3, SMB2OuiOui
Disque persistant en lecture seule< 64 ToDe 180 à 1 200 Mo/sNonAssociation directeNonNon
Serveur de fichiers à nœud unique< 64 ToJusqu'à 16 Go/sNonNFSv3, SMB3NonNon

Pour voir une comparaison des nombreux types de disques disponibles pour les instances Compute Engine, consultez la documentation relative au stockage de blocs.

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…