Fichier de configuration Cloud Storage FUSE

Cette page explique comment utiliser le fichier de configuration Cloud Storage FUSE pour configurer le comportement de Cloud Storage FUSE de manière persistante. Pour utiliser le fichier de configuration, spécifiez le chemin d'accès au fichier de configuration dans l'option --config-file lors de votre commande d'installation.

Le fichier de configuration est un fichier YAML qui utilise le format et les champs suivants. Certains champs peuvent également être spécifiés à l'aide d'options de ligne de commande.

write:
  create-empty-file: boolean
logging:
  file-path: "string"
  format: enum
  severity: enum
  log-rotate:
    max-file-size-mb: integer
    backup-file-count: integer
    compress: boolean
file-cache:
  max-size-mb: integer
  cache-file-for-range-read: boolean
metadata-cache:
  stat-cache-max-size-mb: integer
  ttl-secs:integer
  type-cache-max-size-mb: integer
cache-dir: integer

Champs de configuration

Le tableau suivant décrit les champs que vous pouvez spécifier dans votre fichier de configuration. Sauf indication contraire, tous les champs sont facultatifs.

Champ Description
create-empty-file Valeur booléenne qui indique s'il faut créer un fichier de zéro octet dans Cloud Storage lorsque vous commencez à écrire dans un nouveau fichier, sur le bucket installé. Si ce champ n'est pas spécifié, la valeur par défaut est false.
file-path Chemin d'accès au fichier journal dans lequel les journaux seront écrits, spécifié sous forme de chaîne. Par exemple, /var/log. Si ce champ n'est pas spécifié, les journaux sont acheminés vers stdout lorsque Cloud Storage FUSE s'exécute en mode premier plan et vers syslogs lorsque Cloud Storage FUSE s'exécute en mode arrière-plan.
format Format dans lequel les journaux sont générés, exprimé sous la forme d'une énumération. Les valeurs sont : text ou json. Si ce champ n'est pas spécifié, la valeur par défaut est json.
severity

Gravité des journaux que Cloud Storage FUSE doit générer, exprimée sous forme d'énumération. Les niveaux de gravité ci-après sont classés du moins grave au plus grave :

  • trace
  • debug
  • info
  • warning
  • error

Lorsque vous spécifiez un niveau de gravité, Cloud Storage FUSE génère les journaux présentant une gravité égale à ce niveau, ou supérieure. Par exemple, lorsque vous spécifiez warning, Cloud Storage FUSE génère des journaux pour les avertissements et les erreurs. Vous pouvez également spécifier off pour désactiver toute journalisation. Si l'une des trois options suivantes est également spécifiée dans votre commande, le niveau de gravité est automatiquement défini sur trace :

  • --debug_fuse
  • --debug_gcs
  • --debug_mutex

Si ce champ n'est pas spécifié, la valeur par défaut est info.

max-file-size-mb Taille maximale en mégaoctets (Mo) que les fichiers journaux peuvent atteindre avant d'être alternés. La valeur minimale est 1. Si ce champ n'est pas spécifié, la valeur par défaut est 512.
backup-file-count Nombre maximal de fichiers journaux alternés à conserver, à l'exclusion du fichier actif dans lequel les journaux sont écrits. Lorsque la valeur est définie sur 0, tous les fichiers journaux alternés sont conservés. Si ce champ n'est pas spécifié, la valeur par défaut est 10.
compress Valeur booléenne qui indique si les fichiers journaux alternés sont compressés à l'aide de gzip. Si ce champ n'est pas spécifié, la valeur par défaut est true.
max-size-mb

Taille maximale en Mio que le cache de fichiers peut utiliser. Si cette option est présente, max-size-mb active la mise en cache des fichiers dans Cloud Storage FUSE et est utile si vous souhaitez limiter la capacité totale que le cache Cloud Storage FUSE peut utiliser dans son répertoire installé.

  • Spécifiez -1 pour utiliser toute la capacité disponible du cache dans le répertoire que vous spécifiez pour cache-dir.
  • Spécifiez 0 pour désactiver le cache de fichiers.

Si ce champ n'est pas spécifié, la valeur par défaut est -1.

cache-file-for-range-read

Valeur booléenne qui détermine si l'objet complet doit être téléchargé de manière asynchrone et stocké dans le répertoire de cache Cloud Storage FUSE lorsque la première lecture est effectuée à partir d'un décalage différent de zéro. Cette valeur doit être définie sur true si vous prévoyez d'effectuer plusieurs lectures aléatoires ou partielles. Si ce champ n'est pas spécifié, la valeur par défaut est false.

Notez que si vous effectuez une lecture partielle commençant au décalage 0, Cloud Storage FUSE télécharge et met toujours en cache l'objet complet de manière asynchrone.

stat-cache-max-size-mb

Taille maximale en Mio que le cache de statistiques peut utiliser. Le cache de statistiques est toujours entièrement conservé en mémoire.

  • Spécifiez 32 si votre charge de travail implique jusqu'à 20 000 fichiers. Si votre charge de travail dépasse 20 000 fichiers, augmentez la taille avec des valeurs de 10 pour 6 000 fichiers supplémentaires, soit une moyenne d'environ 1 500 octets par fichier.
  • Spécifiez -1 pour permettre au cache de statistiques d'utiliser autant de mémoire que nécessaire.
  • Spécifiez 0 pour désactiver le cache de statistiques.

Si ce champ n'est pas spécifié, la valeur par défaut est 32.

ttl-secs

Définit la valeur TTL (Time To Live) des entrées de métadonnées mises en cache, exprimée en secondes.

  • Spécifiez -1 pour contourner le délai d'expiration TTL et diffuser le fichier à partir du cache chaque fois qu'il est disponible.
  • Spécifiez 0 pour vous assurer que le fichier le plus récent est lu. L'utilisation de cette valeur émet un appel de métadonnées Get pour s'assurer que la génération d'objets pour le fichier dans le cache correspond à ce qui est stocké dans Cloud Storage. Pour en savoir plus, consultez la section À propos de l'option ttl-secs.

Si ce champ n'est pas spécifié, la valeur par défaut est 60.

type-cache-max-size-mb

Taille maximale en Mio par répertoire que le cache de types peut utiliser. Le cache de types est toujours entièrement conservé en mémoire.

  • Spécifiez 4 si le nombre maximal de fichiers dans un seul répertoire à partir du bucket que vous installez contient 20 000 fichiers ou moins. Si le nombre maximal de fichiers dans un même répertoire que vous installez contient plus de 20 000 fichiers, augmentez la valeur de 1 pour 5 000 fichiers, soit une moyenne d'environ 200 octets par fichier.
  • Spécifiez -1 pour permettre au cache de type d'utiliser autant de mémoire que nécessaire.
  • Spécifiez 0 pour désactiver le cache de types.

Si ce champ n'est pas spécifié, la valeur par défaut est 4.

cache-dir Spécifie le répertoire où stocker les données du cache de fichiers. Ce champ doit être spécifié pour activer la mise en cache des fichiers.