Usar o armazenamento em cache de arquivos do Cloud Storage FUSE

O recurso de cache de arquivos do Cloud Storage FUSE é um cache de leitura baseado em cliente que permite repetir leituras de arquivos a serem disponibilizadas em um armazenamento de cache mais rápido de sua escolha. Nesta página, descrevemos como ativar e usar o armazenamento em cache de arquivos do Cloud Storage FUSE. Para ter uma visão geral do armazenamento em cache de arquivos, de estatísticas ou de tipos, consulte Visão geral do armazenamento em cache.

Antes de começar

O cache de arquivos exige que um caminho de diretório seja usado para armazenar arquivos em cache. É possível criar um novo diretório em um sistema de arquivos atual ou um novo no armazenamento provisionado. Se você estiver provisionando um novo armazenamento a ser usado, siga as instruções a seguir para criar um novo sistema de arquivos:

  1. Para formatar um disco permanente, consulte as instruções do Compute Engine sobre como formatar um disco permanente.

  2. Para criar discos RAM na memória, consulte as instruções do Compute Engine sobre como ativar discos RAM.

  3. Para formatar e ativar SSDs locais, consulte as instruções do Compute Engine para ativar SSDs locais. Para combinar vários SSDs locais em um único volume, consulte as instruções do Compute Engine sobre como adicionar um SSD local à sua VM.

Ativar e configurar o comportamento do armazenamento em cache

  1. Ative e configure o armazenamento em cache de arquivos usando o campo file-cache em um arquivo de configuração do Cloud Storage FUSE e especifique o diretório de cache que você quer usar no campo cache-dir. O cache de arquivos é desativado por padrão. Para ativar o armazenamento em cache de arquivos, transmita um diretório para o campo cache-dir.

  2. Opcional: configure o armazenamento em cache de estatísticas e de tipos usando o campo metadata-cache em um arquivo de configuração. Para saber mais sobre caches de estatísticas e tipos, consulte Visão geral do armazenamento em cache de tipos ou Visão geral do armazenamento em cache de estatísticas.

  3. Opcional: aumente o TTL das entradas em cache definindo a opção ttl-secs como um valor baseado no tempo esperado entre as leituras repetidas enquanto equilibra as necessidades de consistência. Recomendamos definir o valor de ttl-secs como o máximo permitido pela carga de trabalho. É possível configurar o TTL em um arquivo de configuração do Cloud Storage FUSE. Para mais informações sobre como configurar um TTL para entradas em cache, consulte Time to live.

    Por exemplo, o arquivo de configuração a seguir ativa o armazenamento em cache de arquivos, de estatísticas e de tipos com um TTL de 3600 segundos e o diretório de cache definido como /path/to/a/directory/. Observe que max-size-mb está definido como -1, o que configura o cache de arquivos para usar toda a capacidade disponível.

    file-cache:
  max-size-mb: -1
  cache-file-for-range-read: false

metadata-cache:
  stat-cache-max-size-mb: 32
  ttl-secs: 3600
  type-cache-max-size-mb: 4

cache-dir: /path/to/a/directory

  4. Opcional: acelere a leitura de arquivos grandes, incluindo a primeira leitura, ativando a propriedade enable-parallel-downloads, que usa vários workers para fazer o download de um arquivo grande em paralelo usando o diretório de cache de arquivos como um buffer de pré-busca. Para mais informações sobre downloads paralelos e como configurar as propriedades de suporte, consulte Melhore o desempenho de leitura usando downloads paralelos.

  5. Execute manualmente o comando ls -R no bucket ativado antes de executar a carga de trabalho para pré-preencher os metadados e garantir que o cache de tipos seja preenchido antes da primeira leitura em um método mais rápido e em lote.

A seguir