Configurar montagens de volumes do Cloud Storage para serviços

Nesta página, você aprende a montar um bucket do Cloud Storage como um volume de armazenamento usando as montagens de volumes do Cloud Run.

Montar o bucket como um volume no Cloud Run apresenta o bucket conteúdo como arquivos no sistema de arquivos do contêiner. Depois de ativar o bucket, como um volume, você acessa o bucket como se fosse um diretório no arquivo local do sistema de arquivos, usando as operações e bibliotecas do sistema de arquivos da sua linguagem de programação em vez das bibliotecas de cliente das APIs do Google.

Você pode montar o volume como somente leitura e especificar opções de montagem.

.

Requisitos de memória

As montagens de volume do Cloud Storage usam a memória do contêiner do Cloud Run para as seguintes atividades:

  • Para todo o armazenamento em cache do Cloud Storage FUSE, o Cloud Run usa a configuração de cache de estatísticas com um Time to live (TTL) de 60 segundos por padrão. O tamanho máximo padrão do cache de estatísticas é 32 MB, e o tamanho máximo padrão do cache de tipo é 4 MB.

  • Durante a leitura, o Cloud Storage FUSE também consome memórias diferentes de caches de estatística e tipo, por exemplo, uma matriz de 1 MiB para cada arquivo que está sendo lido e para goroutines.

  • Ao gravar no Cloud Storage, o arquivo inteiro é preparado na memória do Cloud Run antes de ser gravado no Cloud Storage.

Limitações

Como o Cloud Run usa o Cloud Storage FUSE para essa montagem de volume, há algumas coisas a serem lembradas ao montar um bucket do Cloud Storage como um volume:

  • O Cloud Storage FUSE não oferece controle de simultaneidade para várias gravações (bloqueio de arquivo) no mesmo arquivo. Quando várias gravações tentam substituir um arquivo, a última é bem-sucedida e todas as anteriores são perdidas.
  • O Cloud Storage FUSE não é um sistema de arquivos totalmente compatível com POSIX. Para mais detalhes, consulte a documentação do Cloud Storage FUSE.

Caminhos não permitidos

O Cloud Run não permite montar um volume em /dev, /proc e /sys ou nos subdiretórios deles.

Antes de começar

Você precisa de um bucket do Cloud Storage para montar como o volume.

Para ter o melhor desempenho de leitura/gravação no Cloud Storage, consulte Como otimizar o desempenho da largura de banda de rede do Cloud Storage FUSE.

Funções exigidas

Para receber as permissões necessárias para configurar as montagens de volume do Cloud Storage, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para receber as permissões de que a identidade de serviço precisa para acessar o arquivo e o bucket do Cloud Storage, peça ao administrador para conceder à identidade de serviço o seguinte papel do IAM:

Para mais detalhes sobre papéis e permissões do Cloud Storage, consulte IAM para o Cloud Storage.

Para uma lista de papéis e permissões do IAM associados ao Cloud Run, consulte Papéis do IAM do Cloud Run e Permissões do IAM do Cloud Run. Se o serviço do Cloud Run interage com as APIs do Google Cloud, como as bibliotecas de cliente do Cloud, consulte o guia de configuração de identidade de serviço. Para mais informações sobre como conceder papéis, consulte permissões de implantação e gerenciar acesso.

Montar um volume do Cloud Storage

É possível montar vários buckets em diferentes caminhos de montagem. Também é possível montar um volume em mais de um contêiner usando caminhos de montagem iguais ou diferentes nos contêineres.

Ao usar vários contêineres, primeiro especifique os volumes e, depois, as montagens de volume de cada contêiner.

As montagens de volumes exigem o ambiente de execução de segunda geração. O Cloud Run selecionará automaticamente o ambiente de execução de segunda geração para seu serviço se nenhum ambiente de execução for explicitamente configurado.

Console

  1. No console do Google Cloud, acesse o Cloud Run:

    Acessar o Cloud Run

  2. Clique em Implantar contêiner e selecione Serviço para configurar um novo serviço. Se você estiver configurando um serviço atual, clique nele e em Editar e implantar nova revisão.

  3. Ao configurar um novo serviço, preencha a página inicial de configurações de serviço e clique em Contêineres, volumes, redes e segurança para expandir essa página.

  4. Clique na guia Volumes.

    imagem

    • Clique em Adicionar volume.
    • No menu suspenso Tipo de volume, selecione o bucket do Cloud Storage como o tipo.
    • No campo Nome do volume, digite o nome que você quer usar para o volume.
    • Procure e selecione o bucket do Cloud Storage a ser usado para o volume ou, se quiser, crie um novo bucket.
    • Se você quiser tornar o bucket somente leitura, marque a caixa de seleção "Somente leitura".
    • Clique em Concluído.
    • Clique na guia Contêiner:
      • Clique na guia Montagens de volumes.
      • Clique em Montar volume.
      • Selecione o volume de armazenamento no menu.
      • Especifique o caminho em que você quer montar o volume.
      • Clique em Concluir.
  5. Clique em Criar ou Implantar.

gcloud

  • Para adicionar um volume e montá-lo:

    gcloud run services update SERVICE \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

    Substitua:

    • SERVICE pelo nome do serviço;
    • MOUNT_PATH pelo caminho relativo em que você está montando o volume, por exemplo, /mnt/my-volume.
    • VOLUME_NAME pelo nome que você quiser para o volume. O valor VOLUME_NAME é usado para mapear o volume para a montagem associada.
    • BUCKET_NAME pelo nome do bucket do Cloud Storage.
  • Para montar o volume como somente leitura:

    --add-volume=name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,readonly=true
  • Se você estiver usando vários contêineres, primeiro especifique os volumes e, em seguida, as ativações de volume para cada contêiner:

    gcloud run services update SERVICE \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME \
    --container CONTAINER_1 \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH \
    --container CONTAINER_2 \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH2

YAML

  1. Se você estiver criando um novo serviço, pule esta etapa. Se você estiver atualizando um serviço, faça o download da configuração YAML correspondente:

    gcloud run services describe SERVICE --format export > service.yaml
  2. Faça as atualizações necessárias.

    apiVersion: serving.knative.dev/v1
    kind: Service
    metadata:
      name: SERVICE
    spec:
      template:
        metadata:
          annotations:
            run.googleapis.com/execution-environment: gen2
        spec:
          containers:
          - image: IMAGE_URL
            volumeMounts:
            - name: VOLUME_NAME
              mountPath: MOUNT_PATH
          volumes:
          - name: VOLUME_NAME
            csi:
              driver: gcsfuse.run.googleapis.com
              readOnly: IS_READ_ONLY
              volumeAttributes:
                bucketName: BUCKET_NAME

    Substituir

    • IMAGE_URL por uma referência à imagem de contêiner. Por exemplo, us-docker.pkg.dev/cloudrun/container/hello:latest. Se você usa o Artifact Registry, o repositório REPO_NAME já precisará ter sido criado. O URL tem o formato LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG
    • MOUNT_PATH pelo caminho relativo em que você está montando o volume, por exemplo, /mnt/my-volume.
    • VOLUME_NAME pelo nome que você quiser para o volume. O valor VOLUME_NAME é usado para mapear o volume para a montagem associada.
    • IS_READ_ONLY com True para tornar o volume somente leitura ou False para permitir gravações.
    • BUCKET_NAME pelo nome do bucket do Cloud Storage.
  3. Crie ou atualize o serviço usando o seguinte comando:

    gcloud run services replace service.yaml

Como ler e gravar em um volume

Se você usar o recurso de montagem de volume do Cloud Run, poderá acessar um volume usando as mesmas bibliotecas na linguagem de programação que você usa para ler e gravar arquivos no sistema de arquivos local.

Isso é especialmente útil se você estiver usando um contêiner existente em que espera os dados sejam armazenados no sistema de arquivos local e usa o sistema de arquivos para acessá-lo.

Os snippets a seguir pressupõem uma montagem de volume com mountPath definido como /mnt/my-volume.

Node.js

Use o módulo Sistemas de arquivos para criar um novo arquivo ou adicionar ao final de um arquivo existente no volume, /mnt/my-volume:

var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });

Python

Grave em um arquivo no volume, /mnt/my-volume:

f = open("/mnt/my-volume/sample-logfile.txt", "a")

Go

Use o pacote os para criar um novo arquivo mantido no volume, /mnt/my-volume

f, err := os.Create("/mnt/my-volume/sample-logfile.txt")

Java

Use a classe Java.io.File para criar um arquivo de registro no volume, /mnt/my-volume:

import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");

Configuração de volume usando opções de montagem

Você pode usar as opções de montagem para configurar várias propriedades da montagem de volume. As opções de montagem disponíveis permitem configurar as configurações de cache, montar um diretório específico, ativar o registro de depuração e outros comportamentos.

Especificar opções de montagem

É possível especificar opções de montagem usando a Google Cloud CLI ou o YAML.

gcloud

Para adicionar um volume e montar com opções de montagem:

gcloud beta run services update SERVICE \
    --execution-environment gen2 \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="OPTION_1=VALUE_1;OPTION_N=VALUE_N" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Substitua:

  • SERVICE pelo nome do serviço;
  • VOLUME_NAME pelo nome que você quiser para o volume. O valor VOLUME_NAME é usado para mapear o volume para a montagem associada.
  • BUCKET_NAME pelo nome do bucket do Cloud Storage.
  • OPTION_1 com a primeira opção de montagem. É possível especificar quantas opções de montagem forem necessárias, com cada opção de montagem e par de valores separados por um ponto e vírgula.
  • VALUE_1 com a configuração que você quer para a primeira opção de montagem.
  • OPTION_N com a segunda opção de montagem.
  • VALUE_N com a configuração da segunda opção de montagem.
  • MOUNT_PATH pelo caminho relativo em que você está montando o volume, por exemplo, /cache.

YAML

  1. Se você estiver criando um novo serviço, pule esta etapa. Se você estiver atualizando um serviço, faça o download da configuração YAML correspondente:

    gcloud run services describe SERVICE --format export > service.yaml
  2. Faça as atualizações necessárias.

    apiVersion: serving.knative.dev/v1
    kind: Service
    metadata:
      name: SERVICE
      annotations:
        run.googleapis.com/launch-stage: BETA
    spec:
      template:
        metadata:
          annotations:
            run.googleapis.com/execution-environment: gen2
        spec:
          containers:
          - image: IMAGE_URL
            volumeMounts:
            - name: VOLUME_NAME
              mountPath: MOUNT_PATH
          volumes:
          - name: VOLUME_NAME
            csi:
              driver: gcsfuse.run.googleapis.com
              readOnly: IS_READ_ONLY
              volumeAttributes:
                bucketName: BUCKET_NAME
                mountOptions: OPTION_1=VALUE_1,OPTION_N=VALUE_N

    Substituir

    • IMAGE_URL por uma referência à imagem de contêiner. Por exemplo, us-docker.pkg.dev/cloudrun/container/hello:latest. Se você usa o Artifact Registry, o repositório REPO_NAME já precisará ter sido criado. O URL tem o formato LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG
    • MOUNT_PATH pelo caminho relativo em que você está montando o volume, por exemplo, /cache.
    • VOLUME_NAME pelo nome que você quiser para o volume. O valor VOLUME_NAME é usado para mapear o volume para a montagem associada.
    • IS_READ_ONLY com True para tornar o volume somente leitura ou False para permitir gravações.
    • BUCKET_NAME pelo nome do bucket do Cloud Storage.
    • OPTION_1 com a primeira opção de montagem. Você pode especificar quantas opções de montagem forem necessárias, com cada opção de montagem e par de valores separados por vírgula.
    • VALUE_1 com a configuração que você quer para a primeira opção de montagem.
    • OPTION_N com a segunda opção de montagem.
    • VALUE_N com a configuração da segunda opção de montagem.
  3. Crie ou atualize o serviço usando o seguinte comando:

    gcloud run services replace service.yaml

Opções de montagem mais usadas

As opções de montagem são comumente usadas para configurar as configurações de cache, montar apenas um diretório específico do bucket do Cloud Storage, configurar a propriedade do volume (uid, gid), desativar diretórios implícitos ou especificar níveis de registro de depuração.

Configurar as configurações de cache

É possível mudar as configurações de armazenamento em cache do seu volume definindo as opções de montagem relacionadas ao armazenamento em cache. A tabela a seguir lista as configurações e os valores padrão do Cloud Run :

Configuração do cache Descrição Padrão
metadata-cache-ttl-secs Time to live (TTL) em segundos das entradas de metadados armazenadas em cache. Por exemplo, metadata-cache-ttl-secs=120s Para usar o arquivo mais atualizado, especifique um valor de 0. Para sempre usar a versão em cache, especifique um valor de -1. Para saber mais, consulte Como configurar a invalidação de cache. 60
stat-cache-max-size-mb O tamanho máximo em mebibytes (MiB) que o cache de estatísticas pode usar. O cache de estatísticas é sempre mantido por completo na memória, o que afeta o consumo de memória. Especifique um valor de 32 se a carga de trabalho envolver até 20.000 arquivos. Se a carga de trabalho for maior que 20.000 arquivos, aumente o tamanho em valores de 10 para cada 6.000 arquivos adicionais, em que o cache de estatísticas usa uma média de 1.500 MiB por arquivo.

Para permitir que o cache de estatísticas use a quantidade de memória necessária, ou seja, não definir um limite, especifique um valor de -1. Para desativar o cache de estatísticas, especifique um valor de 0.
32
type-cache-max-size-mb O tamanho máximo em MiB por diretório que o cache de tipos pode usar. O cache de tipo é sempre mantido inteiramente na memória, o que afeta o consumo de memória.

Especifique um valor de 4 se o número máximo de arquivos em um único diretório do bucket que você está ativando contiver 20.000 arquivos ou menos. Se o número máximo de arquivos em um único diretório ativado tiver mais de 20.000 arquivos, aumente o valor por 1 para cada 5.000 arquivos, uma média de aproximadamente 200 bytes por arquivo.

Para permitir que o cache de tipos use a quantidade de memória necessária, ou seja, para não especificar um limite, especifique um valor de -1.

Para desativar o cache de tipos, especifique um valor de 0.
4

O comando da Google Cloud CLI a seguir define o metadata-cache-ttl-secs como 120 segundos e aumenta a capacidade do cache de estatísticas e de tipos para 52 e 7 MiB, respectivamente:

gcloud beta run services update SERVICE \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="metadata-cache-ttl-secs=120;stat-cache-max-size-mb=52;type-cache-max-size-mb=7" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Ativar a geração de registros de depuração

Por padrão, o Cloud Storage FUSE registra eventos com gravidade Info. É possível mudar as configurações de registro usando qualquer uma das seguintes opções de montagem de severidade de registro:

  • trace
  • debug
  • info
  • warning
  • error
  • Para desativar toda a geração de registros, especifique o valor off.

Esses níveis de gravidade são ordenados do menor para o maior. Ao especificar um nível de gravidade, o Cloud Storage FUSE gera registros para eventos com um nível de gravidade igual ou maior do que o especificado. Por exemplo, quando você especifica o nível warning, o Cloud Storage FUSE gera registros de avisos e erros.

Definir a gravidade do registro em níveis acima de info pode afetar o desempenho e gerar uma grande quantidade de dados de registro. Portanto, recomendamos fazer isso apenas quando necessário.

A linha de comando a seguir ativa o registro de depuração:

gcloud beta run services update SERVICE \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="log-severity=debug" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Desativar diretórios implícitos

Para que o Cloud Storage pareça mais um sistema de arquivos padrão, o Cloud Run ativa diretórios implícitos por padrão ao montar um bucket do Cloud Storage. É possível desativar diretórios implícitos usando a opção de montagem implicit-dirs. Desativar diretórios implícitos pode melhorar o desempenho e o custo, mas tem desvantagens de compatibilidade.

O recurso de diretórios implícitos permite que o Cloud Run reconheça arquivos do Cloud Storage preexistentes cujos nomes de arquivo imitam uma estrutura de diretório, como /mydir/myfile.txt. Se você desativar os diretórios implícitos, o Cloud Run não vai conseguir listar nem ler esses arquivos.

Desabilitar diretórios implícitos reduz o número de solicitações para o Cloud Storage, o que pode melhorar o desempenho e o custo do aplicativo. Leia a documentação Arquivos e diretórios do Cloud Storage FUSE para saber mais.

A linha de comando a seguir desativa diretórios implícitos:

gcloud beta run services update SERVICE \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="implicit-dirs=false" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Montar um diretório específico no bucket do Cloud Storage

Por padrão, o Cloud Run monta o bucket do Cloud Storage inteiro, o que dá aos serviços do Cloud Run acesso a todo o conteúdo. Em alguns casos, você pode montar apenas um diretório específico. Por exemplo, no caso em que o bucket contém um grande número de arquivos, a montagem de um diretório específico pode melhorar o desempenho.

Outro exemplo é para fins de isolamento, em que você precisa de diferentes serviços para ter acesso a diferentes diretórios no bucket de armazenamento.

A linha de comando a seguir especifica o diretório a ser montado:

gcloud beta run services update SERVICE \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="only-dir=images" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Definir o volume UID e GID

Use as opções de montagem uid e gid para mudar o identificador de usuário e o identificador de grupo do volume. Isso é útil se você quiser definir a propriedade do arquivo para um usuário ou grupo específico que corresponda à identidade de um ou vários contêineres em execução. Por padrão, os volumes são de propriedade da raiz.

A linha de comando a seguir define uid e gid:

gcloud beta run services update SERVICE \
    --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME,mount-options="uid=UID;gid=GID" \
    --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH

Definir outras opções de montagem

Confira a lista completa de todas as opções de montagem compatíveis com o Cloud Run.

Diretório

  • implicit-dirs
  • only-dir
  • rename-dir-limit

Debug

  • debug_fuse_errors
  • debug_fuse
  • debug_gcs
  • debug-invariants
  • debug_mutex

Cache

  • stat-cache-capacity
  • stat-cache-ttl
  • type-cache-ttl
  • enable-nonexistent-type-cache

Permissões

  • uid
  • gid
  • file-mode
  • dir-mode

Outro

  • billing-project
  • client-protocol
  • experimental-enable-json-read
  • experimental-opentelemetry-collector-address
  • http-client-timeout
  • limit-bytes-per-sec
  • limit-ops-per-sec
  • max-conns-per-host
  • max-idle-conns-per-host
  • max-retry-sleep
  • -o
  • retry-multiplier
  • sequential-read-size-mb
  • stackdriver-export-interval

Para conferir a documentação completa das opções de montagem com suporte, consulte as opções de montagem da linha de comando do Cloud Storage FUSE.

Ver configurações de montagens de volumes

Console

  1. No console do Google Cloud, acesse a página de serviços do Cloud Run:

    Acessar jobs do Cloud Run

  2. Clique no serviço de seu interesse para abrir a página Detalhes do serviço.

  3. Clique na guia Volumes.

  4. Localize a configuração de montagens de volume na página de detalhes dos volumes.

gcloud

  1. Use o comando a seguir:

    gcloud run services describe SERVICE_NAME
  2. Localize a configuração de montagens de volume na configuração retornada.

Como otimizar o desempenho da largura de banda da rede do Cloud Storage FUSE

Para melhorar a performance de leitura e gravação, conecte seu serviço do Cloud Run a uma rede VPC usando a VPC direta e roteando todo o tráfego de saída pela rede VPC. Faça isso usando uma das opções a seguir:

Tempo de inicialização do contêiner e montagens do Cloud Storage FUSE

Usar o Cloud Storage FUSE pode aumentar um pouco o tempo de inicialização a frio do contêiner do Cloud Run porque a montagem do volume é iniciada antes de iniciar o(s) contêiner(es). Seu contêiner só será iniciado se o Cloud Storage FUSE for montado corretamente.

Observe que o Cloud Storage FUSE monta com sucesso um volume somente após estabelecer uma conexão com o Cloud Storage. Qualquer atraso na rede pode afetar o tempo de inicialização do contêiner. Da mesma forma, se a tentativa de conexão falhar, o Cloud Storage FUSE não será montado e o serviço do Cloud Run não será iniciado. Além disso, se o Cloud Storage FUSE levar mais de 30 segundos para ser montado, o serviço do Cloud Run não vai ser iniciado porque o Cloud Run tem um tempo limite total de 30 segundos para realizar todas as montagens.

Características de desempenho do Cloud Storage FUSE

Se você definir dois volumes, cada um apontando para um bucket diferente, dois processos do Cloud Storage FUSE serão iniciados. As montagens e os processos ocorrem em paralelo.

As operações que usam o Cloud Storage FUSE são afetadas pela largura de banda da rede porque o Cloud Storage FUSE se comunica com o Cloud Storage usando a API Cloud Storage. Algumas operações, como listar o conteúdo de um bucket, podem ficar lentas se a largura de banda da rede estiver baixa. Da mesma forma, a leitura de um arquivo grande pode levar tempo, já que também é limitada pela largura de banda da rede.

Quando você grava em um bucket, o Cloud Storage FUSE organiza totalmente o objeto na memória. Isso significa que a gravação de arquivos grandes é limitada pela quantidade de memória disponível para a instância do contêiner (o limite máximo de memória do contêiner é de 32 GiB).

A gravação é transferida para o bucket somente quando você executa um close ou um fsync: o objeto completo é enviado/reenviado ao bucket. A única exceção para um objeto que é totalmente reenviado para o bucket é no caso de um arquivo com conteúdo anexado quando o arquivo tem 2 MiB ou mais.

Para saber mais, acesse os recursos a seguir:

Limpar e remover volumes e montagens de volume

É possível limpar todos os volumes e montagens de volumes ou remover volumes e montagens de volumes individuais.

Limpar todos os volumes e ativações de volume

Para limpar todos os volumes e montagens de volume do serviço de contêiner único, execute o seguinte comando:

gcloud beta run services update SERVICE \
    --clear-volumes
    --clear-volume-mounts

Se você tiver vários contêineres, siga as convenções da CLI dos sidecars para limpar volumes e montagens de volume:

gcloud beta run services update SERVICE \
    --container=container1 \
    --clear-volumes
    -–clear-volume-mounts \
    --container=container2 \
    --clear-volumes \
    -–clear-volume-mounts

Remover volumes e montagens de volume individuais

Para remover um volume, você também precisa remover todas as montagens de volume que usam esse volume.

Para remover volumes ou montagens de volume individuais, use as flags remove-volume e remove-volume-mount:

gcloud beta run services update SERVICE \
    --remove-volume VOLUME_NAME \
    --container=container1 \
    --remove-volume-mount MOUNT_PATH \
    --container=container2 \
    --remove-volume-mount MOUNT_PATH