O Python 2 não é mais compatível com a comunidade. Recomendamos que você migre aplicativos do Python 2 para o Python 3.

Referência do queue.yaml

ID da região

O REGION_ID é um código abreviado que o Google atribui com base na região que você selecionou ao criar o aplicativo. O código não corresponde a um país ou estado, ainda que alguns IDs de região sejam semelhantes aos códigos de país e estado geralmente usados. A inclusão de REGION_ID.r em URLs do App Engine é opcional para aplicativos atuais. Em breve, será necessária para todos os aplicativos novos.

Para garantir uma transição tranquila, estamos atualizando o App Engine gradativamente para usar IDs de região. Se ainda não tivermos atualizado seu projeto do Google Cloud, você não verá um ID de região para o aplicativo. Como o ID é opcional para os aplicativos atuais, não será necessário atualizar os URLs nem fazer outras alterações quando o ID de região estiver disponível para os aplicativos atuais.

Saiba mais sobre IDs de região.

Os aplicativos que usam o SDK do App Engine para gerenciar filas de tarefas definem essas filas usando um arquivo de configuração chamado queue.yaml. É possível usar queue.yaml para configurar filas push e filas pull. Esse arquivo de configuração é opcional para filas push, que têm uma fila padrão. As filas pull devem ser configuradas especificamente em queue.yaml.

Exemplo

Este é um exemplo básico que define uma fila nomeada e substitui a taxa de processamento padrão:

queue:
- name: my-push-queue
  rate: 1/s

Veja a seguir um exemplo mais complexo de uma configuração queue.yaml que demonstra a configuração do número de tentativas de tarefas e a modificação da taxa de processamento padrão.

queue:
- name: fooqueue
  rate: 1/s
  retry_parameters:
    task_retry_limit: 7
    task_age_limit: 2d
- name: barqueue
  rate: 1/s
  retry_parameters:
    min_backoff_seconds: 10
    max_backoff_seconds: 200
    max_doublings: 0
- name: bazqueue
  rate: 1/s
  retry_parameters:
    min_backoff_seconds: 10
    max_backoff_seconds: 200
    max_doublings: 3

Sintaxe

O arquivo queue.yaml é um YAML com a diretiva raiz queue. Essa diretiva contém zero ou mais filas nomeadas. Cada definição de fila pode especificar os seguintes elementos:

Elemento Descrição
bucket_size (filas push)

Opcional. Uma fila de tarefas usa o algoritmo de bucket de token para controlar a taxa de execução da tarefa. Cada fila nomeada tem um bucket que contém tokens até o máximo especificado pelo valor bucket_size. Sempre que o aplicativo executa uma tarefa, um token é removido do bucket. Você continua processando tarefas na fila até o bucket da fila ficar sem tokens. O App Engine recarrega continuamente o bucket com novos tokens com base na taxa especificada para a fila.

O tamanho do bucket limita com que velocidade a fila é processada quando há muitas tarefas na fila e a taxa é alta. O valor máximo do tamanho do bucket é 500. Isso permite ter uma taxa alta. Dessa maneira, o processamento começará logo depois que uma tarefa for colocada na fila, mas ainda limitará o uso de recursos quando muitas tarefas forem enfileiradas em um curto período.

Se você não especificar bucket_size para uma fila, o valor padrão será 5. Recomendamos defini-lo como um valor maior, porque o tamanho padrão pode ser muito pequeno para muitos casos de uso. O tamanho recomendado é a taxa de processamento dividida por cinco (taxa/5).

Para mais informações sobre esse elemento, consulte a descrição comparativa de max_burst_size

na referência da API Cloud Tasks.
max_concurrent_requests (filas push)

Opcional. Define o número máximo de tarefas que podem ser executadas simultaneamente a partir da fila especificada. O valor é um número inteiro. Por padrão, o limite é de 1.000 tarefas por fila. O limite máximo recomendado é de 5.000 tarefas por fila. Observe que as filas podem aumentar lentamente quando forem criadas pela primeira vez ou se estiverem inativas por um tempo.

A restrição do número de tarefas simultâneas dá mais controle sobre a taxa de execução da fila e pode evitar que muitas tarefas sejam executadas de uma só vez. Isso também pode impedir a contenção do armazenamento de dados e disponibilizar recursos para outras filas ou processamento on-line.

Para mais informações sobre esse elemento, consulte a descrição comparativa de max_concurrent_dispatches na referência da API Cloud Tasks.

mode

Opcional. Identifica o modo da fila. Essa configuração assume o padrão push, identificando uma fila como fila push. Se você quiser usar filas pull, defina o modo como pull.

name

Obrigatório. O nome da fila. Esse é o nome que você especifica ao chamar QueueFactory.getQueue().

Um nome de fila pode conter letras maiúsculas e minúsculas, números e hifens. O comprimento máximo de um nome de fila é de 100 caracteres.

Todos os apps têm uma fila push chamada padrão. Essa fila tem uma taxa predefinida de cinco tarefas por segundo. No entanto, é possível alterar essa taxa por meio da definição de uma fila padrão em queue.yaml. Se você não configurar uma fila padrão no queue.yaml, ela não será exibida no Console do Google Cloud até ser usada pela primeira vez. É possível personalizar as configurações dessa fila definindo uma fila chamada default.

rate (filas push)

Obrigatório. Com que frequência as tarefas são processadas nesta fila. O valor é um número seguido por barra e uma unidade de tempo, no qual a unidade é s para segundos, m para minutos, h para horas ou d para dias. Por exemplo, o valor 5/m diz que tarefas serão processadas a uma taxa de 5 vezes por minuto. O valor máximo para rate é 500/s.

Se o número for 0 (como 0/s), a fila será considerada "pausada", e nenhuma tarefa será processada.

Para mais informações sobre esse elemento, consulte a descrição comparativa de max_dispatches_per_second na referência da API Cloud Tasks.

retry_parameters

Opcional. Configura tentativas de repetição de tarefas com falha em filas push. Essa adição permite especificar o número máximo de vezes em que tarefas com falha são repetidas em uma fila específica. Também é possível definir um limite de tempo para novas tentativas e controlar o intervalo entre elas.

Os parâmetros de repetição podem conter os seguintes subelementos:

task_retry_limit
O número de novas tentativas. Por exemplo, se o valor especificado for 0, a tarefa não será executada novamente em caso de falha. Se o valor for definido como 1 e a tarefa falhar, haverá uma nova tentativa. Se esse parâmetro não for especificado, a tarefa será repetida indefinidamente. Se task_retry_limit for especificado com task_age_limit, a tarefa será repetida até que ambos os limites sejam atingidos.
task_age_limit (filas push)
O limite de tempo para repetir uma tarefa com falha, desde o momento em que a tarefa foi executada pela primeira vez. O valor é um número seguido por uma unidade de tempo, em que a unidade é s para segundos, m para minutos, h para horas ou d para dias. Por exemplo, o valor 5d especifica um limite de cinco dias depois da primeira tentativa de execução da tarefa. Se esse parâmetro não for especificado, a tarefa será repetida indefinidamente. Se especificado com task_retry_limit, o App Engine repetirá a tarefa até que ambos os limites sejam atingidos.
min_backoff_seconds (filas push)
O número mínimo de segundos para aguardar antes de repetir uma tarefa depois que ela falhar. O valor padrão é 0.1.
max_backoff_seconds (filas push)
O número máximo de segundos para aguardar antes de repetir uma tarefa depois que ela falhar. O valor padrão é 3600.
max_doublings (filas push)
O número máximo de vezes que o intervalo entre novas tentativas de tarefas com falhas será dobrado antes que o aumento se torne constante. A constante é: 2**max_doublings * min_backoff_seconds. O valor padrão é 16.
target (filas push)

Opcional. Uma string que nomeia um serviço/versão, uma versão de front-end ou um back-end, em que todas as tarefas enfileiradas são executadas. O valor padrão é a string vazia.

A sequência é anexada ao nome do domínio do seu aplicativo ao criar a solicitação HTTP para uma tarefa. Por exemplo, se o ID do seu aplicativo for my-app e você definir o destino como my-version-dot-my-service, o nome do host do URL será definido como my-version-dot-my-service-dot-my-app.REGION_ID.r.appspot.com.

Se o destino não for especificado, as tarefas serão invocadas na mesma versão do aplicativo em que foram enfileiradas. Dessa maneira, se você tiver enfileirado uma tarefa da versão do aplicativo padrão sem especificar um destino na fila, a tarefa será invocada na versão padrão do aplicativo. Se a versão padrão do aplicativo mudar entre o momento em que a tarefa for enfileirada e o momento em que for executada, a tarefa será executada na nova versão padrão.

Se você estiver usando serviços com um arquivo de expedição, a solicitação HTTP da tarefa poderá ser interceptada e encaminhada para outro serviço.

Os seguintes elementos podem ser especificados para todas as filas em um aplicativo:

Elemento Descrição
total_storage_limit

Opcional. Uma string que substitui o limite de armazenamento da cota padrão disponível para armazenamento da fila de tarefas (100 M). Por exemplo:


total_storage_limit: 1.2G
queue:
  - name: fooqueue

Esta cota faz parte da cota de armazenamento total do aplicativo (inclusive do armazenamento de dados e do armazenamento de blobs).

Se nenhum sufixo for especificado, o número definido por você será interpretado como bytes. Os sufixos abaixo são compatíveis:

  • B (bytes)
  • K (kilobytes)
  • M (megabytes)
  • G (gigabytes)
  • T (terabytes)

Se total_storage_limit exceder o armazenamento total disponível em disco para um aplicativo, o limite será bloqueado.

Como implantar o arquivo de configuração da fila

O arquivo queue.yaml precisa estar no diretório raiz ou no diretório que define o serviço padrão.

Para implantar o arquivo de configuração de fila, execute o seguinte comando:

gcloud

gcloud app deploy queue.yaml

appcfg

Se você instalar o SDK original do App Engine, será possível executar:

appcfg.py update_queues [YOUR_APP_DIR]

Como excluir filas

Para excluir uma fila:

  1. Remova a definição da fila do arquivo queue.yaml.

  2. Faça upload da alteração no arquivo queue.yaml.

    gcloud app deploy queue.yaml
    
  3. Exclua a fila do Console do Cloud, selecione a fila e clique em Excluir fila:

    Ir para a página Filas de tarefas

Se você excluir uma fila do Console do Cloud, precisará aguardar sete dias antes de recriar outra com o mesmo nome.