Cómo crear tareas de listas de aplicaciones en cola

Esta página describe cómo crear tareas y colocarlas listas de aplicaciones en cola. Cuando desees procesar una tarea, debes crear un objeto de tarea nuevo y colocarlo en una cola. Puedes especificar explícitamente el servicio y el controlador que procesarán la tarea y, de manera opcional, transferir los datos específicos de la tarea al controlador. También puedes ajustar la configuración de la tarea, como programar una hora en el futuro en la que se debe ejecutar o limitar la cantidad de veces que deseas que se reintente la tarea si falla.

Crea una tarea nueva

Para crear una tarea y poner una tarea en cola, llama a la función taskqueue.add(). Con el siguiente código, se crea una tarea que orienta el servicio llamado worker y, luego, invoca a su controlador mediante la configuración de la URL /update-counter:

class EnqueueTaskHandler(webapp2.RequestHandler):
    def post(self):
        amount = int(self.request.get('amount'))

        task = taskqueue.add(
            url='/update_counter',
            target='worker',
            params={'amount': amount})

        self.response.write(
            'Task {} enqueued, ETA {}.'.format(task.name, task.eta))

Como alternativa, puedes crear un objeto Task y llamar a su método add().

Especificar el servicio trabajador

Cuando una tarea se extrae de su cola, el servicio de lista de tareas en cola la envía a un servicio trabajador. Cada tarea tiene un destino y una URL, que son las que determinan qué servicio y controlador ejecutará la tarea en última instancia.

target

El destino especifica el servicio que recibirá la solicitud HTTP para realizar la tarea. Es una string que especifica un servicio, versión o instancia en cualquiera de los formularios canónicos. Los formatos más usados son los siguientes:

    service
    version.service
    instance.version.service

La string de destino se antepone al nombre de dominio de tu app. Existen tres formas de establecer el objetivo para una tarea:

  • Declarar el destino cuando construyes la tarea. Puedes establecer el destino de forma explícita mediante el parámetro target en la función taskqueue.add(). Consulta el ejemplo anterior.

  • Incluye una directiva target cuando definas una cola en queue.yaml, como en la definición de queue-blue. Todas las tareas agregadas a una cola con un target usarán ese destino, incluso si se asignó un destino diferente a la tarea durante el tiempo de construcción.

  • Si no se especifica ningún destino según los dos métodos descritos con anterioridad, el destino de la tarea será la versión del servicio que la pone en cola. Ten en cuenta que, si pones en cola una tarea del servicio y la versión predeterminados de esta manera, y la versión predeterminada cambia antes de que la tarea se ejecute, esta se ejecutará en la versión predeterminada nueva.

url

La url selecciona uno de los controladores en el servicio de destino, que realizará la tarea.

La url debe coincidir con uno de los patrones de URL del controlador en el servicio de destino. La url puede incluir parámetros de búsqueda si el método especificado en la tarea es GET o PULL. Si no se especifica la url, se usará la URL predeterminada /_ah/queue/[QUEUE_NAME], en la que [QUEUE_NAME] es el nombre de la cola de la tarea.

Pasa datos al controlador

Puedes pasar datos al controlador como parámetros de consulta en la URL de la tarea, pero solo si el método especificado en la tarea es GET o PULL.

También puedes usar cualquiera de los siguientes campos para agregar datos a una tarea:

  • payload, que entrega datos de la tarea en el cuerpo de la solicitud HTTP.
  • params

Estas tres llamadas son equivalentes:

taskqueue.add(method=GET, url='/update-counter?key=blue', target='worker')
taskqueue.add(url='/update-counter', params={'key': 'blue'}, target='worker')
taskqueue.add(url='/update-counter', payload="{'key': 'blue'}", target='worker')

Nombra una tarea

Cuando creas una tarea nueva, App Engine le asigna un nombre único de forma predeterminada. Sin embargo, puedes asignarle tu propio nombre a una tarea mediante el parámetro name. Una de las ventajas de asignar tus propios nombres a las tareas es que se anula la duplicación de las tareas nombradas, lo que significa que puedes usar nombres de tareas para garantizar que una tarea se agregue solo una vez. La deduplicación se mantiene durante 9 días después de que se completa o se borra una tarea.

Ten en cuenta que la lógica de deduplicación ingresa una sobrecarga de rendimiento significativa, lo que se traduce en mayores latencias y mayor potencial de tasas de error asociadas con las tareas nombradas. Estos costos pueden aumentar significativamente si los nombres de las tareas son secuenciales, como con las marcas de tiempo. Por lo tanto, si asignas tus propios nombres, te recomendamos que utilices un prefijo bien distribuido para los nombres de tareas, como un hash de los contenidos.

Si asignas tus propios nombres a las tareas, ten en cuenta que la longitud máxima del nombre es de 500 caracteres, y que el nombre puede contener letras mayúsculas y minúsculas, números y guiones.

taskqueue.add(url='/url/path', name='first-try')

Agrega tareas de manera asíncrona

De manera predeterminada, las llamadas que agregan tareas a las colas son síncronas. Las llamadas síncronas funcionan bien en la mayoría de los casos. Agregar una tarea a una cola es generalmente una operación rápida. Existe un pequeño porcentaje de operaciones de agregado de tareas que pueden tardar mucho más tiempo, pero el tiempo medio para agregar una tarea es inferior a 5 minutos.

Las operaciones de agregado de tareas a diferentes colas no se pueden agrupar, por lo que la API de listas de tareas en cola también proporciona llamadas asíncronas que te permiten agregar estas tareas en paralelo, minimizando aún más esta latencia. Esto es útil si estás creando una aplicación extremadamente sensible a la latencia, que necesita realizar varias operaciones de agregado de tareas a diferentes colas al mismo tiempo.

Si deseas realizar llamadas asíncronas a una lista de tareas en cola, usa los métodos asíncronos que proporciona la clase Queue y un objeto RPC. Llama a get_result() en el objeto RPC que se muestra para forzar la finalización de la solicitud. Cuando agregues tareas de forma asíncrona en una transacción, debes llamar a get_result() en el objeto RPC antes de confirmar la transacción para asegurarte de que finalizó la solicitud.

Cómo poner en cola tareas en transacciones de Cloud Datastore

Puedes poner una tarea en cola como parte de una transacción de Datastore para que la tarea solo esté en cola (y se garantice que lo está) si la transacción se confirma de forma correcta. Las tareas agregadas a una transacción se consideran parte de ella y tienen el mismo nivel de aislamiento y coherencia.

Una aplicación no puede insertar más de cinco tareas transaccionales en las listas de tareas en cola durante una sola transacción. Las tareas transaccionales no deben tener nombres especificados por el usuario.

En la siguiente muestra de código, se demuestra cómo insertar tareas transaccionales en una lista de aplicaciones en cola como parte de una transacción de Datastore:

from google.appengine.api import taskqueue
from google.appengine.ext import ndb

@ndb.transactional
def do_something_in_transaction():
  taskqueue.add(url='/path/to/my/worker', transactional=True)
  #...

do_something_in_transaction()

Usa la biblioteca de tarea diferida en lugar de un servicio de trabajador

Configurar un controlador para cada tarea distinta (como se describe en las secciones anteriores) puede ser complicado, al igual que la serialización y deserialización de argumentos complejos para la tarea, en especial si tienes muchas tareas diferentes, pero pequeñas, que deseas ejecutar en la cola. El SDK de Python incluye una biblioteca (google.appengine.ext.deferred) que expone una función simple que te permite omitir todo el trabajo de configurar controladores de tareas dedicados, y la serialización y deserialización de los parámetros.

Para usar esta biblioteca, debes agregar el elemento integrado deferred a app.yaml. Para obtener más información, consulta la sección de controladores integrados de la referencia de app.yaml.

Para usar la biblioteca deferred, solo pasa la función y sus argumentos a deferred.defer():

import logging

from google.appengine.ext import deferred

def do_something_expensive(a, b, c=None):
    logging.info("Doing something expensive!")
    # Do your work here

# Somewhere else
deferred.defer(do_something_expensive, "Hello, world!", 42, True)

La biblioteca deferred empaqueta la llamada a la función y sus argumentos y, luego, la agrega a la lista de tareas en cola. Cuando se ejecuta la tarea, la biblioteca deferred ejecuta do_something_expensive("Hello, world!", 42, True).

Cómo trabajar con tareas en una aplicación de varias instancias

De manera predeterminada, las listas de aplicaciones en cola utilizan el espacio de nombres actual como se establece en el administrador de espacio de nombres en el momento en que se crea la tarea. Si tu aplicación es multiusuario, consulta la API de Python 2 de espacios de nombres.

Pasos siguientes