La plantilla de Pub/Sub a Redis es una canalización de transmisión que lee mensajes de una suscripción a Pub/Sub y escribe la carga útil del mensaje en Redis. El caso de uso más común de esta plantilla es exportar registros a Redis Enterprise para realizar un análisis de registros avanzado basado en búsquedas en tiempo real.
- Antes de escribir en Redis, puedes aplicar una función definida por el usuario de JavaScript a la carga útil del mensaje.
- Los mensajes con fallas de procesamiento se reenvían a un tema de mensajes no enviados de Pub/Sub para solucionar los problemas y volver a procesarlos.
- Para mayor seguridad, habilita una conexión SSL cuando configures la conexión del extremo de la base de datos. Esta plantilla no admite TLS mutua.
Requisitos de la canalización
- La suscripción de Pub/Sub de origen debe existir antes de ejecutar la canalización.
- El tema sin procesar de Pub/Sub debe existir antes de ejecutar la canalización.
- Se debe poder acceder al extremo de la base de datos de Redis desde la subred de trabajadores de Dataflow.
Parámetros de la plantilla
Parámetros obligatorios
- inputSubscription: suscripción a Pub/Sub desde la que se lee la entrada, en el formato “projects/your-project-id/subscriptions/your-subscription-name” (ejemplo: projects/your-project-id)/subscriptions/your-subscription-name).
- redisHost: Host de la base de datos de Redis. (Ejemplo: your.cloud.db.redislabs.com). La configuración predeterminada es 127.0.0.1.
- redisPort: Puerto de la base de datos de Redis. (Ejemplo: 12345). La configuración predeterminada es 6379.
- redisPassword: Contraseña de la base de datos de Redis. La configuración predeterminada es vacía.
Parámetros opcionales
- sslEnabled: Parámetro ssl de la base de datos de Redis. La configuración predeterminada es "false".
- redisSinkType: los receptores de Redis admitidos son STRING_SINK, HASH_SINK, STREAMS_SINK y LOGGING_SINK (ejemplo: STRING_SINK). La configuración predeterminada es: STRING_SINK.
- connectionTimeout: Tiempo de espera de conexión de Redis en milisegundos. (Ejemplo: 2000). La configuración predeterminada es 2000.
- ttl: Tiempo de vencimiento de la clave en segundos (ttl, el valor predeterminado para HASH_SINK es -1, es decir, sin vencimiento).
- javascriptTextTransformGcsPath: el patrón de ruta de acceso de Cloud Storage para el código JavaScript que contiene las funciones definidas por el usuario. (Por ejemplo: gs://your-bucket/your-function.js).
- javascriptTextTransformFunctionName : El nombre de la función a la que se llamará desde el archivo JavaScript. Usa solo letras, dígitos y guiones bajos. (Ejemplo: “transform” o “transform_udf1”).
- javascriptTextTransformReloadIntervalMinutes: Define el intervalo que los trabajadores pueden verificar para detectar cambios en la UDF de JavaScript a fin de volver a cargar los archivos. La configuración predeterminada es 0.
Función definida por el usuario
Para extender esta plantilla, puedes escribir una función definida por el usuario (UDF). La plantilla llama a la UDF para cada elemento de entrada. Las cargas útiles de elementos se serializan como cadenas JSON. Para obtener más información, consulta Crea funciones definidas por el usuario para plantillas de Dataflow.
Especificación de la función
La UDF tiene la siguiente especificación:
- Entrada: cadena JSON
- Resultado: una cadena o un objeto JSON en cadena
Ejecuta la plantilla
Consola
- Ve a la página Crear un trabajo a partir de una plantilla de Dataflow. Ir a Crear un trabajo a partir de una plantilla
- En el campo Nombre del trabajo, ingresa un nombre de trabajo único.
- Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es
us-central1
.Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.
- En el menú desplegable Plantilla de Dataflow, selecciona the Pub/Sub to Redis template.
- En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
- Haga clic en Ejecutar trabajo.
gcloud
En tu shell o terminal, ejecuta la plantilla:
gcloud dataflow flex-template run JOB_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_PubSub_to_Redis \ --project=PROJECT_ID \ --region=REGION_NAME \ --parameters \ inputSubscription=INPUT_SUBSCRIPTION,\ redisHost=REDIS_HOST,\ redisPort=REDIS_PORT,\ redisPassword=REDIS_PASSWORD,\
Reemplaza lo siguiente:
JOB_NAME
: Es el nombre del trabajo que elijasVERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
REGION_NAME
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
INPUT_SUBSCRIPTION
: Es la suscripción de entrada de Pub/Sub.REDIS_HOST
: el host de la base de datos de RedisREDIS_PORT
: el puerto de la base de datos de RedisREDIS_PASSWORD
: la contraseña de la base de datos de Redis
API
Para ejecutar la plantilla con la API de REST, envía una solicitud HTTP POST. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launchParameter": { "jobName": "JOB_NAME", "parameters": { "inputSubscription": "INPUT_SUBSCRIPTION", "redisHost": "REDIS_HOST", "redisPort": "REDIS_PORT", "redisPassword": "REDIS_PASSWORD", }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Cloud_PubSub_to_Redis", "environment": { "maxWorkers": "10" } } }
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud en el que deseas ejecutar el trabajo de Dataflow.JOB_NAME
: Es el nombre del trabajo que elijasVERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
LOCATION
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
INPUT_SUBSCRIPTION
: Es la suscripción de entrada de Pub/Sub.REDIS_HOST
: el host de la base de datos de RedisREDIS_PORT
: el puerto de la base de datos de RedisREDIS_PASSWORD
: la contraseña de la base de datos de Redis
¿Qué sigue?
- Obtén información sobre las plantillas de Dataflow.
- Consulta la lista de plantillas que proporciona Google.