La plantilla de Pub/Sub a Splunk es una canalización de transmisión que lee mensajes de una suscripción a Pub/Sub y escribe la carga útil del mensaje en Splunk usando el recopilador de eventos HTTP (HEC) de Splunk. El caso de uso más común de esta plantilla es exportar registros a Splunk. Para ver un ejemplo del flujo de trabajo subyacente, consulta Implementa exportaciones de registros listas para la producción a Splunk mediante Dataflow.
Antes de escribir en Splunk, también puedes aplicar una función definida por el usuario de JavaScript a la carga útil del mensaje. Los mensajes con fallas de procesamiento se reenvían a un tema de mensajes no enviados de Pub/Sub para solucionar los problemas y volver a procesarlos.
Como una capa adicional de protección para tu token HEC, también puedes pasar una clave de Cloud KMS junto con el parámetro de token HEC codificado en base64 encriptado con la clave de Cloud KMS. Consulta el extremo de encriptación de la API de Cloud KMS para obtener detalles adicionales sobre la encriptación de tu parámetro de token HEC.
Requisitos de la canalización
- La suscripción de Pub/Sub de origen debe existir antes de ejecutar la canalización.
- El tema sin procesar de Pub/Sub debe existir antes de ejecutar la canalización.
- Se debe poder acceder al extremo de HEC de Splunk desde la red de trabajadores de Dataflow.
- El token HEC de Splunk se debe generar y estar disponible.
Parámetros de la plantilla
Parámetro | Descripción |
---|---|
inputSubscription |
La suscripción de Pub/Sub desde la que se lee la entrada. Por ejemplo, projects/<project-id>/subscriptions/<subscription-name> . |
token |
Opcional: El token de autenticación HEC de Splunk. Se debe proporcionar si el parámetro tokenSource se establece como PLAINTEXT o KMS . |
url |
La URL de HEC de Splunk. Debe ser enrutable desde la VPC en la que se ejecuta la canalización. Por ejemplo, https://splunk-hec-host:8088. |
outputDeadletterTopic |
El tema de Pub/Sub para reenviar mensajes que no se pueden entregar. Por ejemplo, projects/<project-id>/topics/<topic-name> . |
javascriptTextTransformGcsPath |
El URI de Cloud Storage del archivo .js que define la función definida por el usuario (UDF) de JavaScript que deseas usar (opcional). Por ejemplo, gs://my-bucket/my-udfs/my_file.js .
|
javascriptTextTransformFunctionName |
El nombre de la función definida por el usuario (UDF) de JavaScript que deseas usar (opcional).
Por ejemplo, si el código de tu función de JavaScript es myTransform(inJson) { /*...do stuff...*/ } , el nombre de la función es myTransform . Para ver ejemplos de UDF de JavaScript, consulta Ejemplos de UDF.
|
javascriptTextTransformReloadIntervalMinutes |
Opcional: Especifica la frecuencia en minutos con la que se debe volver a cargar la UDF. Si el valor es mayor que 0, Dataflow verifica de forma periódica el archivo de UDF en Cloud Storage y vuelve a cargar la UDF si el archivo se modificó. Este parámetro te permite actualizar la UDF mientras se ejecuta la canalización, sin necesidad de reiniciar el trabajo. Si el valor es 0, la carga de UDF está inhabilitada. El valor predeterminado es 0. |
batchCount |
Opcional: El tamaño del lote para enviar varios eventos a Splunk. Predeterminado 1 (sin lotes). |
parallelism |
La cantidad máxima de solicitudes paralelas (opcional). Predeterminado 1 (sin paralelismo). |
disableCertificateValidation |
Opcional: Inhabilita la validación del certificado SSL. El valor predeterminado es falso (validación habilitada). Si es verdadero, los certificados no se validan (todos los certificados son de confianza) y se ignora el parámetro “rootCaCertificatePath”. |
includePubsubMessage |
Incluye el mensaje de Pub/Sub completo en la carga útil (opcional). El valor predeterminado es falso (solo se incluye el elemento de datos en la carga útil). |
tokenSource |
Fuente del token. Es uno de los siguientes: PLAINTEXT , KMS o SECRET_MANAGER . Este parámetro se debe proporcionar si se usa Secret Manager.
Si tokenSource se configura como KMS , tokenKMSEncryptionKey y el token encriptado se deben proporcionar.
Si tokenSource se configura como SECRET_MANAGER , tokenSecretId se debe proporcionar.
Si tokenSource se configura como PLAINTEXT , token se debe proporcionar. |
tokenKMSEncryptionKey |
Opcional: La clave de Cloud KMS para desencriptar la string del token HEC. Este parámetro se debe proporcionar si tokenSource se configura como KMS.
Si se proporciona la clave de Cloud KMS, la string del token HEC debe pasarse encriptada. |
tokenSecretId |
Opcional: El ID del Secret de Secret Manager para el token. Este parámetro debe proporcionarse si el tokenSource está configurado como SECRET_MANAGER.
Debe tener el formato projects/<project-id>/secrets/<secret-name>/versions/<secret-version> . |
rootCaCertificatePath |
Opcional: La URL completa al certificado de CA raíz en Cloud Storage. Por ejemplo, gs://mybucket/mycerts/privateCA.crt . El certificado provisto en Cloud Storage debe estar codificado en DER y puede proporcionarse en codificación binaria o imprimible (Base64).
Si el certificado se proporciona en codificación Base64, debe estar delimitado al comienzo por -----BEGIN CERTIFICATE----- y debe estar limitado al final por -----END CERTIFICATE-----. Si se proporciona este parámetro, este archivo de certificado de CA privado se recupera y se agrega al almacén de confianza del trabajador de Dataflow para verificar el certificado SSL del extremo del HEC de Splunk.
Si no se proporciona este parámetro, se usa el almacén de confianza predeterminado. |
enableBatchLogs |
Opcional: Especifica si se deben habilitar los registros para los lotes escritos en Splunk. Valor predeterminado: true . |
enableGzipHttpCompression |
Opcional: Especifica si las solicitudes HTTP enviadas a HEC de Splunk deben comprimirse (contenido gzip codificado). Valor predeterminado: true . |
Función definida por el usuario
Para extender esta plantilla, puedes escribir una función definida por el usuario (UDF). La plantilla llama a la UDF para cada elemento de entrada. Las cargas útiles de elementos se serializan como cadenas JSON. Para obtener más información, consulta Crea funciones definidas por el usuario para plantillas de Dataflow.
Especificación de la función
La UDF tiene la siguiente especificación:
- Entrada: el campo de datos del mensaje de Pub/Sub, serializado como una cadena JSON.
- Resultado: Los datos del evento que se enviarán al extremo de los eventos de HEC de Splunk. El resultado debe ser una cadena o un objeto JSON en cadena.
Ejecuta la plantilla
Consola
- Ve a la página Crear un trabajo a partir de una plantilla de Dataflow. Ir a Crear un trabajo a partir de una plantilla
- En el campo Nombre del trabajo, ingresa un nombre de trabajo único.
- Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es
us-central1
.Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.
- En el menú desplegable Plantilla de Dataflow, selecciona the Pub/Sub to Splunk template.
- En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
- Opcional: Para cambiar del procesamiento “exactamente una vez” al modo de transmisión al menos una vez, selecciona Al menos una vez.
- Haz clic en Ejecutar trabajo.
gcloud
En tu shell o terminal, ejecuta la plantilla:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_PubSub_to_Splunk \ --region REGION_NAME \ --staging-location STAGING_LOCATION \ --parameters \ inputSubscription=projects/PROJECT_ID/subscriptions/INPUT_SUBSCRIPTION_NAME,\ token=TOKEN,\ url=URL,\ outputDeadletterTopic=projects/PROJECT_ID/topics/DEADLETTER_TOPIC_NAME,\ javascriptTextTransformGcsPath=PATH_TO_JAVASCRIPT_UDF_FILE,\ javascriptTextTransformFunctionName=JAVASCRIPT_FUNCTION,\ batchCount=BATCH_COUNT,\ parallelism=PARALLELISM,\ disableCertificateValidation=DISABLE_VALIDATION,\ rootCaCertificatePath=ROOT_CA_CERTIFICATE_PATH
Reemplaza lo siguiente:
JOB_NAME
: Es el nombre del trabajo que elijasREGION_NAME
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
VERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
STAGING_LOCATION
: la ubicación para los archivos locales de etapa de pruebas (por ejemplo,gs://your-bucket/staging
).INPUT_SUBSCRIPTION_NAME
: Es el nombre de la suscripción a Pub/Sub.TOKEN
: Es el token del recopilador de eventos HTTP de Splunk.URL
: Es la ruta de URL para el recopilador de eventos HTTP de Splunk (por ejemplo,https://splunk-hec-host:8088
).DEADLETTER_TOPIC_NAME
: Es el nombre del tema de Pub/Sub.JAVASCRIPT_FUNCTION
es el nombre de la función definida por el usuario (UDF) de JavaScript que deseas usar.Por ejemplo, si el código de tu función de JavaScript es
myTransform(inJson) { /*...do stuff...*/ }
, el nombre de la función esmyTransform
. Para ver ejemplos de UDF de JavaScript, consulta Ejemplos de UDF.PATH_TO_JAVASCRIPT_UDF_FILE
: El URI de Cloud Storage de.js
archivo que define la función definida por el usuario (UDF) de JavaScript que deseas usar, por ejemplo:gs://my-bucket/my-udfs/my_file.js
BATCH_COUNT
: Es el tamaño del lote que se debe usar para enviar varios eventos a Splunk.PARALLELISM
: Es la cantidad de solicitudes paralelas que se usarán para enviar eventos a Splunk.DISABLE_VALIDATION
: Estrue
si deseas inhabilitar la validación del certificado SSL.ROOT_CA_CERTIFICATE_PATH
: La ruta al certificado de CA raíz en Cloud Storage (por ejemplo,gs://your-bucket/privateCA.crt
)
API
Para ejecutar la plantilla con la API de REST, envía una solicitud HTTP POST. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_PubSub_to_Splunk { "jobName": "JOB_NAME", "environment": { "ipConfiguration": "WORKER_IP_UNSPECIFIED", "additionalExperiments": [] }, "parameters": { "inputSubscription": "projects/PROJECT_ID/subscriptions/INPUT_SUBSCRIPTION_NAME", "token": "TOKEN", "url": "URL", "outputDeadletterTopic": "projects/PROJECT_ID/topics/DEADLETTER_TOPIC_NAME", "javascriptTextTransformGcsPath": "PATH_TO_JAVASCRIPT_UDF_FILE", "javascriptTextTransformFunctionName": "JAVASCRIPT_FUNCTION", "batchCount": "BATCH_COUNT", "parallelism": "PARALLELISM", "disableCertificateValidation": "DISABLE_VALIDATION", "rootCaCertificatePath": "ROOT_CA_CERTIFICATE_PATH" } }
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud en el que deseas ejecutar el trabajo de Dataflow.JOB_NAME
: Es el nombre del trabajo que elijasLOCATION
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
VERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
STAGING_LOCATION
: la ubicación para los archivos locales de etapa de pruebas (por ejemplo,gs://your-bucket/staging
).INPUT_SUBSCRIPTION_NAME
: Es el nombre de la suscripción a Pub/Sub.TOKEN
: Es el token del recopilador de eventos HTTP de Splunk.URL
: Es la ruta de URL para el recopilador de eventos HTTP de Splunk (por ejemplo,https://splunk-hec-host:8088
).DEADLETTER_TOPIC_NAME
: Es el nombre del tema de Pub/Sub.JAVASCRIPT_FUNCTION
es el nombre de la función definida por el usuario (UDF) de JavaScript que deseas usar.Por ejemplo, si el código de tu función de JavaScript es
myTransform(inJson) { /*...do stuff...*/ }
, el nombre de la función esmyTransform
. Para ver ejemplos de UDF de JavaScript, consulta Ejemplos de UDF.PATH_TO_JAVASCRIPT_UDF_FILE
: El URI de Cloud Storage de.js
archivo que define la función definida por el usuario (UDF) de JavaScript que deseas usar, por ejemplo:gs://my-bucket/my-udfs/my_file.js
BATCH_COUNT
: Es el tamaño del lote que se debe usar para enviar varios eventos a Splunk.PARALLELISM
: Es la cantidad de solicitudes paralelas que se usarán para enviar eventos a Splunk.DISABLE_VALIDATION
: Estrue
si deseas inhabilitar la validación del certificado SSL.ROOT_CA_CERTIFICATE_PATH
: La ruta al certificado de CA raíz en Cloud Storage (por ejemplo,gs://your-bucket/privateCA.crt
)
¿Qué sigue?
- Obtén información sobre las plantillas de Dataflow.
- Consulta la lista de plantillas que proporciona Google.