O modelo do Pub/Sub para Splunk é um pipeline de streaming que lê mensagens de uma assinatura do Pub/Sub e grava o payload da mensagem no Splunk pelo Coletor de eventos HTTP (HEC, na sigla em inglês) do Splunk. O caso de uso mais comum desse modelo é exportar registros para o Splunk. Para ver um exemplo do fluxo de trabalho subjacente, consulte Como implantar exportações de registro prontas para produção no Splunk usando o Dataflow.
Antes de gravar no Splunk, também é possível aplicar uma função JavaScript definida pelo usuário ao payload da mensagem. Todas as mensagens que apresentam falhas de processamento são encaminhadas para um tópico não processado do Pub/Sub para posterior resolução de problemas e reprocessamento.
Como uma camada extra de proteção para o token HEC, é possível passar uma chave do Cloud KMS com o parâmetro de token HEC codificado em base64 criptografado com a chave do Cloud KMS. Consulte o endpoint de criptografia da API Cloud KMS para saber mais detalhes sobre como criptografar o parâmetro de token do HEC.
Requisitos de pipeline
- A inscrição do Pub/Sub de origem precisa existir antes da execução do pipeline.
- O tópico do Pub/Sub precisa existir antes de o pipeline ser executado.
- O endpoint HEC de Splunk precisa ser acessível pela rede dos workers do Dataflow.
- O token Splunk de HEC precisa ser gerado e estar disponível.
Parâmetros do modelo
Parâmetros obrigatórios
- inputSubscription: o tópico do Pub/Sub em que a entrada será lida. Por exemplo: projects/your-project-id/subscriptions/your-subscription-name.
- url: o URL de HEC do Splunk. O URL precisa ser roteável pela VPC em que o pipeline é executado. Exemplo: https://splunk-hec-host:8088.
- outputDeadletterTopic: o tópico do Pub/Sub para encaminhar mensagens não entregues. Por exemplo, projects/<PROJECT_ID>/topics/<TOPIC_NAME>.
Parâmetros opcionais
- token: o token de autenticação de HEC do Splunk. Precisa ser definido
tokenSource
se o parâmetro estiver definido comoPLAINTEXT
ouKMS
. - batchCount: o tamanho do lote para enviar vários eventos para o Splunk. O padrão é 1 (sem lotes).
- disableCertificateValidation: desativa a validação do certificado SSL. Falso padrão (validação ativada). Se for verdadeiro, os certificados não serão validados (todos os certificados são confiáveis) e o parâmetro
rootCaCertificatePath
será ignorado. - parallelism: o número máximo de solicitações paralelas. O padrão é 1 (sem paralelismo).
- includePubsubMessage: inclui a mensagem completa do Pub/Sub no payload. Falso padrão (somente o elemento de dados está incluído no payload).
- tokenKMSEncryptionKey: a chave do Cloud KMS a ser usada para descriptografar a string do token de HEC. Esse parâmetro precisa ser fornecido quando o tokenSource é definido como KMS. Se a chave do Cloud KMS for fornecida, a string do token de HEC
must
precisará ser transmitida de forma criptografada. Por exemplo, projects/your-project-id/locations/global/keyRings/your-keyring/cryptoKeys/your-key-name. - tokenSecretId: o ID do secret do Gerenciador de secrets do token. Esse parâmetro precisa ser fornecido quando tokenSource é definido como SECRET_MANAGER. Exemplo: projects/your-project-id/secrets/your-secret/versions/your-secret-version.
- tokenSource: a origem do token. Os seguintes valores são permitidos:
PLAINTEXT
,KMS
eSECRET_MANAGER
. Forneça esse parâmetro quando o Secret Manager for usado. SetokenSource
estiver definido comoKMS
,tokenKMSEncryptionKey
e criptografado, otoken
precisará ser fornecido. SetokenSource
for definido comoSECRET_MANAGER
,tokenSecretId
precisará ser fornecido. SetokenSource
for definido comoPLAINTEXT
,token
precisará ser fornecido. - rootCaCertificatePath: o URL completo do certificado de CA raiz no Cloud Storage. O certificado fornecido no Cloud Storage precisa ser codificado em DER e pode ser fornecido em codificação binária ou imprimível (Base64). Se o certificado for fornecido na codificação Base64, ele precisará ser delimitado no início por -----BEGIN CERTIFICATE----- e no final por -----END CERTIFICATE-----. Se esse parâmetro for fornecido, esse arquivo de certificado de CA particular é buscado e adicionado ao armazenamento de confiança do worker do Dataflow para verificar o certificado SSL do endpoint do HEC do Splunk. Se esse parâmetro não for fornecido, o armazenamento de confiança padrão será usado. Exemplo: gs://mybucket/mycerts/privateCA.crt.
- Opcional: especifica se os registros devem ser ativados para lotes gravados no Splunk. Padrão:
true
. - enableGzipHttpCompression : especifica se as solicitações HTTP enviadas ao HEC do Splunk serão compactadas (conteúdo gzip codificado). Padrão:
true
. - javascriptTextTransformGcsPath: o URI do Cloud Storage do arquivo .js que define a função JavaScript definida pelo usuário (UDF) a ser usada. Por exemplo,
gs://my-bucket/my-udfs/my_file.js
. - javascriptTextTransformFunctionName: o nome da função JavaScript definida pelo usuário (UDF) a ser usada. Por exemplo, se o código de função do JavaScript for
myTransform(inJson) { /*...do stuff...*/ }
, o nome da função serámyTransform
. Para exemplos de UDFs em JavaScript, consulte os exemplos de UDF (https://github.com/GoogleCloudPlatform/DataflowTemplates#udf-examples). - javascriptTextTransformReloadIntervalMinutes: defina o intervalo que os workers podem verificar se há alterações na UDF em JavaScript para recarregar os arquivos. Padrão: 0.
Função definida pelo usuário
Também é possível estender esse modelo escrevendo uma função definida pelo usuário (UDF). O modelo chama a UDF para cada elemento de entrada. Os payloads dos elementos são serializados como strings JSON. Para mais informações, consulte Criar funções definidas pelo usuário para modelos do Dataflow.
Especificação da função
A UDF tem a seguinte especificação:
- Entrada: o campo de dados da mensagem do Pub/Sub, serializado como uma string JSON.
- Saída: os dados do evento a serem enviados para o endpoint de eventos do HEC do Splunk. A saída precisa ser uma string ou um objeto JSON em string.
Executar o modelo
Console
- Acesse a página Criar job usando um modelo do Dataflow. Acesse Criar job usando um modelo
- No campo Nome do job, insira um nome exclusivo.
- Opcional: em Endpoint regional, selecione um valor no menu suspenso. A região padrão é
us-central1
.Para ver uma lista de regiões em que é possível executar um job do Dataflow, consulte Locais do Dataflow.
- No menu suspenso Modelo do Dataflow, selecione the Pub/Sub to Splunk template.
- Nos campos de parâmetro fornecidos, insira os valores de parâmetro.
- Opcional: para alternar do processamento "Exatamente uma vez" para o modo de streaming "Pelo menos uma vez", selecione Pelo menos uma vez.
- Cliquem em Executar job.
gcloud
No shell ou no terminal, execute o modelo:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_PubSub_to_Splunk \ --region REGION_NAME \ --staging-location STAGING_LOCATION \ --parameters \ inputSubscription=projects/PROJECT_ID/subscriptions/INPUT_SUBSCRIPTION_NAME,\ token=TOKEN,\ url=URL,\ outputDeadletterTopic=projects/PROJECT_ID/topics/DEADLETTER_TOPIC_NAME,\ javascriptTextTransformGcsPath=PATH_TO_JAVASCRIPT_UDF_FILE,\ javascriptTextTransformFunctionName=JAVASCRIPT_FUNCTION,\ batchCount=BATCH_COUNT,\ parallelism=PARALLELISM,\ disableCertificateValidation=DISABLE_VALIDATION,\ rootCaCertificatePath=ROOT_CA_CERTIFICATE_PATH
Substitua:
JOB_NAME
: um nome de job de sua escolhaREGION_NAME
: a região onde você quer implantar o job do Dataflow, por exemplo,us-central1
VERSION
: a versão do modelo que você quer usarUse estes valores:
latest
para usar a versão mais recente do modelo, disponível na pasta mãe não datada no bucket: gs://dataflow-templates-REGION_NAME/latest/- o nome da versão, como
2023-09-12-00_RC00
, para usar uma versão específica do modelo, que pode ser aninhada na respectiva pasta mãe datada no bucket: gs://dataflow-templates-REGION_NAME/
STAGING_LOCATION
: o local para fase de testes de arquivos locais (por exemplo,gs://your-bucket/staging
)INPUT_SUBSCRIPTION_NAME
: o nome da assinatura do Pub/SubTOKEN
: token do coletor de eventos HTTP do SplunkURL
: o caminho do URL para o Coletor de eventos HTTP do Splunk (por exemplo,https://splunk-hec-host:8088
)DEADLETTER_TOPIC_NAME
: o nome do tópico do Pub/SubJAVASCRIPT_FUNCTION
: o nome da função definida pelo usuário (UDF) do JavaScript que você quer usarPor exemplo, se o código de função do JavaScript for
myTransform(inJson) { /*...do stuff...*/ }
, o nome da função serámyTransform
. Para amostras de UDFs do JavaScript, consulte os exemplos de UDF.PATH_TO_JAVASCRIPT_UDF_FILE
: O URI do Cloud Storage do arquivo.js
que define a função definida pelo usuário (UDF) do JavaScript que você quer usar, por exemplo,gs://my-bucket/my-udfs/my_file.js
BATCH_COUNT
: o tamanho do lote a ser usado para enviar vários eventos para o SplunkPARALLELISM
: o número de solicitações paralelas a serem usadas para enviar eventos para o SplunkDISABLE_VALIDATION
:true
se você quiser desativar a validação do certificado SSLROOT_CA_CERTIFICATE_PATH
: o caminho para o certificado de CA raiz no Cloud Storage (por exemplo,gs://your-bucket/privateCA.crt
)
API
Para executar o modelo usando a API REST, envie uma solicitação HTTP POST. Para mais informações sobre a
API e os respectivos escopos de autorização, consulte
projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_PubSub_to_Splunk { "jobName": "JOB_NAME", "environment": { "ipConfiguration": "WORKER_IP_UNSPECIFIED", "additionalExperiments": [] }, "parameters": { "inputSubscription": "projects/PROJECT_ID/subscriptions/INPUT_SUBSCRIPTION_NAME", "token": "TOKEN", "url": "URL", "outputDeadletterTopic": "projects/PROJECT_ID/topics/DEADLETTER_TOPIC_NAME", "javascriptTextTransformGcsPath": "PATH_TO_JAVASCRIPT_UDF_FILE", "javascriptTextTransformFunctionName": "JAVASCRIPT_FUNCTION", "batchCount": "BATCH_COUNT", "parallelism": "PARALLELISM", "disableCertificateValidation": "DISABLE_VALIDATION", "rootCaCertificatePath": "ROOT_CA_CERTIFICATE_PATH" } }
Substitua:
PROJECT_ID
: o ID do projeto do Google Cloud em que você quer executar o job do DataflowJOB_NAME
: um nome de job de sua escolhaLOCATION
: a região onde você quer implantar o job do Dataflow, por exemplo,us-central1
VERSION
: a versão do modelo que você quer usarUse estes valores:
latest
para usar a versão mais recente do modelo, disponível na pasta mãe não datada no bucket: gs://dataflow-templates-REGION_NAME/latest/- o nome da versão, como
2023-09-12-00_RC00
, para usar uma versão específica do modelo, que pode ser aninhada na respectiva pasta mãe datada no bucket: gs://dataflow-templates-REGION_NAME/
STAGING_LOCATION
: o local para fase de testes de arquivos locais (por exemplo,gs://your-bucket/staging
)INPUT_SUBSCRIPTION_NAME
: o nome da assinatura do Pub/SubTOKEN
: token do coletor de eventos HTTP do SplunkURL
: o caminho do URL para o Coletor de eventos HTTP do Splunk (por exemplo,https://splunk-hec-host:8088
)DEADLETTER_TOPIC_NAME
: o nome do tópico do Pub/SubJAVASCRIPT_FUNCTION
: o nome da função definida pelo usuário (UDF) do JavaScript que você quer usarPor exemplo, se o código de função do JavaScript for
myTransform(inJson) { /*...do stuff...*/ }
, o nome da função serámyTransform
. Para amostras de UDFs do JavaScript, consulte os exemplos de UDF.PATH_TO_JAVASCRIPT_UDF_FILE
: O URI do Cloud Storage do arquivo.js
que define a função definida pelo usuário (UDF) do JavaScript que você quer usar, por exemplo,gs://my-bucket/my-udfs/my_file.js
BATCH_COUNT
: o tamanho do lote a ser usado para enviar vários eventos para o SplunkPARALLELISM
: o número de solicitações paralelas a serem usadas para enviar eventos para o SplunkDISABLE_VALIDATION
:true
se você quiser desativar a validação do certificado SSLROOT_CA_CERTIFICATE_PATH
: o caminho para o certificado de CA raiz no Cloud Storage (por exemplo,gs://your-bucket/privateCA.crt
)
A seguir
- Saiba mais sobre os modelos do Dataflow.
- Confira a lista de modelos fornecidos pelo Google.