Template Pub/Sub ke Splunk

Template Pub/Sub ke Splunk adalah pipeline streaming yang membaca pesan dari langganan Pub/Sub dan menulis payload pesan ke Splunk menggunakan HTTP Event Collector (HEC) Splunk. Kasus penggunaan yang paling umum dari template ini adalah mengekspor log ke Splunk. Untuk melihat contoh alur kerja yang mendasarinya, lihat Men-deploy ekspor log siap produksi ke Splunk menggunakan Dataflow.

Sebelum menulis ke Splunk, Anda juga dapat menerapkan fungsi yang ditentukan pengguna JavaScript ke payload pesan. Setiap pesan yang mengalami kegagalan pemrosesan akan diteruskan ke topik Pub/Sub yang belum diproses untuk pemecahan masalah dan pemrosesan ulang lebih lanjut.

Sebagai lapisan perlindungan tambahan untuk token HEC, Anda juga dapat meneruskan kunci Cloud KMS beserta parameter token HEC yang dienkode base64 dan dienkripsi dengan kunci Cloud KMS. Lihat endpoint enkripsi Cloud KMS API untuk mengetahui detail tambahan tentang cara mengenkripsi parameter token HEC.

Persyaratan pipeline

  • Langganan Pub/Sub sumber harus ada sebelum menjalankan pipeline.
  • Topik Pub/Sub yang belum diproses harus ada sebelum menjalankan pipeline.
  • Endpoint Splunk HEC harus dapat diakses dari jaringan pekerja Dataflow.
  • Token HEC Splunk harus dibuat dan tersedia.

Parameter template

Parameter yang diperlukan

  • inputSubscription : Langganan Pub/Sub untuk membaca input. (Contoh: projects/your-project-id/subscriptions/your-subscription-name).
  • url : URL HEC Splunk. URL harus dapat dirutekan dari VPC tempat pipeline berjalan. (Contoh: https://splunk-hec-host:8088).
  • outputDeadletterTopic : Topik Pub/Sub yang akan menerima pesan yang tidak terkirim. Misalnya, projects/<PROJECT_ID>/topics/<TOPIC_NAME>.

Parameter opsional

  • token : Token autentikasi HEC Splunk. Harus diberikan jika parameter tokenSource ditetapkan ke PLAINTEXT atau KMS.
  • batchCount : Ukuran batch untuk mengirim beberapa peristiwa ke Splunk. Default-nya adalah 1 (tidak ada pengelompokan).
  • disableCertificateValidation : Menonaktifkan validasi sertifikat SSL. Defaultnya salah (validasi diaktifkan). Jika benar, sertifikat tidak divalidasi (semua sertifikat dipercaya) dan parameter rootCaCertificatePath diabaikan.
  • parallelism : Jumlah maksimum permintaan paralel. Default-nya adalah 1 (tanpa paralelisme).
  • includePubsubMessage : Menyertakan pesan Pub/Sub lengkap dalam payload. Default false (salah) (hanya elemen data yang disertakan dalam payload).
  • tokenKMSEncryptionKey : Kunci Cloud KMS yang akan digunakan untuk mendekripsi string token HEC. Parameter ini harus diberikan jika tokenSource ditetapkan ke KMS. Jika kunci Cloud KMS disediakan, string token HEC must akan diteruskan dalam bentuk terenkripsi. (Contoh: projects/your-project-id/locations/global/keyRings/your-keyring/cryptoKeys/your-key-name).
  • tokenSecretId : ID secret Secret Manager untuk token. Parameter ini harus disediakan saat tokenSource ditetapkan ke SECRET_MANAGER. (Contoh: projects/your-project-id/secrets/your-secret/versions/your-secret-version).
  • tokenSource : Sumber token. Nilai berikut diizinkan: PLAINTEXT, KMS, dan SECRET_MANAGER. Anda harus memberikan parameter ini saat Secret Manager digunakan. Jika tokenSource ditetapkan ke KMS, tokenKMSEncryptionKey, dan dienkripsi, token harus diberikan. Jika tokenSource ditetapkan ke SECRET_MANAGER, tokenSecretId harus diberikan. Jika tokenSource ditetapkan ke PLAINTEXT, token harus diberikan.
  • rootCaCertificatePath : URL lengkap ke sertifikat CA root di Cloud Storage. Sertifikat yang disediakan di Cloud Storage harus dienkode dengan DER dan dapat disediakan dalam encoding biner atau yang dapat dicetak (Base64). Jika sertifikat diberikan dalam encoding Base64, sertifikat tersebut harus dibatasi di awal dengan -----BEGIN CERTIFICATE-----, dan harus dibatasi di akhir dengan -----END CERTIFICATE-----. Jika parameter ini diberikan, file sertifikat CA pribadi ini akan diambil dan ditambahkan ke trust store pekerja Dataflow untuk memverifikasi sertifikat SSL endpoint Splunk HEC. Jika parameter ini tidak diberikan, trust store default akan digunakan. (Contoh: gs://mybucket/mycerts/privateCA.crt).
  • enableBatchLogs : Menentukan apakah log harus diaktifkan untuk batch yang ditulis ke Splunk. Default: true.
  • enableGzipHttpCompression : Menentukan apakah permintaan HTTP yang dikirim ke HEC Splunk harus dikompresi (konten gzip dienkode). Default: true.
  • javascriptTextTransformGcsPath : URI Cloud Storage file .js yang menentukan fungsi yang ditentukan pengguna (UDF) JavaScript yang akan digunakan. Contoh, gs://my-bucket/my-udfs/my_file.js.
  • javascriptTextTransformFunctionName : Nama fungsi yang ditentukan pengguna (UDF) JavaScript yang akan digunakan. Misalnya, jika kode fungsi JavaScript Anda adalah myTransform(inJson) { /*...do stuff...*/ }, nama fungsinya adalah myTransform. Untuk contoh UDF JavaScript, lihat Contoh UDF (https://github.com/GoogleCloudPlatform/DataflowTemplates#udf-examples).
  • javascriptTextTransformReloadIntervalMinutes : Menentukan interval yang dapat digunakan pekerja untuk memeriksa perubahan UDF JavaScript guna memuat ulang file. Setelan defaultnya adalah: 0.

Fungsi yang ditentukan pengguna (UDF)

Secara opsional, Anda dapat memperluas template ini dengan menulis fungsi yang ditentukan pengguna (UDF). Template memanggil UDF untuk setiap elemen input. Payload elemen diserialisasi sebagai string JSON. Untuk informasi selengkapnya, lihat Membuat fungsi yang ditentukan pengguna untuk template Dataflow.

Spesifikasi fungsi

UDF memiliki spesifikasi berikut:

  • Input: kolom data pesan Pub/Sub, yang diserialisasi sebagai string JSON.
  • Output: data peristiwa yang akan dikirim ke endpoint peristiwa Splunk HEC. Output harus berupa string atau objek JSON yang di-string.

Menjalankan template

Konsol

  1. Buka halaman Create job from template Dataflow.
    2. Buka Buat tugas dari template
  2. Di kolom Nama tugas, masukkan nama tugas yang unik.
  3. Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region defaultnya adalah us-central1.

    Untuk mengetahui daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.

  4. Dari menu drop-down Dataflow template, pilih the Pub/Sub to Splunk template.
  5. Di kolom parameter yang disediakan, masukkan nilai parameter Anda.
  6. Opsional: Untuk beralih dari pemrosesan tepat satu kali ke mode streaming minimal sekali, pilih Minimal Sekali.
  7. Klik Run job.

gcloud

Di shell atau terminal, jalankan template:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_PubSub_to_Splunk \
    --region REGION_NAME \
    --staging-location STAGING_LOCATION \
    --parameters \
inputSubscription=projects/PROJECT_ID/subscriptions/INPUT_SUBSCRIPTION_NAME,\
token=TOKEN,\
url=URL,\
outputDeadletterTopic=projects/PROJECT_ID/topics/DEADLETTER_TOPIC_NAME,\
javascriptTextTransformGcsPath=PATH_TO_JAVASCRIPT_UDF_FILE,\
javascriptTextTransformFunctionName=JAVASCRIPT_FUNCTION,\
batchCount=BATCH_COUNT,\
parallelism=PARALLELISM,\
disableCertificateValidation=DISABLE_VALIDATION,\
rootCaCertificatePath=ROOT_CA_CERTIFICATE_PATH

Ganti kode berikut:

  • JOB_NAME: nama tugas unik pilihan Anda
  • REGION_NAME: region tempat Anda ingin men-deploy tugas Dataflow—misalnya, us-central1
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • STAGING_LOCATION: lokasi untuk melakukan staging file lokal (misalnya, gs://your-bucket/staging)
  • INPUT_SUBSCRIPTION_NAME: nama langganan Pub/Sub
  • TOKEN: Token HTTP Event Collector Splunk
  • URL: jalur URL untuk HTTP Event Collector Splunk (misalnya, https://splunk-hec-host:8088)
  • DEADLETTER_TOPIC_NAME: nama topik Pub/Sub
  • JAVASCRIPT_FUNCTION: nama fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan

    Misalnya, jika kode fungsi JavaScript Anda adalah myTransform(inJson) { /*...do stuff...*/ }, nama fungsinya adalah myTransform. Untuk contoh UDF JavaScript, lihat Contoh UDF.

  • PATH_TO_JAVASCRIPT_UDF_FILE: URI Cloud Storage dari file .js yang menentukan fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan—misalnya, gs://my-bucket/my-udfs/my_file.js
  • BATCH_COUNT: ukuran batch yang akan digunakan untuk mengirim beberapa peristiwa ke Splunk
  • PARALLELISM: jumlah permintaan paralel yang akan digunakan untuk mengirim peristiwa ke Splunk
  • DISABLE_VALIDATION: true jika Anda ingin menonaktifkan validasi sertifikat SSL
  • ROOT_CA_CERTIFICATE_PATH: jalur ke sertifikat CA root di Cloud Storage (misalnya, gs://your-bucket/privateCA.crt)

API

Untuk menjalankan template menggunakan REST API, kirim permintaan POST HTTP. Untuk mengetahui informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_PubSub_to_Splunk
{
   "jobName": "JOB_NAME",
   "environment": {
       "ipConfiguration": "WORKER_IP_UNSPECIFIED",
       "additionalExperiments": []
   },
   "parameters": {
       "inputSubscription": "projects/PROJECT_ID/subscriptions/INPUT_SUBSCRIPTION_NAME",
       "token": "TOKEN",
       "url": "URL",
       "outputDeadletterTopic": "projects/PROJECT_ID/topics/DEADLETTER_TOPIC_NAME",
       "javascriptTextTransformGcsPath": "PATH_TO_JAVASCRIPT_UDF_FILE",
       "javascriptTextTransformFunctionName": "JAVASCRIPT_FUNCTION",
       "batchCount": "BATCH_COUNT",
       "parallelism": "PARALLELISM",
       "disableCertificateValidation": "DISABLE_VALIDATION",
       "rootCaCertificatePath": "ROOT_CA_CERTIFICATE_PATH"
   }
}

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
  • JOB_NAME: nama tugas unik pilihan Anda
  • LOCATION: region tempat Anda ingin men-deploy tugas Dataflow—misalnya, us-central1
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • STAGING_LOCATION: lokasi untuk melakukan staging file lokal (misalnya, gs://your-bucket/staging)
  • INPUT_SUBSCRIPTION_NAME: nama langganan Pub/Sub
  • TOKEN: Token HTTP Event Collector Splunk
  • URL: jalur URL untuk HTTP Event Collector Splunk (misalnya, https://splunk-hec-host:8088)
  • DEADLETTER_TOPIC_NAME: nama topik Pub/Sub
  • JAVASCRIPT_FUNCTION: nama fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan

    Misalnya, jika kode fungsi JavaScript Anda adalah myTransform(inJson) { /*...do stuff...*/ }, nama fungsinya adalah myTransform. Untuk contoh UDF JavaScript, lihat Contoh UDF.

  • PATH_TO_JAVASCRIPT_UDF_FILE: URI Cloud Storage dari file .js yang menentukan fungsi yang ditentukan pengguna (UDF) JavaScript yang ingin Anda gunakan—misalnya, gs://my-bucket/my-udfs/my_file.js
  • BATCH_COUNT: ukuran batch yang akan digunakan untuk mengirim beberapa peristiwa ke Splunk
  • PARALLELISM: jumlah permintaan paralel yang akan digunakan untuk mengirim peristiwa ke Splunk
  • DISABLE_VALIDATION: true jika Anda ingin menonaktifkan validasi sertifikat SSL
  • ROOT_CA_CERTIFICATE_PATH: jalur ke sertifikat CA root di Cloud Storage (misalnya, gs://your-bucket/privateCA.crt)

Langkah selanjutnya