Mencatat data di BigQuery

Chronicle menyediakan data lake terkelola untuk telemetri yang dinormalisasi dan diperkaya kecerdasan ancaman dengan mengekspor data ke BigQuery. Hal ini memungkinkan Anda melakukan hal berikut:

  • Jalankan kueri ad-hoc langsung di BigQuery.
  • Gunakan alat business intelligence Anda sendiri, seperti Looker atau Microsoft Power BI, untuk membuat dasbor, laporan, dan analisis.
  • Gabungkan data Chronicle dengan set data pihak ketiga.
  • Jalankan analisis menggunakan alat data science atau machine learning.
  • Menjalankan laporan menggunakan dasbor default dan dasbor kustom standar.

Chronicle mengekspor kategori data berikut ke BigQuery:

  • Data peristiwa UDM: Data UDM yang dibuat dari data log yang diserap oleh pelanggan. Kumpulan data ini diperkaya dengan informasi alias.
  • Aturan cocok (deteksi): instance saat aturan cocok dengan satu atau beberapa peristiwa.
  • Kecocokan IoC: artefak (misalnya domain, alamat IP) dari peristiwa yang cocok dengan feed Indicator of Compromise (IoC). Hal ini termasuk pencocokan dari feed global dan feed khusus pelanggan.
  • Metrik penyerapan: mencakup statistik, seperti jumlah baris log yang diserap, jumlah peristiwa yang dihasilkan dari log, jumlah error log yang menunjukkan bahwa log tidak dapat diuraikan, dan status penerusan Chronicle. Untuk informasi selengkapnya, lihat Skema BigQuery metrik penyerapan.
  • Grafik entity dan hubungan entity: menyimpan deskripsi entity dan hubungannya dengan entity lain.

Alur ekspor data

Alur ekspor data adalah sebagai berikut:

  1. Serangkaian data Chronicle, khusus untuk kasus penggunaan, diekspor ke instance BigQuery yang ada di project Google Cloud khusus pelanggan dan dikelola oleh Google. Data untuk setiap kasus penggunaan diekspor ke tabel terpisah. Data ini diekspor dari Chronicle ke BigQuery dalam project khusus pelanggan.
  2. Sebagai bagian dari ekspor, Chronicle membuat model data Looker yang telah ditentukan sebelumnya untuk setiap kasus penggunaan.
  3. Dasbor default Chronicle dibangun menggunakan model data Looker yang telah ditetapkan sebelumnya. Anda dapat membuat dasbor kustom di Chronicle menggunakan model data Looker yang telah ditentukan.
  4. Pelanggan dapat menulis kueri ad-hoc terhadap data Chronicle yang tersimpan di tabel BigQuery.

  5. Pelanggan juga dapat membuat analisis yang lebih canggih menggunakan alat pihak ketiga lainnya yang terintegrasi dengan BigQuery.

    Ekspor data untuk diproses ke BigQuery

Instance BigQuery dibuat di region yang sama dengan tenant Chronicle. Satu instance BigQuery dibuat untuk setiap ID pelanggan. Log mentah tidak diekspor ke data lake Chronicle di BigQuery. Data diekspor berdasarkan pengisian. Saat data diserap dan dinormalkan di Chronicle, data tersebut akan diekspor ke BigQuery. Anda tidak dapat mengisi ulang data yang diserap sebelumnya. Periode retensi untuk data di semua tabel BigQuery adalah 180 hari.

Untuk koneksi Looker, hubungi perwakilan Chronicle untuk mengetahui kredensial akun layanan yang memungkinkan Anda menghubungkan instance Looker ke data Chronicle di BigQuery. Akun layanan akan memiliki izin hanya baca.

Ringkasan tabel

Chronicle membuat set data datalake di BigQuery dan tabel berikut:

  • entity_enum_value_to_name_mapping: untuk jenis terenumerasi dalam tabel entity_graph, memetakan nilai numerik ke nilai string.
  • entity_graph: menyimpan data tentang entity UDM.
  • events: menyimpan data tentang peristiwa UDM.
  • ingestion_metrics: menyimpan statistik yang terkait dengan penyerapan dan normalisasi data dari sumber penyerapan tertentu, seperti Forwarder Chronicle, feed, dan Ingestion API.
  • ioc_matches: menyimpan kecocokan IOC yang ditemukan terhadap peristiwa UDM.
  • job_metadata: tabel internal yang digunakan untuk melacak ekspor data ke BigQuery.
  • rule_detections: menyimpan deteksi yang ditampilkan oleh aturan yang dijalankan di Chronicle.
  • rulesets: menyimpan informasi tentang deteksi yang diseleksi Chronicle, termasuk kategori tempat setiap kumpulan aturan berada, apakah aturan tersebut diaktifkan, dan status pemberitahuan saat ini.
  • udm_enum_value_to_name_mapping: Untuk jenis terenumerasi dalam tabel peristiwa, memetakan nilai numerik ke nilai string.
  • udm_events_aggregates: menyimpan data gabungan yang diringkas menurut jam peristiwa yang dinormalisasi.

Mengakses data di BigQuery

Anda dapat menjalankan kueri langsung di BigQuery atau menghubungkan alat business intelligence Anda sendiri, seperti Looker atau Microsoft Power BI, ke BigQuery.

Untuk mengaktifkan akses ke instance BigQuery, gunakan Chronicle CLI atau Chronicle BigQuery Access API. Anda dapat memberikan alamat email untuk pengguna atau grup yang Anda miliki. Jika Anda mengonfigurasi akses ke grup, gunakan grup tersebut untuk mengelola anggota tim yang dapat mengakses instance BigQuery.

Untuk menghubungkan Looker atau alat business intelligence lainnya ke BigQuery, hubungi perwakilan Chronicle untuk mendapatkan kredensial akun layanan yang memungkinkan Anda menghubungkan aplikasi ke set data BigQuery Chronicle. Akun layanan akan memiliki peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) dan peran BigQuery Job Viewer (roles/bigquery.jobUser).

Langkah selanjutnya