Halaman ini memberikan ringkasan konseptual tentang mengekspor data rekaman aktivitas menggunakan Cloud Trace. Anda mungkin ingin mengekspor data rekaman aktivitas karena alasan berikut:
- Untuk menyimpan data rekaman aktivitas selama periode yang lebih lama dari periode retensi default 30 hari.
Agar Anda dapat menggunakan alat BigQuery untuk menganalisis data rekaman aktivitas. Misalnya, dengan BigQuery, Anda dapat mengidentifikasi jumlah rentang dan kuantil. Untuk mengetahui informasi tentang kueri yang digunakan untuk membuat tabel berikut, lihat Kueri HipsterShop.
Cara kerja ekspor
Mengekspor melibatkan pembuatan sink untuk project Google Cloud . Sink menentukan set data BigQuery sebagai tujuan.
Anda dapat membuat sink menggunakan Cloud Trace API atau menggunakan Google Cloud CLI.
Properti dan terminologi sinkronisasi
Sink ditentukan untuk project Google Cloud dan memiliki properti berikut:
Nama: Nama untuk sink. Misalnya, nama dapat berupa:
"projects/PROJECT_NUMBER/traceSinks/my-sink"
dengan
PROJECT_NUMBER
adalah nomor project sink Google Cloud danmy-sink
adalah ID sink.Induk: Resource tempat Anda membuat sink. Parent harus berupa project Google Cloud :
"projects/PROJECT_ID"
PROJECT_ID
dapat berupa ID atau nomor project Google Cloud .Tujuan: Satu tempat untuk mengirim rentang rekaman aktivitas. Trace mendukung pengeksporan rekaman aktivitas ke BigQuery. Tujuan dapat berupa project sink atau project lain yang berada dalam organisasi yang sama. Google Cloud Google Cloud
Misalnya, tujuan yang valid adalah:
bigquery.googleapis.com/projects/DESTINATION_PROJECT_NUMBER/datasets/DATASET_ID
dengan
DESTINATION_PROJECT_NUMBER
adalah Google Cloud nomor project tujuan, danDATASET_ID
adalah ID set data BigQuery.Identitas Penulis: Nama akun layanan. Pemilik tujuan ekspor harus memberikan izin kepada akun layanan ini untuk menulis ke tujuan ekspor. Saat mengekspor rekaman aktivitas, Trace mengadopsi identitas ini untuk otorisasi. Untuk meningkatkan keamanan, sink baru mendapatkan akun layanan unik:
export-PROJECT_NUMBER-GENERATED_VALUE@gcp-sa-cloud-trace.
dengan
PROJECT_NUMBER
adalah nomor project Google Cloud Anda, dalam Hex, danGENERATED_VALUE
adalah nilai yang dihasilkan secara acak.Anda tidak membuat, memiliki, atau mengelola akun layanan yang diidentifikasi oleh identitas penulis sink. Saat Anda membuat sink, Trace akan membuat akun layanan yang diperlukan sink. Akun layanan ini tidak disertakan dalam daftar akun layanan untuk project Anda hingga akun layanan tersebut memiliki setidaknya satu binding Identity and Access Management. Anda menambahkan binding ini saat mengonfigurasi tujuan sink.
Untuk mengetahui informasi tentang penggunaan identitas penulis, lihat izin tujuan.
Cara kerja sink
Setiap kali rentang rekaman aktivitas tiba di project, Trace akan mengekspor salinan rentang.
Tracing yang diterima Trace sebelum sink dibuat tidak dapat diekspor.
Kontrol akses
Untuk membuat atau mengubah sink, Anda harus memiliki salah satu peran Identity and Access Management berikut:
- Trace Admin
- Pengguna Trace
- Pemilik Project
- Editor Project
Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.
Untuk mengekspor rekaman aktivitas ke tujuan, akun layanan penulis sink harus diizinkan untuk menulis ke tujuan. Untuk mengetahui informasi selengkapnya tentang identitas penulis, lihat Properti sink di halaman ini.
Kuota dan batas
Cloud Trace menggunakan BigQuery streaming API untuk mengirim rentang aktivitas ke tujuan. Cloud Trace mengelompokkan panggilan API. Cloud Trace tidak menerapkan mekanisme percobaan ulang atau pembatasan. Rentang aktivitas mungkin tidak berhasil diekspor jika jumlah data melebihi kuota tujuan.
Untuk mengetahui detail kuota dan batas BigQuery, lihat Kuota dan batas.
Harga
Mengekspor rekaman aktivitas tidak dikenai biaya Cloud Trace. Namun, Anda mungkin dikenai biaya BigQuery. Lihat Harga BigQuery untuk mengetahui informasi selengkapnya.
Memperkirakan biaya Anda
BigQuery mengenakan biaya untuk penyerapan dan penyimpanan data. Untuk memperkirakan biaya BigQuery bulanan Anda, lakukan hal berikut:
Perkirakan jumlah total rentang rekaman aktivitas yang diserap dalam sebulan.
Untuk mengetahui informasi tentang cara melihat penggunaan, lihat Melihat penggunaan menurut akun penagihan.
Perkirakan persyaratan streaming berdasarkan jumlah rentang aktivitas yang diserap.
Setiap rentang ditulis ke baris tabel. Setiap baris di BigQuery memerlukan setidaknya 1.024 byte. Oleh karena itu, batas bawah pada persyaratan streaming BigQuery Anda adalah menetapkan 1.024 byte untuk setiap rentang. Misalnya, jika project Anda menyerap 200 rentang, maka rentang tersebut memerlukan setidaknya 20.400 byte untuk penyisipan streaming. Google Cloud
Gunakan Kalkulator harga untuk memperkirakan biaya BigQuery Anda karena penyimpanan, streaming insert, dan kueri.
Melihat dan mengelola penggunaan BigQuery
Anda dapat menggunakan Metrics Explorer untuk melihat penggunaan BigQuery. Anda juga dapat membuat kebijakan pemberitahuan yang memberi tahu Anda jika penggunaan BigQuery Anda melampaui batas yang telah ditentukan sebelumnya. Tabel berikut berisi setelan untuk membuat kebijakan pemberitahuan. Anda dapat menggunakan setelan di tabel panel target saat membuat diagram atau saat menggunakan Metrics Explorer.
Untuk membuat kebijakan pemberitahuan yang terpicu saat metrik BigQuery yang diserap melebihi tingkat yang ditentukan pengguna, gunakan setelan berikut.
Kolom New condition |
Nilai |
---|---|
Resource and Metric | Di menu Resources, pilih BigQuery Dataset. Di menu Metric categories, pilih Storage. Pilih metrik dari menu Metrics. Metrik khusus penggunaan mencakup Stored bytes , Uploaded bytes ,
dan Uploaded bytes billed . Untuk mengetahui daftar lengkap metrik yang tersedia, lihat
Metrik BigQuery.
|
Filter | project_id: ID project Google Cloud Anda. dataset_id: ID set data Anda. |
Di seluruh deret waktu Mengelompokkan deret waktu menurut |
dataset_id: ID set data Anda. |
Across time series Time series aggregation |
sum |
Rolling window | 1 m |
Rolling window function | mean |
Kolom Configure alert trigger |
Nilai |
---|---|
Condition type | Threshold |
Alert trigger | Any time series violates |
Threshold position | Above threshold |
Threshold value | Anda menentukan nilai yang dapat diterima. |
Retest window | 1 minute |
Langkah berikutnya
Untuk mengonfigurasi sink, lihat Mengekspor rekaman aktivitas.