Mengelola biaya log audit Akses Data
Bigtable biasanya digunakan untuk beban kerja besar dengan volume tinggi. Akibatnya, jika Anda tidak mengelola volume log, Bigtable dapat menghasilkan log DATA_READ dan DATA_WRITE dalam jumlah yang sangat tinggi, sehingga menyebabkan biaya penyimpanan log yang tidak terduga tinggi. Jika menggunakan logging audit Akses Data, Anda harus mengambil langkah-langkah untuk mengelola volume log.
Jika Anda mengikuti praktik terbaik untuk autentikasi Bigtable, sebagian besar aktivitas log audit Akses Data dihasilkan oleh akun layanan. Akun layanan adalah akun yang digunakan aplikasi untuk melakukan autentikasi dan melakukan panggilan API ke layanan Google Cloud seperti Bigtable. Mengelola log akun layanan adalah langkah terpenting untuk mengurangi volume log. Anda mungkin juga ingin membatasi log menggunakan kriteria lain.
Anda dapat mengaktifkan logging audit Akses Data untuk Bigtable dengan cara berikut:
- Menggunakan Konsol Google Cloud
- Layanan individual (misalnya, hanya Bigtable)
- Konfigurasi default semua layanan di project Google Cloud (bukan hanya Bigtable)
- Menggunakan Cloud Logging API
Setelah Anda mengaktifkan logging audit, lakukan langkah-langkah berikut untuk membatasi volume log.
Mengidentifikasi akun layanan
Pertama, identifikasi akun layanan yang log-nya tidak Anda perlukan. Daftar akun layanan yang tidak berguna dan tidak boleh dicatat ke dalam log bergantung pada aplikasi dan kebutuhan bisnis Anda.Untuk mendapatkan daftar akun layanan yang memiliki izin Cloud Bigtable API (Data API), Anda dapat menelusuri kebijakan IAM untuk organisasi Anda. Anda juga dapat melihatnya di halaman Konsol Google Cloud Izin IAM di tab Prinsipal.
Menyiapkan batasan log
Selanjutnya, siapkan batasan log Anda. Ada dua cara untuk mengelola volume log Bigtable dengan membatasi log akun layanan. Anda dapat mengecualikan akun layanan menggunakan konfigurasi audit, atau mengecualikan log akun layanan menggunakan filter pengecualian log. Untuk setiap metode, Anda dapat menggunakan Cloud Logging API atau konsol Google Cloud.
Mengecualikan akun layanan menggunakan konfigurasi audit
Mengecualikan akun layanan menggunakan konfigurasi audit adalah pendekatan yang direkomendasikan karena memungkinkan Anda mencegah log tertentu dibuat sejak awal. Untuk petunjuk mendetail, lihat hal berikut:
- Mengonfigurasi log audit Akses Data dengan API
- Mengonfigurasi log audit Akses Data dengan Konsol Google Cloud
Mengecualikan akun layanan menggunakan filter pengecualian
Filter pengecualian memungkinkan Anda menentukan log yang akan dikecualikan dari penyerapan ke bucket log. Dalam pendekatan ini, log akan dihapus setelah dibuat, sehingga log masih menimbulkan beban pemrosesan pada komponen layanan Bigtable yang menayangkan data Anda. Karena beban ini, sebaiknya gunakan konfigurasi audit. Untuk informasi selengkapnya tentang cara menyiapkan filter menggunakan konsol Google Cloud dan API, lihat Membuat sink.
Memperkirakan biaya log audit Akses Data
Karena Bigtable biasanya digunakan untuk beban kerja besar dan bervolume tinggi, Bigtable berpotensi menghasilkan log dalam jumlah yang sangat besar. Sebelum mengaktifkan logging audit Akses Data untuk Bigtable, Anda harus memperkirakan dan memahami biaya penyimpanan dan penyerapan Cloud Audit Logs yang dapat dikenakan logging audit setiap bulan.
Biaya logging audit Akses Data Anda terkait langsung dengan jumlah permintaan Bigtable yang Anda pilih untuk dicatat ke dalam log setiap bulan. Tabel berikut menunjukkan estimasi kasar biaya Cloud Audit Logs yang dapat Anda perkirakan berdasarkan permintaan rata-rata per detik dan durasi penyimpanan log, dengan asumsi bahwa Anda mencatat semua permintaan data ke dalam log. Lihat Menghitung biaya untuk mengetahui penjelasan mendetail tentang cara penghitungan estimasi ini.
| Permintaan rata-rata per detik | Waktu retensi log | Perkiraan biaya bulanan |
|---|---|---|
| 1.000 | 30 | $1.197 |
| 1.000 | 90 | $1.246 |
| 10.000 | 30 | $12.195 |
| 10.000 | 90 | $12.684 |
| 100.000 | 30 | $122.177 |
| 100.000 | 90 | $124.621 |
Menghitung biaya
Mulailah dengan asumsi berikut:
- Jumlah detik dalam sebulan rata-rata adalah sekitar 2.628.000.
- Ukuran audit rata-rata adalah sekitar 1 kb.
- Anda tidak akan dikenai biaya untuk 50 GiB log audit pertama yang ditransfer per bulan, dan setelah melewati jumlah tersebut, Anda akan dikenai biaya sebesar $0,50/GiB.
- Penyimpanan gratis selama 30 hari; setelah itu, Anda akan dikenai biaya $0,01/GiB untuk penyimpanan.
Metode yang dijelaskan di halaman ini memberikan estimasi kotor berdasarkan semua traffic. Dalam produksi, sebaiknya Anda membatasi logging akun layanan.
Menghitung volume log bulanan
Pertama, perkirakan jumlah rata-rata log yang akan dihasilkan traffic Anda dalam bulan rata-rata.
- Kumpulkan jumlah rata-rata permintaan per detik yang dikirim aplikasi Anda ke Bigtable selama sebulan.
- Jika menggunakan metrik sisi klien, Anda dapat menggunakannya untuk menentukan kueri per detik (QPS) rata-rata selama sebulan terakhir.
- Jika Anda lebih suka menggunakan halaman Pemantauan instance di konsol Google Cloud, gunakan halaman tersebut untuk menentukan nilai rata-rata untuk permintaan Baca dan permintaan Tulis per detik selama sebulan terakhir, lalu tambahkan kedua nilai tersebut.
- Kalikan permintaan per detik dengan 2.628.000 untuk mendapatkan permintaan rata-rata per bulan.
- Bagi angka tersebut dengan 10e6, atau 1.000.000. Hasilnya adalah perkiraan volume log bulanan dalam GB yang mungkin Anda hasilkan setiap bulan.
- Kalikan volume log bulanan dalam GB dengan 0,93 untuk mendapatkan perkiraan volume log bulanan dalam GiB.
Menghitung biaya penyerapan data
- Kurangi 50 GiB dari volume log bulanan dalam GiB yang Anda hitung. 50 GiB pertama tidak dikenai biaya.
- Kalikan sisanya dengan $0,50 untuk mendapatkan estimasi biaya transfer bulanan Anda.
Menghitung biaya penyimpanan
- Jika Anda berencana untuk membiarkan log berakhir masa berlakunya setelah 30 hari, biaya penyimpanan Anda adalah $0,00.
- Jika Anda menyimpan log selama lebih dari 30 hari, biaya penyimpanan dapat diperkirakan dengan mengalikan volume log bulanan dengan $0,01. Biaya ini mulai dikenakan setelah bulan pertama.
Contoh mendetail
5.000 permintaan per detik, log disimpan selama 90 hari
Dalam contoh ini, anggaplah jumlah rata-rata permintaan per detik Anda adalah 5.000 dan Anda berencana menyimpan log selama 90 hari. Dengan menggunakan langkah-langkah di halaman ini, Anda akan menghitung estimasi berikut:
- Kalikan 5.000 dengan 2.628.000 untuk mendapatkan 13.140.000.000 permintaan per bulan.
- Bagi 13.140.000.000 dengan 10e6 untuk mendapatkan volume log bulanan sebesar 13.140 GB.
- Konversikan angka tersebut ke GiB dengan mengalikan 0,93 untuk mendapatkan 12 .220.
- Kurangi 50 GiB dari volume log bulanan Anda untuk mendapatkan 12.170 GiB.
- Kalikan dengan $0,50 untuk mendapatkan biaya penyerapan sebesar $6.085.
- Untuk bulan pertama log Anda ada, biaya penyimpanannya adalah $0.
- Bulan kedua, biaya penyimpanan log adalah 12.170 dikalikan dengan $0,01, atau sekitar $122.
- Setiap bulan setelah bulan kedua, biaya penyimpanan bulanan adalah dua kali lipatnya, atau $244.
- Setelah bulan kedua, perkiraan biaya logging audit Akses Data Anda akan berkisar $6.329 per bulan.
Jika disajikan dalam bentuk persamaan, ini akan terlihat seperti (((((5.000 rps * 2.628.000 detik)/1.000.000) * 0,93) - 50 GiB) * $0,50) + $122 = $6.207.
Dalam contoh ini, biaya logging Akses Data bulanan Anda adalah sekitar $6.329 per bulan.