Ringkasan Bigtable Data Boost
Data Boost adalah layanan komputasi serverless yang dirancang untuk menjalankan tugas pembacaan throughput tinggi di data Bigtable tanpa memengaruhi performa cluster yang menangani traffic aplikasi Anda. Dengan demikian, Anda dapat mengirim tugas dan kueri baca yang besar menggunakan komputasi serverless, sementara aplikasi inti Anda terus menggunakan node cluster untuk komputasi. SKU komputasi serverless dan tarif penagihan terpisah dari SKU dan tarif untuk node yang disediakan. Anda tidak dapat mengirim permintaan tulis atau hapus dengan Data Boost.
Dokumen ini menjelaskan Data Boost serta kapan dan cara menggunakannya. Sebelum membaca halaman ini, Anda harus memahami Instance, cluster, dan node.
Efektif untuk
Data Boost ideal untuk analisis data dan workload pemrosesan data. Mengisolasi analisis dan memproses traffic dengan Data Boost memastikan bahwa Anda tidak perlu menyesuaikan kapasitas atau jumlah node cluster untuk mengakomodasi workload analisis. Anda dapat menjalankan tugas analisis throughput tinggi di satu cluster dengan Data Boost saat traffic aplikasi yang sedang berlangsung diarahkan melalui node cluster.
Berikut adalah kasus penggunaan ideal untuk Data Boost:
- Tugas pipeline ekspor atau ETL terjadwal atau dipicu dari Bigtable ke Cloud Storage untuk pengayaan data, analisis, pengarsipan, pelatihan model ML offline, atau penyerapan oleh partner pihak ketiga pelanggan Anda
- ETL menggunakan alat seperti Dataflow untuk proses pemindaian singkat atau pembacaan batch yang mendukung agregasi di tempat, transformasi berbasis aturan untuk MDM, atau tugas ML
- Aplikasi Spark yang menggunakan konektor Bigtable Spark untuk membaca data Bigtable
Hal yang tidak cocok
Pembacaan titik - Data Boost bukan opsi terbaik untuk operasi pembacaan titik, yaitu permintaan baca yang dikirim untuk satu baris. Hal ini mencakup pembacaan titik secara batch. Karena struktur penagihan, banyak pembacaan titik satu baris jauh lebih mahal daripada satu pemindaian panjang.
Membaca data segera setelah ditulis - Saat membaca data dengan Data Boost, Anda mungkin tidak membaca semua data yang ditulis dalam setengah jam terbaru. Hal ini terutama berlaku jika instance Anda menggunakan replikasi dan Anda membaca data yang ditulis ke cluster di region yang berbeda dengan tempat Anda membaca. Untuk mengetahui informasi selengkapnya, lihat Token konsistensi.
Beban kerja yang sensitif terhadap latensi - Data Boost dioptimalkan untuk throughput, sehingga latensi baca lebih lambat saat Anda menggunakan Data Boost daripada saat Anda membaca menggunakan cluster dan node. Karena alasan ini, Data Boost tidak cocok untuk workload penayangan aplikasi.
Untuk mengetahui informasi selengkapnya tentang workload, konfigurasi, dan fitur yang tidak kompatibel dengan Data Boost, lihat Batasan.
Profil aplikasi Data Boost
Untuk menggunakan Data Boost, Anda mengirim permintaan baca menggunakan profil aplikasi Data Boost, bukan profil aplikasi standar.
Profil aplikasi standar memungkinkan Anda menentukan kebijakan perutean dan tingkat prioritas untuk permintaan yang menggunakan profil aplikasi, serta apakah transaksi baris tunggal diizinkan. Traffic yang dikirim menggunakan profil aplikasi standar dirutekan ke cluster, dan node cluster tersebut merutekan traffic ke disk. Untuk informasi selengkapnya, lihat Ringkasan profil aplikasi standar.
Di sisi lain, dengan profil aplikasi Data Boost, Anda mengonfigurasi kebijakan perutean cluster tunggal ke salah satu cluster instance, dan traffic yang menggunakan profil aplikasi tersebut menggunakan komputasi serverless, bukan node cluster.
Anda dapat membuat profil aplikasi Data Boost baru, atau mengonversi profil aplikasi standar untuk menggunakan Data Boost. Sebaiknya gunakan profil aplikasi terpisah untuk setiap workload atau aplikasi.
Token konsistensi
Data yang ditulis atau direplikasi ke cluster target lebih dari 35 menit sebelum permintaan baca Anda dapat dibaca oleh Data Boost.
Anda dapat memastikan bahwa data dari tugas tulis atau jangka waktu tertentu dapat dibaca oleh Data Boost, sebelum memulai beban kerja Data Boost, dengan membuat dan menggunakan token konsistensi. Contoh alur kerja adalah sebagai berikut:
- Tulis beberapa data ke tabel.
- Buat token konsistensi.
- Kirim token dalam mode
DataBoostReadLocalWritesuntuk menentukan kapan penulisan dapat dibaca oleh Data Boost di cluster target Anda.
Secara opsional, Anda dapat memeriksa konsistensi replikasi sebelum memeriksa konsistensi Data Boost
dengan terlebih dahulu mengirim token konsistensi dalam mode StandardReadRemoteWrites.
Untuk informasi selengkapnya, lihat referensi API untuk CheckConsistencyRequest.
Kuota dan penagihan
Penggunaan Data Boost diukur dalam serverless processing unit (SPU), dan 1.000 SPU = satu node dalam performa. Tidak seperti node yang disediakan, Anda hanya akan ditagih untuk SPU saat menggunakan Data Boost. Setiap permintaan ditagih minimal 60 detik SPU, dan Anda dikenai biaya minimal 10 SPU per detik. Untuk mengetahui informasi selengkapnya tentang harga Data Boost, lihat Harga Bigtable.
Anda dialokasikan kuota dan ditagih untuk SPU secara terpisah dari kuota dan tagihan untuk node.
Metrik kelayakan
Data Boost dirancang untuk pemindaian dengan throughput tinggi, dan beban kerja harus kompatibel agar dapat menggunakan Data Boost. Sebelum Anda mengonversi profil aplikasi standar untuk menggunakan Data Boost atau membuat profil aplikasi Data Boost untuk beban kerja yang ada, lihat metrik kelayakan Data Boost untuk memastikan konfigurasi dan penggunaan Anda memenuhi kriteria yang diperlukan. Anda juga harus meninjau batasan.
Pemantauan
Untuk memantau traffic Data Boost, Anda dapat memeriksa metrik untuk profil aplikasi Data Boost di halaman Bigtable Monitoring di konsol Google Cloud. Untuk daftar metrik yang tersedia menurut profil aplikasi, lihat Diagram pemantauan untuk resource Bigtable.
Anda dapat memantau penggunaan serverless processing unit (SPU), dengan memeriksa metrik jumlah penggunaan SPU (data_boost/spu_usage_count) di tab App profile di halaman Bigtable Monitoring.
Anda juga dapat terus memantau metrik kelayakan untuk profil aplikasi setelah mulai menggunakan Data Boost.
Batasan
Properti workload dan konfigurasi resource berikut tidak didukung untuk Data Boost.
- Menulis dan menghapus
- Traffic yang sebagian besar merupakan pembacaan titik (pembacaan baris tunggal)
- Lebih dari 1.000 operasi baca per detik per cluster
- Pemindaian terbalik
- Aliran data perubahan
- Prioritas permintaan
- Pemilihan rute multi-cluster
- Transaksi baris tunggal
- Endpoint regional
- Instance HDD
- Kueri GoogleSQL untuk Bigtable
- Kueri pembuat kueri Bigtable Studio
- Instance yang menggunakan enkripsi CMEK
Library klien yang tidak kompatibel. Anda harus menggunakan klien Bigtable untuk Java versi 2.31.0 atau yang lebih baru.
- Untuk tugas Dataflow yang menggunakan
BigtableIOuntuk membaca data Bigtable, Anda harus menggunakan Apache Beam versi 2.54.0 atau yang lebih baru. - Untuk tugas Dataflow yang menggunakan
CloudBigtableIOuntuk membaca data Bigtable, Anda harus menggunakanbigtable-hbase-beamversi 2.14.1 atau yang lebih baru. Hal berikut tidak didukung untuk Pratinjau.
- Untuk tugas Dataflow yang menggunakan
Membaca data Bigtable dari BigQuery
Langkah selanjutnya