Menulis dari Dataflow ke Bigtable

Untuk menulis data dari Dataflow ke Bigtable, gunakan konektor I/O Bigtable Apache Beam.

Keparalelan

Paralelisme dikontrol oleh jumlah node di cluster Bigtable. Setiap node mengelola satu atau beberapa rentang kunci, meskipun rentang kunci dapat berpindah di antara node sebagai bagian dari load balancing. Untuk mengetahui informasi selengkapnya, lihat Memahami performa di dokumentasi Bigtable.

Anda dikenai biaya untuk jumlah node di cluster instance. Lihat Harga Bigtable.

Performa

Tabel berikut menunjukkan metrik performa untuk operasi tulis Bigtable I/O. Workload dijalankan pada satu pekerja e2-standard2, menggunakan Apache Beam SDK 2.48.0 untuk Java. Dia tidak menggunakan Runner v2.

100 jt data | 1 kB | 1 kolom Throughput (byte) Throughput (elemen)
Menulis 65 MBps 60.000 elemen per detik

Metrik ini didasarkan pada pipeline batch sederhana. Keduanya ditujukan untuk membandingkan performa antara konektor I/O, dan tidak selalu merepresentasikan pipeline di dunia nyata. Performa pipeline Dataflow bersifat kompleks, dan merupakan fungsi dari jenis VM, data yang sedang diproses, performa sumber dan sink eksternal, serta kode pengguna. Metrik didasarkan pada menjalankan Java SDK dan tidak mewakili karakteristik performa SDK bahasa lainnya. Untuk mengetahui informasi selengkapnya, lihat Performa Beam IO.

Praktik terbaik

  • Secara umum, hindari penggunaan transaksi. Transaksi tidak dijamin akan idempoten, dan Dataflow mungkin memanggilnya beberapa kali karena percobaan ulang yang menyebabkan nilai yang tidak terduga.

  • Satu pekerja Dataflow dapat memproses data untuk banyak rentang kunci, sehingga menyebabkan penulisan yang tidak efisien ke Bigtable. Menggunakan GroupByKey untuk mengelompokkan data berdasarkan kunci Bigtable dapat meningkatkan performa tulis secara signifikan.

  • Jika Anda menulis set data besar ke Bigtable, sebaiknya panggil withFlowControl. Setelan ini otomatis membatasi kapasitas traffic ke Bigtable, untuk memastikan server Bigtable memiliki cukup resource yang tersedia untuk menyajikan data.

Langkah selanjutnya