Konektor Bigtable Beam

Konektor Bigtable Beam (BigtableIO) adalah konektor I/O Apache Beam open source yang dapat membantu Anda melakukan operasi batch dan streaming pada data Bigtable dalam pipeline menggunakan Dataflow.

Jika Anda bermigrasi dari HBase ke Bigtable atau menjalankan aplikasi yang menggunakan HBase API, bukan Bigtable API, gunakan konektor Bigtable HBase Beam (CloudBigtableIO), bukan konektor yang dijelaskan di halaman ini.

Detail konektor

Konektor Bigtable Beam adalah komponen dari repositori GitHub Apache Beam. Javadoc tersedia di Class BigtableIO.

Sebelum membuat pipeline Dataflow, periksa dukungan runtime Apache Beam untuk memastikan Anda menggunakan versi Java yang didukung untuk Dataflow. Gunakan rilis Apache Beam terbaru yang didukung.

Konektor Bigtable Beam digunakan bersama dengan klien Bigtable untuk Java, library klien yang memanggil Bigtable API. Anda menulis kode untuk men-deploy pipeline yang menggunakan konektor ke Dataflow, yang menangani penyediaan dan pengelolaan resource serta membantu skalabilitas dan keandalan pemrosesan data.

Untuk informasi selengkapnya tentang model pemrograman Apache Beam, lihat dokumentasi Beam.

Kontrol alur tulis batch

Saat mengirim operasi tulis batch (termasuk permintaan penghapusan) ke tabel menggunakan konektor Bigtable Beam, Anda dapat mengaktifkan kontrol alur operasi tulis batch. Jika fitur ini diaktifkan, Bigtable akan otomatis melakukan hal berikut:

  • Batasi kapasitas traffic untuk menghindari kelebihan beban cluster Bigtable
  • Memastikan cluster memiliki beban yang cukup untuk memicu penskalaan otomatis Bigtable (jika diaktifkan), sehingga lebih banyak node otomatis ditambahkan ke cluster saat diperlukan

Untuk informasi selengkapnya, lihat Kontrol alur penulisan batch. Untuk contoh kode, lihat Mengaktifkan kontrol alur operasi tulis batch.

Langkah selanjutnya