Konektor Bigtable Beam

Konektor Bigtable Beam (BigtableIO) adalah konektor I/O Apache Beam open source yang dapat membantu Anda menjalankan operasi batch dan streaming pada data Bigtable dalam pipeline menggunakan Dataflow.

Jika Anda bermigrasi dari HBase ke Bigtable atau menjalankan aplikasi menggunakan HBase API, bukan Bigtable API, gunakan konektor Bigtable HBase Beam (CloudBigtableIO), bukan konektor yang dijelaskan di halaman ini.

Detail konektor

Konektor Bigtable Beam adalah komponen dari repositori GitHub Apache Beam. Javadoc tersedia di Class BigtableIO.

Sebelum membuat pipeline Dataflow, periksa dukungan runtime Apache Beam untuk memastikan Anda menggunakan versi Java yang didukung untuk Dataflow. Gunakan rilis Apache Beam terbaru yang didukung.

Konektor Bigtable Beam digunakan bersama dengan klien Bigtable untuk Java, yaitu library klien yang memanggil API Bigtable. Anda menulis kode untuk men-deploy pipeline yang menggunakan konektor ke Dataflow, yang menangani penyediaan dan pengelolaan resource serta membantu skalabilitas dan keandalan pemrosesan data.

Untuk mengetahui informasi selengkapnya tentang model pemrograman Apache Beam, lihat dokumentasi Beam.

Kontrol alur penulisan batch

Saat mengirim batch operasi tulis ke tabel menggunakan konektor Bigtable Beam, Anda dapat mengaktifkan kontrol alur penulisan batch. Saat fitur ini diaktifkan, Bigtable otomatis melakukan hal berikut:

  • Kapasitas membatasi traffic agar tidak kelebihan beban pada cluster Bigtable Anda
  • Memastikan cluster memiliki beban yang cukup untuk memicu penskalaan otomatis Bigtable (jika diaktifkan), sehingga lebih banyak node yang otomatis ditambahkan ke cluster saat diperlukan

Untuk mengetahui detailnya, lihat Kontrol alur penulisan batch.

Langkah selanjutnya