Bigtable Beam コネクタ
Bigtable Beam コネクタ(BigtableIO
)はオープンソースの Apache Beam I/O コネクタです。Dataflow を使用したパイプラインで Bigtable データにバッチ オペレーションとストリーミング オペレーションを実行できます。
HBase から Bigtable に移行する場合や、アプリケーションを実行している場合は、Bigtable API ではなく HBase API を使用し、このページに記載されているコネクタではなく、Bigtable HBase Beam コネクタ(CloudBigtableIO
)を使用してください。
コネクタの詳細
Bigtable Beam コネクタは、Apache Beam GitHub リポジトリのコンポーネントです。Javadoc は Class
BigtableIO
にあります。
Dataflow パイプラインを作成する前に、Apache Beam ランタイム サポートをチェックして、サポート対象バージョンの Java が Dataflow で使用されていることを確認してください。サポートされている最新の Apache Beam リリースを使用してください。
Bigtable Beam コネクタは、Bigtable API を呼び出すクライアント ライブラリである Java 用 Bigtable クライアントと組み合わせて使用します。コネクタを使用するパイプラインを Dataflow にデプロイするためのコードを記述します。Dataflow は、リソースのプロビジョニングと管理を行い、データ処理のスケーラビリティと信頼性を提供します。
Apache Beam プログラミング モデルの詳細については、Beam のドキュメントをご覧ください。
バッチ書き込みのフロー制御
Bigtable Beam コネクタを使用してテーブルにバッチ書き込みを送信する場合は、バッチ書き込みフロー制御を有効にできます。この機能を有効にすると、Bigtable は次の処理を自動的に行います。
- トラフィックをレート制限して Bigtable クラスタの過負荷を回避する
- Bigtable の自動スケーリングが有効な場合、クラスタの現在の負荷状態で自動スケーリングをトリガーできるかどうか確認し、必要であれば、さらに多くのノードが自動的にクラスタに追加されるようにする
詳細については、バッチ書き込みフロー制御をご覧ください。