Bigtable Data Boost の概要

Data Boost は、アプリケーショントラフィックを処理するクラスタのパフォーマンスに影響を与えることなく、Bigtable データに対して高スループットの読み取りジョブを実行するように設計されたサーバーレスコンピューティングサービスです。これにより、コアアプリケーションがコンピューティングにクラスタノードを使用し続けながら、サーバーレスコンピューティングを使用して大規模な読み取りジョブとクエリを送信できます。サーバーレスコンピューティングの SKU と料金は、プロビジョニングされたノードの SKU と料金とは別です。Data Boost で書き込みリクエストや削除リクエストを送信することはできません。

このドキュメントでは、Data Boost と、その使用するタイミングと使用方法について説明します。このページを読む前に、インスタンス、クラスタ、ノードについて理解しておく必要があります。

最適な用途

Data Boost はデータ分析とデータ処理ワークロードに最適です。Data Boost で分析と処理のトラフィックを分離することで、分析ワークロードに対応するためにクラスタの容量やノード数を調整する必要がなくなります。進行中のアプリケーショントラフィックがクラスタノードにルーティングされている間、Data Boost を使用して単一クラスタで高スループットの分析ジョブを実行できます。

Data Boost の理想的なユースケースは次のとおりです。

データ拡充、分析、アーカイブ、オフライン ML モデルのトレーニング、お客様のサードパーティパートナーによる取り込みを目的とする、Bigtable から Cloud Storage へのエクスポートまたは ETL パイプラインジョブのスケジュールまたはトリガー
インプレース集計、MDM のルールベース変換、ML ジョブをサポートする短いスキャンまたはバッチ読み取りプロセスに Dataflow などのツールを使用する ETL

不得意分野

ポイント読み取り - Data Boost は、単一行に対して送信される読み取りリクエストであるポイント読み取りオペレーションには最適なオプションではありません。これにはバッチのポイント読み取りも該当します。ご請求の仕組みにより、多くの単一行ポイント読み取りは 1 回の長いスキャンよりもかなり高額になります。

書き込み直後のデータの読み取り - Data Boost でデータを読み取る場合、最新の 30 分間に書き込まれたデータの一部も読み取るとは限りません。これは、インスタンスがレプリケーションを使用し、読み取り元とは異なるリージョンのクラスタに書き込まれたデータを読み取る場合に特に当てはまります。詳しくは、整合性をご覧ください。

レイテンシの影響を受けやすいワークロード - Data Boost はスループット用に最適化されているため、Data Boost を使用する場合の読み取りレイテンシは、クラスタとノードを使用して読み取る場合よりも遅くなります。そのため、Data Boost はアプリケーションサービングワークロードには適していません。

Data Boost と互換性のないワークロード、構成、機能の詳細については、制限事項をご覧ください。

Data Boost アプリプロファイル

Data Boost を使用するには、標準のアプリプロファイルではなく、Data Boost アプリプロファイルを使用して読み取りリクエストを送信します。

標準アプリプロファイルでは、アプリプロファイルを使用するリクエストのルーティングポリシーと優先度レベル、および単一行のトランザクションを許可するかどうかを指定できます。標準アプリプロファイルを使用して送信されたトラフィックはクラスタにルーティングされ、そのクラスタのノードはディスクにトラフィックをルーティングします。詳細については、標準アプリプロファイルの概要をご覧ください。

一方、Data Boost アプリプロファイルでは、インスタンスのクラスタの 1 つに単一クラスタルーティングポリシーを構成し、そのアプリプロファイルを使用するトラフィックでは、クラスタのノードの代わりにサーバーレスコンピューティングを使用します。

新しい Data Boost アプリプロファイルを作成することも、Data Boost を使用するように標準のアプリプロファイルを変換することもできます。ワークロードやアプリケーションごとに個別のアプリプロファイルを使用することをおすすめします。

整合性トークン

読み取りリクエストの 35 分以上前にターゲットクラスタに書き込まれたデータまたはレプリケートされたデータは、Data Boost で読み取ることができます。

整合性トークンを作成して使用することで、Data Boost ワークロードを開始する前に、特定の書き込みジョブまたは期間のデータが Data Boost で読み取り可能であることを確認できます。ワークフローの例を以下に示します。

テーブルにデータを書き込む
整合性トークンを作成する。
DataBoostReadLocalWrites モードでトークンを送信して、ターゲットクラスタの Data Boost が書き込みを読み取ることができるタイミングを判断します。

必要に応じて、Data Boost の整合性を確認する前に、まず StandardReadRemoteWrites モードで整合性トークンを送信して、レプリケーションの整合性を確認できます。

詳しくは、CheckConsistencyRequest の API リファレンスをご覧ください。

割り当てと課金

Data Boost は、独立したオンデマンドコンピューティングリソースであるサーバーレスプロセッシングユニット（SPU）を使用して、Data Boost でデータを読み取るために使用されるコンピューティング能力を測定します。ノードとは異なり、SPU の料金は使用した分に対してのみ請求されます。各リクエストには最低でも 60 SPU 秒分の料金が発生し、1 秒あたり最小で 10 SPU 分が課金されます。Data Boost の料金の詳細については、Bigtable の料金をご覧ください。

ノードの割り当てや料金とは別に数量に基づき割り当てられ、SPU の料金が発生します。

適格性に関する指標

Data Boost は高スループットのスキャン用に設計されており、ワークロードは Data Boost の使用に対応している必要があります。標準のアプリプロファイルを Data Boost を使用できるように変換する前、または既存のワークロードに Data Boost アプリプロファイルを作成する前に、Data Boost の適格性に関する指標を表示して、構成と使用が必要な条件を満たしていることを確認してください。また、制限事項も確認してください。

モニタリング

Data Boost トラフィックをモニタリングするには、Google Cloud コンソールの Bigtable モニタリングページで Data Boost アプリプロファイルの指標を確認します。アプリプロファイルで使用できる指標のリストについては、Bigtable リソースのモニタリンググラフをご覧ください。

Metrics Explorer で SPU 使用量である（data_boost/spu_usage_count）指標を確認すると、サーバーレスプロセッシングユニット（SPU）の使用量をモニタリングできます。

Data Boost の使用を開始した後も、アプリプロファイルの利用条件に関する指標を引き続きモニタリングすることもできます。

制限事項

Data Boost で、次のワークロードプロパティとリソース構成はサポートされていません。

書き込みと削除
大部分がポイント読み取り（単一行の読み取り）であるトラフィック
クラスタあたり 1 秒につき 1,000 件以上の読み取り
リバーススキャン
変更ストリーム
リクエスト優先度
複数クラスタのルーティング
単一行のトランザクション
リージョンエンドポイント
HDD インスタンス
CMEK 暗号化を使用するインスタンス
互換性のないクライアントライブラリ。Java 用 Bigtable クライアントバージョン 2.31.0 以降を使用する必要があります。
- BigtableIO を使用して Bigtable データを読み取る Dataflow ジョブでは、Apache Beam バージョン 2.54.0 以降を使用する必要があります。
- CloudBigtableIO を使用して Bigtable データを読み取る Dataflow ジョブの場合は、bigtable-hbase-beam バージョン 2.14.1 以降を使用する必要があります。

以下はプレビュー版ではサポートされていません。

Google Cloud コンソールでの Data Boost アプリプロファイルの作成と構成
BigQuery または Spark からの Bigtable データの読み取り