Bigtable との統合

このページでは、Bigtable と他のプロダクトやサービスとの統合について説明します。

Google Cloud サービス

このセクションでは、Bigtable と統合されている Google Cloud サービスについて説明します。

BigQuery

BigQuery は、Google が提供するペタバイト規模の低料金フルマネージド アナリティクス データ ウェアハウスです。BigQuery を Bigtable で使用すると、次のことが可能になります。

  • BigQuery 外部テーブルを作成し、それを使用して Bigtable テーブルにクエリを実行し、データを他の BigQuery テーブルに結合できます。詳細については、Bigtable データにクエリを実行するをご覧ください。

  • BigQuery から Bigtable へのリバース ETL（RETL）を使用して、BigQuery データを Bigtable テーブルにエクスポートできます。詳細については、Bigtable にデータをエクスポートするをご覧ください。

Cloud Asset Inventory

Cloud Asset Inventory は、時系列データベースに基づいてインベントリ サービスを提供しており、Bigtable リソースタイプをサポートし、返します。完全なリストについては、サポートされるリソースタイプをご覧ください。

Data Catalog

Data Catalog は、Bigtable リソースに関するメタデータを自動的にカタログ化する Dataplex の機能です。 データに関する Data Catalog の情報を使用すると、分析、データの再利用、アプリケーション開発、データ マネジメントを容易に行うことができます。詳細については、Data Catalog を使用してデータアセットを管理するをご覧ください。

Dataflow

Dataflow は、ビッグデータ処理のためのクラウド サービスおよびプログラミング モデルです。Dataflow は、バッチ処理とストリーミング処理の両方をサポートします。Dataflow を使用すると、Bigtable に格納されているデータを処理できます。また、Dataflow パイプラインの出力を格納できます。Dataflow テンプレートを使用して、Avro、Parquet、SequenceFiles データのエクスポートとインポートを行うこともできます。

使用を開始する前に、Bigtable Beam コネクタをご覧ください。

また、Bigtable を Key-Value ルックアップとして使用してパイプライン内のデータを拡充することもできます。概要については、ストリーミング データを拡充するをご覧ください。チュートリアルについては、Apache Beam と Bigtable を使用してデータを拡充するをご覧ください。

Dataproc

Dataproc を使用すると、Apache Hadoop と関連プロダクトをクラウドでマネージド サービスとして利用できるようになります。Dataproc により、Bigtable に対して読み書きを行う Hadoop ジョブを実行できます。

Bigtable を使用した Hadoop MapReduce ジョブの例については、GitHub リポジトリ GoogleCloudPlatform/cloud-bigtable-examples の /java/dataproc-wordcount ディレクトリをご覧ください。

Vertex AI Vector Search は、意味的に類似または関連する何十億ものアイテムから検索できるテクノロジーです。レコメンデーション エンジン、chatbot、テキスト分類の実装に役立ちます。

Bigtable を使用してベクトル エンベディングを保存し、ベクトル検索インデックスにエクスポートして、インデックスで類似項目をクエリできます。サンプル ワークフローを示すチュートリアルについては、workflows-demos GitHub リポジトリの Bigtable to Vertex AI Vector Search Export をご覧ください。

ビッグデータ

このセクションでは、Bigtable と統合されているビッグデータ プロダクトについて説明します。

Apache Beam

Apache Beam は、バッチとストリーミング データの並列処理パイプラインを定義する統合モデルです。Bigtable Beam コネクタ（BigtableIO）を使用すると、パイプラインの Bigtable データに対してバッチ オペレーションとストリーミング オペレーションを実行できます。

Bigtable Beam コネクタを使用して Dataflow にデータ パイプラインをデプロイする方法のチュートリアルについては、Bigtable 変更ストリームの処理をご覧ください。

Apache Hadoop

Apache Hadoop は、大量のデータセットを複数のパソコンのクラスタ間で分散処理することを可能にするフレームワークです。Dataproc を使って Hadoop クラスタを作成した後、Bigtable に対する読み書きを行う MapReduce ジョブを実行できます。

Bigtable を使用した Hadoop MapReduce ジョブの例については、GitHub リポジトリ GoogleCloudPlatform/cloud-bigtable-examples の /java/dataproc-wordcount ディレクトリをご覧ください。

StreamSets データコレクタ

StreamSets データコレクタは、Bigtable にデータを書き込むように構成できるデータ ストリーミング アプリケーションです。StreamSets は、streamsets/datacollector の GitHub リポジトリに Bigtable ライブラリを提供します。

グラフ データベース

このセクションでは、Bigtable と統合されているグラフ データベースについて説明します。

HGraphDB

HGraphDB は Apache HBase または Bigtable をグラフ データベースとして使用するためのクライアント レイヤで、Apache TinkerPop 3 インターフェースを実装します。

Bigtable をサポートする HGraphDB の実行について詳しくは、HGraphDB のドキュメントをご覧ください。

JanusGraph

JanusGraph はスケーラブルなグラフ データベースです。何十億もの頂点とエッジを含むグラフの格納とクエリに最適化されています。

Bigtable をサポートする JanusGraph の実行について詳しくは、Bigtable での JanusGraph の実行、または JanusGraph のドキュメントをご覧ください。

インフラストラクチャ管理

このセクションでは、Bigtable と統合されているインフラストラクチャ管理について説明します。

Pivotal Cloud Foundry

Pivotal Cloud Foundry はアプリケーションの開発およびデプロイ用プラットフォームで、アプリケーションを Bigtable にバインドする機能を提供します。

Terraform

Terraform は、API を宣言的な構成ファイルにコード化するオープンソースのツールです。これらのファイルは、チームメンバー間での共有、コードとしての取り扱い、編集、レビュー、バージョン管理ができます。

Bigtable と Terraform を組み合わせて使用する方法については、Terraform のドキュメントの Bigtable のインスタンスと Bigtable のテーブルをご覧ください。

時系列データベースとモニタリング

このセクションでは、Bigtable と統合されている時系列データベースとモニタリング ツールについて説明します。

Heroic

Heroic は、モニタリング システムと時系列データベースを組み合わせたシステムです。Heroic は Bigtable を使用してデータを格納できます。

Heroic の詳細については、GitHub リポジトリ spotify/heroic、および Bigtable の構成と指標の構成に関するドキュメントをご覧ください。

OpenTSDB

OpenTSDB は、Bigtable をストレージに使用できる時系列データベースです。OpenTSDB のドキュメントには、使用を開始する際に役立つ情報を記載しています。