データのインポートとエクスポート

このページでは、Bigtable との間でデータをインポートおよびエクスポートするために利用できる方法について説明します。

Bigtable にデータをインポートする

BigQuery データを Bigtable にインポートするには、BigQuery ドキュメントの Bigtable にデータをエクスポートする(リバース ETL)をご覧ください。

BigQuery データに対して継続的クエリを実行し、リバース ETL を使用して結果を Bigtable にリアルタイムでエクスポートできます。詳細については、BigQuery ドキュメントの継続的クエリの概要をご覧ください。

テンプレートを使用してデータを移動またはコピーする

次の Dataflow テンプレートを使用すると、Bigtable と他のソースまたは宛先の間でデータを移動またはコピーできます。

BigQuery

次の Dataflow テンプレートを使用すると、BigQuery から Bigtable にデータをエクスポートできます。

Apache Cassandra to Bigtable

次の Dataflow テンプレートを使用すると、Apache Cassandra から Bigtable にデータをエクスポートできます。

Avro ファイル

次の Dataflow テンプレートを使用すると、Bigtable から Avro ファイルとしてデータをエクスポートし、そのデータを Bigtable に再インポートできます。テンプレートを実行するには、Google Cloud CLI または Google Cloud コンソールを使用します。ソースコードは GitHub にあります。

Parquet ファイル

次の Dataflow テンプレートを使用すると、Bigtable から Parquet ファイルとしてデータをエクスポートし、そのデータを Bigtable に再インポートできます。テンプレートを実行するには、gcloud CLI または Google Cloud コンソールを使用します。ソースコードは GitHub にあります。

SequenceFiles

次の Dataflow テンプレートを使用すると、Bigtable から SequenceFiles としてデータをエクスポートし、そのデータを Bigtable に再インポートできます。テンプレートを実行するには、Google Cloud CLI または Google Cloud コンソールを使用します。

テーブルページからインポートする

このページで説明するインポート方法の多くは、Google Cloud コンソールを使用して実行できます。[テーブル] ページから次の種類のデータをインポートします。

  • CSV データ
  • BigQuery データ
  • Avro ファイル
  • Cassandra のキースペースとテーブル
  • Parquet ファイル
  • SequenceFile ファイル

コンソール

  1. Google Cloud コンソールで Bigtable インスタンスのリストを開きます。

    インスタンスのリストを開く

  2. インポートするテーブルを含むインスタンスをクリックします。

  3. 左ペインで [テーブル] をクリックします。

    [テーブル] ページに、インスタンス内のテーブルのリストが表示されます。

  4. データのインポート先となるテーブル名の横にある [テーブル アクション] メニューをクリックします。

  5. [データをインポート] をクリックし、インポートするデータのタイプを選択します。

    • Avro、Parquet、SequenceFile、Cassandra を選択すると、部分的に完了した Dataflow テンプレートがコンソールに表示されます。ジョブ テンプレートに入力し、[ジョブを実行] をクリックします。
    • [CSV] を選択すると、cbt CLI ターミナル ウィンドウが開きます。詳細については、このドキュメントの CSV データをインポートするをご覧ください。
    • BigQuery を選択すると、BigQuery Studio が開きます。リバース ETL クエリを入力して実行します。

テーブルページからエクスポートする

このページで説明するエクスポート方法の一部は、Google Cloud コンソールを使用して実行できます。[テーブル] ページから次の種類のデータをエクスポートします。

  • Avro ファイル
  • Parquet ファイル
  • SequenceFile ファイル

コンソール

  1. Google Cloud コンソールで Bigtable インスタンスのリストを開きます。

    インスタンスのリストを開く

  2. エクスポートするテーブルが含まれているインスタンスをクリックします。

  3. 左側のペインで [テーブル] をクリックします。

    [テーブル] ページに、インスタンス内のテーブルのリストが表示されます。

  4. テーブル名の横にある [テーブル アクション] メニューをクリックします。

  5. [データをエクスポート] をクリックし、エクスポートするファイル形式を選択します。

    部分的に完了した Dataflow テンプレートがコンソールに表示されます。

  6. ジョブ テンプレートに入力し、[ジョブを実行] をクリックします。

CSV データをインポートする

cbt CLI を使用して、CSV ファイルから Bigtable テーブルにデータをインポートできます。そのためには、Cloud Shell などの環境から CSV ファイルにアクセスできることを確認する必要があります。CSV ファイルを Cloud Shell に取り込むには、次のいずれかの方法を使用します。

ローカル CSV ファイルをアップロードする:

  1. Cloud Shell で、 [その他] メニューをクリックし、[アップロード] を選択します。
  2. ローカルマシンから CSV ファイルを選択します。
  3. ファイルをアップロードしたら、cbt CLI コマンドでファイル名を参照します。

Cloud Storage から CSV ファイルをコピーする:

cbt CLI は、Cloud Storage バケットからのインポートを直接サポートしていません。まず、Cloud Storage から Cloud Shell 環境に CSV ファイルをコピーする必要があります。詳細については、バケットにオブジェクトをアップロードするをご覧ください。

CSV ファイルが環境で使用可能になったら、cbt CLI コマンドを使用してデータをインポートします。コマンドの例については、入力ファイルに基づいて多くの行をバッチ書き込みするをご覧ください。

次のステップ