Bigtable to Cloud Storage SequenceFile テンプレート

Bigtable to Cloud Storage to SequenceFile テンプレートは、Bigtable テーブルからデータを読み取り、SequenceFile 形式で Cloud Storage バケットに書き込むパイプラインです。このテンプレートは、Bigtable から Cloud Storage にデータをコピーする場合に使用できます。

パイプラインの要件

  • Bigtable テーブルが存在していること。
  • パイプラインを実行する前に、出力先の Cloud Storage バケットが存在すること。

テンプレートのパラメータ

必須パラメータ

  • bigtableProject: データの読み取り元である Bigtable インスタンスが含まれている Google Cloud プロジェクトの ID。
  • bigtableInstanceId: テーブルが含まれている Bigtable インスタンスの ID。
  • bigtableTableId: エクスポートする Bigtable テーブルの ID。
  • destinationPath: データが書き込まれる Cloud Storage のパス（例: gs://your-bucket/your-path）。
  • filenamePrefix: SequenceFile ファイル名の接頭辞（例: output-）。

省略可パラメータ

  • bigtableAppProfileId: エクスポートに使用する Bigtable アプリケーション プロファイルの ID。アプリ プロファイルを指定しない場合は、インスタンスのデフォルトのアプリ プロファイル（https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile）が使用されます。
  • bigtableStartRow: エクスポートを開始する行。デフォルトは最初の行です。
  • bigtableStopRow: エクスポートを停止する行。デフォルトは最後の行です。
  • bigtableMaxVersions: セルバージョンの最大数。デフォルトは 2147483647 です。
  • bigtableFilter: フィルタ文字列。http://hbase.apache.org/book.html#thrift をご覧ください。デフォルトは空です。

テンプレートを実行する

コンソール

  1. Dataflow の [テンプレートからジョブを作成] ページに移動します。
    2. [テンプレートからジョブを作成] に移動
  2. [ジョブ名] フィールドに、固有のジョブ名を入力します。
  3. （省略可）[リージョン エンドポイント] で、プルダウン メニューから値を選択します。デフォルトのリージョンは us-central1 です。

    Dataflow ジョブを実行できるリージョンのリストについては、Dataflow のロケーションをご覧ください。

  4. [Dataflow テンプレート] プルダウン メニューから、[ the Cloud Bigtable to SequenceFile Files on Cloud Storage template ] を選択します。
  5. 表示されたパラメータ フィールドに、パラメータ値を入力します。
  6. [ジョブを実行] をクリックします。

gcloud

シェルまたはターミナルで、テンプレートを実行します。

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_SequenceFile \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
destinationPath=DESTINATION_PATH,\
filenamePrefix=FILENAME_PREFIX

次のように置き換えます。

  • JOB_NAME: 一意の任意のジョブ名
  • VERSION: 使用するテンプレートのバージョン

    使用できる値は次のとおりです。

    • latest: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ（gs://dataflow-templates-REGION_NAME/latest/）にあります。
    • バージョン名（例: 2023-09-12-00_RC00）。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ（gs://dataflow-templates-REGION_NAME/）にあります。
  • REGION_NAME: Dataflow ジョブをデプロイするリージョン（例: us-central1）
  • BIGTABLE_PROJECT_ID: データを読み取る Bigtable インスタンスの Google Cloud プロジェクトの ID
  • INSTANCE_ID: テーブルが含まれている Bigtable インスタンスの ID
  • TABLE_ID: エクスポートする Bigtable テーブルの ID
  • APPLICATION_PROFILE_ID: エクスポートに使用される Bigtable アプリケーション プロファイルの ID。
  • DESTINATION_PATH: データの書き込み先の Cloud Storage パス（例: gs://mybucket/somefolder）
  • FILENAME_PREFIX: SequenceFile ファイル名の接頭辞（例: output-）

API

REST API を使用してテンプレートを実行するには、HTTP POST リクエストを送信します。API とその認証スコープの詳細については、projects.templates.launch をご覧ください。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_SequenceFile
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "destinationPath": "DESTINATION_PATH",
       "filenamePrefix": "FILENAME_PREFIX",
   },
   "environment": { "zone": "us-central1-f" }
}

次のように置き換えます。

  • PROJECT_ID: Dataflow ジョブを実行する Google Cloud プロジェクトの ID
  • JOB_NAME: 一意の任意のジョブ名
  • VERSION: 使用するテンプレートのバージョン

    使用できる値は次のとおりです。

    • latest: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ（gs://dataflow-templates-REGION_NAME/latest/）にあります。
    • バージョン名（例: 2023-09-12-00_RC00）。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ（gs://dataflow-templates-REGION_NAME/）にあります。
  • LOCATION: Dataflow ジョブをデプロイするリージョン（例: us-central1）
  • BIGTABLE_PROJECT_ID: データを読み取る Bigtable インスタンスの Google Cloud プロジェクトの ID
  • INSTANCE_ID: テーブルが含まれている Bigtable インスタンスの ID
  • TABLE_ID: エクスポートする Bigtable テーブルの ID
  • APPLICATION_PROFILE_ID: エクスポートに使用される Bigtable アプリケーション プロファイルの ID。
  • DESTINATION_PATH: データの書き込み先の Cloud Storage パス（例: gs://mybucket/somefolder）
  • FILENAME_PREFIX: SequenceFile ファイル名の接頭辞（例: output-）

次のステップ