Bigtable to Cloud Storage Parquet テンプレートは、Bigtable テーブルからデータを読み取り、Cloud Storage バケットに Parquet 形式で書き込むパイプラインです。このテンプレートは、Bigtable から Cloud Storage にデータを移動する場合に使用できます。
パイプラインの要件
- Bigtable テーブルが存在していること。
- パイプラインを実行する前に、出力先の Cloud Storage バケットが存在すること。
テンプレートのパラメータ
必須パラメータ
- bigtableProjectId: データの読み取り元である Cloud Bigtable インスタンスが含まれている Google Cloud プロジェクトの ID。
- bigtableInstanceId: テーブルが含まれる Cloud Bigtable インスタンスの ID。
- bigtableTableId: エクスポートする Cloud Bigtable テーブルの ID。
- outputDirectory: 出力ファイルを書き込むパスとファイル名の接頭辞。末尾はスラッシュでなければなりませんDateTime 形式は、日付と時刻のフォーマッタのディレクトリ パスをパースするために使用されます。例: gs://your-bucket/your-path。
- filenamePrefix: Parquet ファイル名の接頭辞。たとえば、「table1-」などです。デフォルトは part です。
オプション パラメータ
- numShards: 書き込み時に生成される出力シャードの最大数。シャード数が多いと Cloud Storage への書き込みのスループットが高くなりますが、出力 Cloud Storage ファイルの処理時にシャード全体のデータ集計コストが高くなる可能性があります。デフォルト値は Dataflow によって決定されます。
- bigtableAppProfileId: エクスポートに使用する Bigtable アプリケーション プロファイルの ID。アプリ プロファイルを指定しない場合は、インスタンスのデフォルトのアプリ プロファイル(https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile)が使用されます。
テンプレートを実行する
- Dataflow の [テンプレートからジョブを作成] ページに移動します。 [テンプレートからジョブを作成] に移動
- [ジョブ名] フィールドに、固有のジョブ名を入力します。
- (省略可)[リージョン エンドポイント] で、プルダウン メニューから値を選択します。デフォルトのリージョンは
us-central1
です。Dataflow ジョブを実行できるリージョンのリストについては、Dataflow のロケーションをご覧ください。
- [Dataflow テンプレート] プルダウン メニューから、[ the Cloud Bigtable to Parquet Files on Cloud Storage template] を選択します。
- 表示されたパラメータ フィールドに、パラメータ値を入力します。
- [ジョブを実行] をクリックします。
シェルまたはターミナルで、テンプレートを実行します。
gcloud dataflow jobs runJOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME /VERSION /Cloud_Bigtable_to_GCS_Parquet \ --regionREGION_NAME \ --parameters \ bigtableProjectId=BIGTABLE_PROJECT_ID ,\ bigtableInstanceId=INSTANCE_ID ,\ bigtableTableId=TABLE_ID ,\ outputDirectory=OUTPUT_DIRECTORY ,\ filenamePrefix=FILENAME_PREFIX ,\ numShards=NUM_SHARDS
次のように置き換えます。
JOB_NAME
: 一意の任意のジョブ名VERSION
: 使用するテンプレートのバージョン使用できる値は次のとおりです。
latest
: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。- バージョン名(例:
2023-09-12-00_RC00
)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
REGION_NAME
: Dataflow ジョブをデプロイするリージョン(例:us-central1
)BIGTABLE_PROJECT_ID
: データを読み取る Bigtable インスタンスの Google Cloud プロジェクトの IDINSTANCE_ID
: テーブルが含まれている Bigtable インスタンスの IDTABLE_ID
: エクスポートする Bigtable テーブルの IDOUTPUT_DIRECTORY
: データの書き込み先の Cloud Storage パス(例:gs://mybucket/somefolder
)FILENAME_PREFIX
: Parquet ファイル名の接頭辞(例:output-
)NUM_SHARDS
: 出力する Parquet ファイルの数(例:1
)
REST API を使用してテンプレートを実行するには、HTTP POST リクエストを送信します。API とその認証スコープの詳細については、projects.templates.launch
をご覧ください。
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID /locations/LOCATION /templates:launch?gcsPath=gs://dataflow-templates-LOCATION /VERSION /Cloud_Bigtable_to_GCS_Parquet { "jobName": "JOB_NAME ", "parameters": { "bigtableProjectId": "BIGTABLE_PROJECT_ID ", "bigtableInstanceId": "INSTANCE_ID ", "bigtableTableId": "TABLE_ID ", "outputDirectory": "OUTPUT_DIRECTORY ", "filenamePrefix": "FILENAME_PREFIX ", "numShards": "NUM_SHARDS " }, "environment": { "zone": "us-central1-f" } }
次のように置き換えます。
PROJECT_ID
: Dataflow ジョブを実行する Google Cloud プロジェクトの IDJOB_NAME
: 一意の任意のジョブ名VERSION
: 使用するテンプレートのバージョン使用できる値は次のとおりです。
latest
: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。- バージョン名(例:
2023-09-12-00_RC00
)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
LOCATION
: Dataflow ジョブをデプロイするリージョン(例:us-central1
)BIGTABLE_PROJECT_ID
: データを読み取る Bigtable インスタンスの Google Cloud プロジェクトの IDINSTANCE_ID
: テーブルが含まれている Bigtable インスタンスの IDTABLE_ID
: エクスポートする Bigtable テーブルの IDOUTPUT_DIRECTORY
: データの書き込み先の Cloud Storage パス(例:gs://mybucket/somefolder
)FILENAME_PREFIX
: Parquet ファイル名の接頭辞(例:output-
)NUM_SHARDS
: 出力する Parquet ファイルの数(例:1
)
テンプレートのソースコード
次のステップ
- Dataflow テンプレートについて学習する。
- Google 提供のテンプレートのリストを確認する。