新しいデータ移行ツールで BigQuery へのデータ ウェアハウスの移行を自動化

※この投稿は米国時間 2023 年 8 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。

お客様がデジタル トランスフォーメーションに着手すると、そのプロセス全体の大部分を占めるのはオンプレミスのデータ ウェアハウスをクラウドに移行する作業です。

BigQuery へのデータ ウェアハウスの移行を加速させるために、このたび追加のサービスをご利用いただけるようになりました。これは、オンプレミスのデータ ウェアハウスから BigQuery への移行作業を自動化するデータ移行ツールとして提供されます。

このデータ移行ツールは現在プレビュー版で、スキーマの移行や過去データの移行から、SQL 変換、検証まで、データ ウェアハウスの移行の主要なフェーズに対応します。Google Cloud 上に構築されており、データ検証ツールや BigQuery 移行サービスなどの移行アクセラレータと緊密に連携して、エンドツーエンドのデータ ウェアハウス移行を自動化します。現在のところ、Teradata、Hive、Redshift、Oracle からの移行がサポートされており、今後もサポート対象のデータ ウェアハウスが増えていく予定です。

このツールは詳細な構成が可能なオープンソース ソリューションです。Terraform を介してデプロイし、シンプルな JSON 構成ファイルでトリガーすることができます。データの量や複雑さに応じて、コンピューティングのスケールアップもスケールダウンも行えます。このツールの主な利点は以下のとおりです。

• エラー、バグ、データの不整合が生じるリスクが軽減された、エンタープライズ データ ウェアハウス移行の実証済みのアプローチ

• データ移行、SQL 変換、検証の自動オーケストレーション

• データ検証、ジョブ実行、SQL 変換の結果を Looker で確認できるレポート ダッシュボード

• データと SQL アーティファクトを Google Cloud に初めて取り込む際の時間短縮

• 移行の総費用の削減

• お客様側で別途開発チームを必要とすることが限定的になる

• 習得が容易

このデータ移行ツールによってどのように移行が容易になるかを、Teradata から BigQuery への移行を例に取って示します。

1. ユーザーが、関連する入力ファイル（テーブルリストの csv、SQL / DDL ファイル）と JSON 構成ファイルを Cloud Storage バケットにアップロードし、データ移行ツールをトリガーします。

2. データ移行ツールが Data Transfer Service をトリガーしてテーブル スキーマを変換し、テーブルデータをオンプレミスのソース データ ウェアハウスから BigQuery テーブルに転送します。

3. データ転送の完了後、データ移行ツールが Data Transfer Service をトリガーして、列の集計値についてソーステーブルとターゲット テーブルを比較し、検証結果を BigQuery レポート テーブルに出力します。

4. データ移行ツールが BigQuery SQL Translation Service をトリガーして（Cloud Storage バケットにアップロードされた）SQL クエリをソース構文から BigQuery SQL に変換し、変換済みの SQL を別のバケットに出力します。さらに、変換の統計情報を BigQuery レポート テーブルに書き込みます。

5. データ移行ツールがデータ検証ツールをトリガーして、結果セットについてソース SQL とターゲット SQL を比較します。

6. データ移行ツールが検証の統計情報を BigQuery レポート テーブルに書き込みます。

7. ユーザーが Looker Studio の移行ダッシュボードで、データ移行、SQL 変換、データ検証の結果を確認します。

これで完了です。手動の操作などでは時間がかかり、エラーが発生しやすいプロセスを、データ移行ツールはわずか数ステップでオーケストレートします。このシンプルで実証済みの移行アプローチにより、リスクを軽減し、移行プロセスを加速させ、デジタル トランスフォーメーション プロセスの他のことに集中するための時間とリソースを確保することができます。さらに嬉しいことに、データ移行ツールは Google Cloud でライセンス料なしでご利用いただけます。発生する費用は、利用するサービスのストレージとコンピューティングの分のみです。データ移行ツールの詳細については、GitHub でこのプロジェクトをご確認ください。