BigQuery への移行が容易に

※この投稿は米国時間 2021 年 10 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。

移行は容易なことではありません。移行を成功に導くためには時間と労力が必要です。BigQuery のカスタマイズ可能なツールと長年積み重ねた専門知識で、お客様のクラウド移行を容易にします。Google Cloud は、オープンで柔軟性の高いプラットフォームの提供を目指して取り組んでまいりました。その目標に沿ったオープンなアプローチでお客様とパートナーの皆様のために構築した移行ツールは、高い柔軟性と豊富な選択肢を持っています。BigQuery への移行にぜひご活用ください。

BigQuery への移行にまつわる問題を解決する包括的なソリューション

本日、BigQuery Migration Service のプレビュー版を発表いたします。このサービスは、移行プロセス全体で必要な機能を備え、無料でご利用いただけるツールセットです。このサービスでは、移行計画、データ移行、SQL / スクリプトの自動変換、データ検証などのツールにより、Teradata から BigQuery の移行にかかる時間を短縮します。なお、近日中に Teradata 以外のデータ ウェアハウスにも対応する予定です。

評価: 移行に伴うリスクと費用を計画・管理

お客様やパートナー様の移行をお手伝いするうえで最も重要なステップは、エコシステム、要件、ビジネス目標を理解することです。こうした情報をもとにそれぞれのケースに合った移行計画を作成し、移行の準備と実施を支援しています。そうしたなかで、前もって移行の複雑度を特定し、対処することで、TCO と移行に伴うリスクの減少につながったケースを幾度も目の当たりにしてきました。

そこで、BigQuery Migration Service の一環として、自動評価ツールの非公開プレビューを発表いたします。この評価ツールには、長年にわたって世界有数の大企業の BigQuery によるモダナイゼーションを支援してきた経験が活かされています。お客様のレガシー ウェアハウスから統計情報を収集して以下の項目に関する状況分析レポートを生成するまでを自動化して、簡単に行えるようにします。

• データベース オブジェクトのリスト、データ I/O のパターン、依存関係

• クエリの自動変換対象と変換結果

• クエリからオブジェクトへのマッピング（使用するテーブル、ビュー、関数など）

• ユーザーからテーブルへのマッピング（どのユーザーがどのテーブルにアクセスするのかなど）

• テーブルの相互関係（多くの場合、結合またはサブクエリの対象となるテーブルなど）

• 使用中の BI / ETL ツールのリスト

この概要レポートにより、優先順位を効率的に判断して、移行に必要なすべてのコンポーネントと作業量を明確に把握できます。加えて、BigQuery データセット内でレポートに使用したすべての評価データをお客様と移行パートナー様向けに提供しています。自由にカスタマイズして、アドホック分析にご使用ください。

SQL 変換: 手動作業とそれにともなう時間およびエラーを削減

データ ウェアハウスの移行で特に難しいのは、SQL クエリ、SQL スクリプト、SQL ストアド プロシージャなどの以前のビジネス ロジックをモダナイズすることです。このプロセスでは、通常かなりの量のクエリを手動で書き換え、検証する必要があります。これは、時間がかかるとともに、ミスが起こりやすいプロセスです。そこで本日、このプロセスの大部分を自動化できるバッチおよび対話式の SQL 変換の公開プレビューを発表いたします。この機能により、移行完了までにかかる時間を短縮できます。バッチおよび対話式の SQL 変換は、レガシー オブジェクトを意味的に正しく、人間が判読できる形式にすばやく変換します。また、移行後に依存関係が継続することもありません。さらに、Teradata の DML、DDL、BTEQ などのアーティファクトを幅広くサポートします。BigQuery の SQL ワークスペースから直接、バッチモードまたはアドホックで変換を実行できます。SQL 変換の初期ユーザーの場合、1,000 万を超えるクエリのうち最大 95% が変換に成功し、移行支援パートナー様が手動でレビューしたクエリは最大でもわずか 5% でした。

また、BigQuery SQL エディタで、対話式の SQL 変換を活用した分割ビューをご利用いただけます。BigQuery 言語以外の言語で SQL クエリを入力すると、直ちに BigQuery SQL に変換・表示されます。対話式の SQL 変換を活用したリアルタイムの SQL 変換ツールを使用することで、セルフサービスでのクエリ変換と SQL への一元化された大規模な移行の取り組みを並行して行うことができます。これにより、クエリの移行にアナリストがかける時間や手間を省くだけでなく、BigQuery の最新の機能の活用方法を学ぶスピードを高めることができます。

データの検証: データの正確性を検証

データの検証は、データ ウェアハウスの移行プロジェクトにおいて重要なステップです。このステップでは、ソースとターゲットの構造化データと半構造化データを比較して、データとロジックが正しく移行されていることを確認します。GCP データ検証ツール（DVT）は、オープンソース フレームワークを活用したオープンソースの CLI ツールです。このツールのカスタマイズ可能なマルチレベル検証機能は、ソーステーブルとターゲット テーブルをテーブルレベル、列レベル、行レベルで比較します。また、柔軟性が高く、必要に応じて新しい検証ルールを簡単に組み込めます。さらに、自動化、オーケストレーション、スケジュール設定を行う際に、Cloud Functions、Cloud Run、Composer と DVT を統合して定期的に検証を行うことも可能です。

BigQuery Migration Service をニーズに合わせてカスタマイズ

BigQuery Migration Service を使用することにより、お客様の移行プロセスを迅速化、簡素化し、リスクを排除します。お客様のデータ ウェアハウスを、真にサーバレスな最新データ ウェアハウスである BigQuery で安全にモダナイズできます。まずご利用いただけるのは Teradata の移行機能となりますが、近日中に他のデータ ウェアハウスにも対応する予定です。

Google Cloud はオープン性を最重要課題として、お客様とお客様が選んだ移行支援パートナー様がカスタマイズでき、移行を成功に導くためにエンドツーエンドでご活用いただけるツールを構築してきました。指標の収集を合理化し、自由にカスタマイズできるよう元のデータセットを提供する評価機能から、お客様とパートナー様がカスタム検証ロジックを追加できるオープンソースのデータ検証ツールまで、Google Cloud は、お客様がそれぞれ独自のニーズに合わせてカスタマイズできる移行ツールを提供するために取り組んでいます。

移行にかかる時間を短縮するために、Google Cloud のツールをぜひご活用ください。今後の概念実証や移行にツールの活用をご希望の場合は、GCP パートナーか GCP の営業担当にお問い合わせください。または、Google Cloud のドキュメントをご覧ください。お客様のクラウド移行の取り組みに、パートナーとして参加できることを楽しみにしております。

- BigQuery プロダクト マネージャー Manish Dalwadi

- BigQuery ソフトウェア エンジニアリング マネージャー Hamza Arian